Janas
AssessCông cụ
Một runtime mã nguồn mở để phục vụ mô hình ngôn ngữ lớn bằng cách truyền các expert từ bộ nhớ lưu trữ.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là hoạt động mã nguồn mở, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7Hacker News·12/10/2026open_sourceJanas phát trực tuyến các chuyên gia LLM từ SSD để vượt giới hạn RAM
Janas là một hệ thống mã nguồn mở cho phép chạy các mô hình ngôn ngữ lớn vượt quá dung lượng RAM khả dụng bằng cách truyền các expert từ SSD trong quá trình suy luận. Dự án hướng tới các mô hình sparse mixture-of-experts, chấp nhận đánh đổi một phần độ trễ để có thể phục vụ các mô hình rất lớn trên phần cứng có bộ nhớ hạn chế.