ds4
AssessCông cụ
Bộ công cụ/cấu hình để chạy mô hình ngôn ngữ lớn trên máy cục bộ.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là hoạt động mã nguồn mở, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 4Hacker News·2/10/2026open_sourceds4 cho phép chạy LLM cục bộ
Bài viết giới thiệu ds4, một thiết lập suy luận cục bộ để chạy các mô hình ngôn ngữ lớn trên máy người dùng. Điểm nhấn là kỹ thuật lượng tử hóa bất đối xứng 2-bit và nén routed-MoE để giảm dung lượng mô hình nhưng vẫn giữ độ chính xác ở các đường dẫn dùng chung quan trọng.