AirLLM
AssessCông cụ
Công cụ mã nguồn mở để suy luận mô hình ngôn ngữ lớn theo cách tiết kiệm bộ nhớ.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là hoạt động mã nguồn mở, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7Hacker News·3/8/2026open_sourceAirLLM chạy mô hình 70B trên một GPU 4GB
AirLLM là một phương pháp suy luận mã nguồn mở cho phép chạy mô hình ngôn ngữ 70 tỷ tham số trên một GPU 4GB bằng cách nạp từng lớp mô hình theo nhu cầu. Dự án thu hút chú ý trên Hacker News vì làm giảm yêu cầu phần cứng cho suy luận mô hình lớn, dù hiệu năng thực tế và các đánh đổi còn phụ thuộc vào cách triển khai.