bitsandbytes

Assess

Công cụ

Thư viện cung cấp lượng tử hóa bit thấp và các primitive suy luận hiệu quả cho mạng nơ-ron.

Vì sao ở đây

Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là cập nhật framework, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.

Bằng chứng (1)

7Hugging Face Blog·23/7/2026framework_update
Diffusers bổ sung hỗ trợ suy luận khuếch tán 4-bit Nunchaku
Diffusers hiện có thể tải trực tiếp các checkpoint khuếch tán 4-bit của Nunchaku bằng from_pretrained(), không cần biên dịch CUDA cục bộ hay dùng một engine suy luận riêng. Bản cập nhật kết hợp kernel NVFP4 của Nunchaku cho transformer với text encoder NF4 của bitsandbytes, giúp giảm bộ nhớ và tăng tốc suy luận trên phần cứng được hỗ trợ.