SVDQuant
AssessKỹ thuật
Phương pháp lượng tử hóa chuyển các ngoại lai của activation sang trọng số, dùng nhánh low-rank 16-bit cùng phần dư 4-bit.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là cập nhật framework, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7Hugging Face Blog·23/7/2026framework_updateDiffusers bổ sung hỗ trợ suy luận khuếch tán 4-bit Nunchaku
Diffusers hiện có thể tải trực tiếp các checkpoint khuếch tán 4-bit của Nunchaku bằng from_pretrained(), không cần biên dịch CUDA cục bộ hay dùng một engine suy luận riêng. Bản cập nhật kết hợp kernel NVFP4 của Nunchaku cho transformer với text encoder NF4 của bitsandbytes, giúp giảm bộ nhớ và tăng tốc suy luận trên phần cứng được hỗ trợ.