FP4
AssessKỹ thuật
Định dạng số thực 4-bit dùng để giảm dung lượng bộ nhớ và băng thông.
Vì sao ở đây
Xếp vào Assess: 2 bài bằng chứng từ 2 nguồn, chủ yếu là tin nghiên cứu, 1 bài trong 30 ngày qua. Độ tin cậy 42%.
Bằng chứng (2)
- 8Hacker News·17/9/2026researchDeepSeek-V4.1 Flash đẩy mạnh nén KV Cache đến mức tối đa
Báo cáo kỹ thuật về DeepSeek-V4.1 Flash mô tả việc tái thiết kế mô hình nhằm giảm dung lượng KV cache và chi phí prefill cho các tác vụ agent ngữ cảnh dài. Tài liệu kết hợp các thay đổi kiến trúc như kích hoạt chọn lọc theo tầng, nén KV cache nhiều giai đoạn, tối ưu sparse attention và KV cache định dạng FP4 để tăng thông lượng và giảm chi phí triển khai.
- 7Hacker News·3/8/2026researchCloudflare mở rộng Kimi và GLM bằng lượng tử hóa KV cache và nén trọng số
Cloudflare cho biết họ đang phục vụ Moonshot Kimi K-series và Z.ai GLM hiệu quả hơn trên Workers AI bằng cách kết hợp lượng tử hóa KV cache, nén trọng số và các kỹ thuật bảo vệ cache dùng chung. Công ty cho biết KV cache FP8 và trọng số INT4 giúp giảm nhu cầu bộ nhớ GPU, hạ chi phí mà vẫn giữ nguyên độ chính xác mô hình, với SGLang là framework phục vụ suy luận.