FP4 caching
AssessKỹ thuật
Phương pháp lưu cache độ chính xác thấp bằng định dạng số chấm động 4-bit.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7Hacker News·30/9/2026researchTối ưu bộ nhớ đệm của các lab Trung Quốc buộc các lab AI phương Tây giảm chi phí suy luận
Bài viết cho rằng các kỹ thuật tối ưu bộ nhớ đệm mới từ các lab AI Trung Quốc, đặc biệt là DeepSeek, đã được các nhà cung cấp mô hình lớn ở phương Tây áp dụng. Những phương pháp này giúp giảm mạnh dung lượng KV cache khi suy luận với ngữ cảnh dài, qua đó hạ chi phí vận hành và cho phép định giá thấp hơn cho các mô hình cao cấp.