KV cache

Bằng chứng (6)

• 7Hacker News·30/9/2026research
  Tối ưu bộ nhớ đệm của các lab Trung Quốc buộc các lab AI phương Tây giảm chi phí suy luận

  Bài viết cho rằng các kỹ thuật tối ưu bộ nhớ đệm mới từ các lab AI Trung Quốc, đặc biệt là DeepSeek, đã được các nhà cung cấp mô hình lớn ở phương Tây áp dụng. Những phương pháp này giúp giảm mạnh dung lượng KV cache khi suy luận với ngữ cảnh dài, qua đó hạ chi phí vận hành và cho phép định giá thấp hơn cho các mô hình cao cấp.

• 8Hacker News·17/9/2026research
  DeepSeek-V4.1 Flash đẩy mạnh nén KV Cache đến mức tối đa

  Báo cáo kỹ thuật về DeepSeek-V4.1 Flash mô tả việc tái thiết kế mô hình nhằm giảm dung lượng KV cache và chi phí prefill cho các tác vụ agent ngữ cảnh dài. Tài liệu kết hợp các thay đổi kiến trúc như kích hoạt chọn lọc theo tầng, nén KV cache nhiều giai đoạn, tối ưu sparse attention và KV cache định dạng FP4 để tăng thông lượng và giảm chi phí triển khai.

• 4Hacker News·1/9/2026research
  Các đánh đổi trên đường biên hiệu quả trong suy luận LLM

  Bài viết giải thích cách kỹ sư suy luận LLM cân bằng giữa độ trễ, thông lượng, chi phí và chất lượng theo khái niệm “đường biên hiệu quả”. Tác giả phân biệt các kỹ thuật dịch chuyển hệ thống dọc theo đường biên, như điều chỉnh kích thước batch và chiến lược song song, với các kỹ thuật mở rộng toàn bộ đường biên nhờ các cải tiến như tái sử dụng KV cache, lượng tử hóa, chưng cất và cắt tỉa mô hình.

• 7Hacker News·29/7/2026open_source
  Bộ máy mã nguồn mở bằng Swift chạy Gemma 4 26B trên 2 GB RAM cho Mac M-series

  Một tác giả trên Hacker News giới thiệu TurboFieldfare, bộ máy suy luận mã nguồn mở viết bằng Swift và Metal, có thể chạy mô hình Gemma 4 26B-A4B-IT 4-bit trên Mac M-series với khoảng 2 GB RAM. Hệ thống stream các expert được định tuyến từ SSD trong khi giữ phần dùng chung của mô hình và KV cache trong bộ nhớ; tác giả cho biết đạt 5–6 tok/s trên MacBook Air M2 và 31–35 tok/s trên MacBook Pro M5.

• 5Hacker News·7/7/2026product_launch
  l ra mắt với khả năng tương thích k4, q và qSQL

  l là một runtime mới cho k và q, được giới thiệu là tương thích với k4, q và qSQL. Nó hỗ trợ sẵn mã K4/q hiện có, cùng với tables, dictionaries, partitions và splays mà không cần viết lại mã.

• 6Hugging Face Blog·14/5/2026research
  Hugging Face giải thích cơ chế batch liên tục bất đồng bộ cho suy luận LLM

  Hugging Face đã đăng một bài viết kỹ thuật về cách tách phần chuẩn bị batch trên CPU khỏi phần tính toán trên GPU trong cơ chế batch liên tục khi suy luận LLM. Bài viết cho rằng batching bất đồng bộ có thể giảm thời gian nhàn rỗi giữa CPU và GPU, qua đó tăng thông lượng mà không cần thay đổi kernel hay mô hình.