Sliding Window Attention

Assess

Kỹ thuật

Cơ chế attention tập trung vào một cửa sổ token cục bộ để xử lý hiệu quả ngữ cảnh gần.

Vì sao ở đây

Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.

Bằng chứng (1)

8Hacker News·17/9/2026research
DeepSeek-V4.1 Flash đẩy mạnh nén KV Cache đến mức tối đa
Báo cáo kỹ thuật về DeepSeek-V4.1 Flash mô tả việc tái thiết kế mô hình nhằm giảm dung lượng KV cache và chi phí prefill cho các tác vụ agent ngữ cảnh dài. Tài liệu kết hợp các thay đổi kiến trúc như kích hoạt chọn lọc theo tầng, nén KV cache nhiều giai đoạn, tối ưu sparse attention và KV cache định dạng FP4 để tăng thông lượng và giảm chi phí triển khai.