Subquadratic Sparse Attention

Assess

Kỹ thuật

Cơ chế attention thưa nhằm giảm chi phí tính toán và tăng khả năng mở rộng gần tuyến tính theo độ dài ngữ cảnh.

Vì sao ở đây

Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là phát hành mô hình, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.

Bằng chứng (1)

6The New Stack·2/7/2026model_release
Subquadratic công bố mô hình attention thưa và kế hoạch kiến trúc tiếp theo
Subquadratic đã công bố model card và các benchmark cho SubQ 1.1 Small, một mô hình sparse attention được thiết kế để xử lý ngữ cảnh rất dài hiệu quả hơn transformer dense. Công ty cho biết mô hình này đặc biệt mạnh ở truy xuất trong ngữ cảnh dài với mức tính toán thấp hơn nhiều, đồng thời đang phát triển các kiến trúc không dùng attention cho các thế hệ sau.