Mixture-of-Value-Attention

Assess

Kỹ thuật

Cơ chế attention được dùng trong mô hình 36B-A4B để tăng năng lực trên mỗi tham số đang hoạt động.

Vì sao ở đây

Xếp vào Assess: 1 bài bằng chứng từ 2 nguồn, chủ yếu là phát hành mô hình, 0 bài trong 30 ngày qua. Độ tin cậy 32%.

8Hacker News·3/9/2026model_release
IFM phát hành bộ mô hình mở K2 Horizon
IFM đã phát hành K2 Horizon, một bộ sáu mô hình mở liên kết với nhau, trải từ 0,9B đến 375B tham số. Bản phát hành bao gồm trọng số, checkpoint, mã huấn luyện, cấu hình, nhật ký, kết quả đánh giá và công thức dữ liệu dưới giấy phép Apache 2.0, trong đó các mô hình nhỏ hơn được cho là đạt mức tiên tiến nhất trong phân khúc kích thước của mình.