NoPE

Assess

Kỹ thuật

Cách tiếp cận không dùng positional embeddings, loại bỏ RoPE khỏi mô hình.

Vì sao ở đây

Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là phát hành mô hình, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.

Bằng chứng (1)

8Hacker News·28/7/2026model_release
Kiến trúc Kimi K3 nổi bật với LatentMoE và NoPE
Kimi K3 được giới thiệu như phiên bản sản xuất mở rộng của Kimi Linear, tăng từ 48B lên 2,8T tham số và được cho là mô hình mở có trọng số lớn nhất hiện nay. Kiến trúc này tập trung vào hiệu quả suy luận với các thành phần như LatentMoE, Kimi Delta Attention, residual attention và chuyển hoàn toàn sang NoPE, đồng thời bổ sung hỗ trợ đa phương thức gốc.