FreeToken
HoldCông cụ
Một bộ máy suy luận mã nguồn mở giúp chạy mô hình MoE hiệu quả trên phần cứng phổ thông.
Vì sao ở đây
Xếp vào Hold: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7InfoQ·29/8/2026researchFreeToken cải thiện suy luận MoE trên phần cứng phổ thông
Các nhà nghiên cứu từ UC Berkeley và MIT đã giới thiệu FreeToken, một bộ máy suy luận mã nguồn mở nhằm nâng cao hiệu quả của mô hình Mixture-of-Experts trên phần cứng phổ thông. Giải pháp này dùng cơ chế lập lịch động và tối ưu quản lý trọng số để tăng tốc giải mã, qua đó hỗ trợ các hệ thống suy luận tự triển khai ở biên.