Mixture-of-Experts
AssessKỹ thuật
Một kiến trúc mô hình định tuyến đầu vào tới các mạng chuyên gia khác nhau.
Vì sao ở đây
Xếp vào Assess: 3 bài bằng chứng từ 2 nguồn, chủ yếu là phát hành mô hình, 2 bài trong 30 ngày qua. Độ tin cậy 48%.
Bằng chứng (3)
- 7NVIDIA Blog·8/6/2026fundingTham vọng AI chủ quyền của Anh tăng tốc với hạ tầng NVIDIA
NVIDIA cho biết Vương quốc Anh đang tiến gần mục tiêu trở thành “quốc gia tạo ra AI” nhờ các triển khai AI chủ quyền mới trên các nhà cung cấp đám mây, doanh nghiệp viễn thông, startup và cơ sở nghiên cứu. Bài viết nêu các kế hoạch mở rộng từ Nebius, CoreWeave, BT và Nscale, cùng các nguồn lực tính toán do chính phủ hậu thuẫn như Isambard-AI và Sovereign AI Fund để hỗ trợ các công ty AI trong nước.
- 6Hugging Face Blog·1/6/2026model_releaseJetBrains ra mắt Mellum2, mô hình MoE 12 tỷ tham số
JetBrains đã giới thiệu Mellum2, một mô hình mixture-of-experts với 12 tỷ tham số. Thông báo này cho thấy đây là một bản phát hành mô hình AI mới của JetBrains, được chia sẻ trên Hugging Face Blog. Bài viết nhấn mạnh mô hình này là một phần trong nỗ lực phát triển các hệ thống AI tập trung vào mã nguồn.
- 5Hugging Face Blog·26/2/2026researchMô hình Mixture of Experts trong Transformer
Bài viết giải thích Mixture of Experts (MoE) là một kỹ thuật được dùng trong các mô hình Transformer để tăng hiệu quả bằng cách chỉ kích hoạt một phần tham số cho mỗi đầu vào. Nội dung cũng nêu cách các lớp MoE hoạt động, lợi ích của chúng và những đánh đổi khi huấn luyện cũng như triển khai ở quy mô lớn.