SwiGLU
AssessKỹ thuật
Hàm kích hoạt có cơ chế gating dùng trong khối MLP của transformer.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là phát hành mô hình, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7Hugging Face Blog·29/4/2026model_releaseGranite 4.1 LLM: Cách chúng được xây dựng
Nhóm Granite của IBM trình bày chi tiết quy trình huấn luyện Granite 4.1, từ kỹ thuật dữ liệu đến tinh chỉnh có giám sát và học tăng cường. Bộ mô hình gồm các biến thể dense decoder-only kích thước 3B, 8B và 30B, được huấn luyện trên khoảng 15 nghìn tỷ token và mở rộng ngữ cảnh lên 512K token; bản 8B instruct được cho là tương đương hoặc vượt Granite 4.0-H-Small trước đó dù dùng ít tham số hơn.