Decoder-only transformer
AssessKỹ thuật
Kiến trúc transformer tạo văn bản theo kiểu tự hồi quy chỉ với các khối decoder.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 3 nguồn, chủ yếu là phát hành mô hình, 0 bài trong 30 ngày qua. Độ tin cậy 38%.
Bằng chứng (1)
- 7Hugging Face Blog·25/8/2026model_releaseCách các mô hình LLM suy luận Granite 4.2 được xây dựng
IBM và nhóm Granite đã công bố chi tiết cách Granite 4.2 được xây dựng như một họ mô hình suy luận dạng dense, decoder-only với ba kích cỡ 3B, 8B và 30B. Các mô hình này được huấn luyện từ đầu trên khoảng 15 nghìn tỷ token, sau đó fine-tune có giám sát và hậu huấn luyện bằng quy trình reinforcement learning nhiều giai đoạn, trong đó bản 8B và 30B còn có agentic RL để dùng công cụ trong môi trường thực. Bản phát hành cũng bổ sung chế độ thinking/non-thinking, suy luận tiết kiệm, gọi công cụ gốc và mở rộng ngữ cảnh lên 512K token.