Rotary Positional Embedding

Bằng chứng (5)

• 8Hacker News·1/9/2026research
  Transformer nhỏ được huấn luyện trong 1,5 giờ vượt nhiều LLM trên ARC

  Tác giả cho biết đã huấn luyện một transformer nhỏ từ đầu trong khoảng 1,5 giờ trên GPU 5090 và khẳng định mô hình này đạt hoặc vượt một số mô hình lớn hơn trên các bài đánh giá kiểu ARC. Cách tiếp cận mới bổ sung các thay đổi về kiến trúc và huấn luyện như SwiGLU, RMSNorm, giảm số phép tăng cường dữ liệu, và dùng các bài toán không trùng lặp từ ARC-2 đồng thời lọc trùng để tránh rò rỉ dữ liệu.

• 7Hugging Face Blog·25/8/2026model_release
  Cách các mô hình LLM suy luận Granite 4.2 được xây dựng

  IBM và nhóm Granite đã công bố chi tiết cách Granite 4.2 được xây dựng như một họ mô hình suy luận dạng dense, decoder-only với ba kích cỡ 3B, 8B và 30B. Các mô hình này được huấn luyện từ đầu trên khoảng 15 nghìn tỷ token, sau đó fine-tune có giám sát và hậu huấn luyện bằng quy trình reinforcement learning nhiều giai đoạn, trong đó bản 8B và 30B còn có agentic RL để dùng công cụ trong môi trường thực. Bản phát hành cũng bổ sung chế độ thinking/non-thinking, suy luận tiết kiệm, gọi công cụ gốc và mở rộng ngữ cảnh lên 512K token.

• 8Hacker News·28/7/2026model_release
  Kiến trúc Kimi K3 nổi bật với LatentMoE và NoPE

  Kimi K3 được giới thiệu như phiên bản sản xuất mở rộng của Kimi Linear, tăng từ 48B lên 2,8T tham số và được cho là mô hình mở có trọng số lớn nhất hiện nay. Kiến trúc này tập trung vào hiệu quả suy luận với các thành phần như LatentMoE, Kimi Delta Attention, residual attention và chuyển hoàn toàn sang NoPE, đồng thời bổ sung hỗ trợ đa phương thức gốc.

• 7Hugging Face Blog·29/4/2026model_release
  Granite 4.1 LLM: Cách chúng được xây dựng

  Nhóm Granite của IBM trình bày chi tiết quy trình huấn luyện Granite 4.1, từ kỹ thuật dữ liệu đến tinh chỉnh có giám sát và học tăng cường. Bộ mô hình gồm các biến thể dense decoder-only kích thước 3B, 8B và 30B, được huấn luyện trên khoảng 15 nghìn tỷ token và mở rộng ngữ cảnh lên 512K token; bản 8B instruct được cho là tương đương hoặc vượt Granite 4.0-H-Small trước đó dù dùng ít tham số hơn.

• 5Hugging Face Blog·3/2/2026research
  Bài học từ ablation khi huấn luyện mô hình chuyển văn bản thành ảnh

  Hugging Face đăng phần thứ hai trong loạt bài của Photoroom về cách huấn luyện từ đầu các mô hình nền tảng tạo ảnh từ văn bản hiệu quả. Bài viết xem lại cấu hình nền tảng Flow Matching cho mô hình PRX-1.2B và đánh giá những điều chỉnh huấn luyện nào thực sự giúp cải thiện hội tụ, độ ổn định và hiệu quả.