GRPO

Bằng chứng (6)

• 7Hacker News·16/9/2026research
  Mô hình 4B tạo kế hoạch truy vấn tốt hơn Postgres cho các truy vấn join

  Bài viết mô tả một thí nghiệm hậu huấn luyện mô hình mã nguồn mở 4B để tạo ra kế hoạch truy vấn Postgres tốt hơn bộ tối ưu mặc định trên các truy vấn nhiều phép join. Thông qua fine-tuning có giám sát và reinforcement learning, mô hình được cho là giảm độ trễ 44,7% trên 113 truy vấn và xử lý được nhiều trường hợp ban đầu không tạo nổi kế hoạch.

• 7Hacker News·16/8/2026research
  LittleLearner nghiên cứu LLM chỉ được huấn luyện trên nội dung lớp K–5

  Các nhà nghiên cứu giới thiệu LittleLearner, một bộ mô hình ngôn ngữ được huấn luyện từ đầu trên tập dữ liệu 88 tỷ token đã lọc theo chương trình tiểu học Mỹ đến hết lớp 5. Nghiên cứu cho thấy việc mở rộng mô hình, hậu huấn luyện và học trong ngữ cảnh chỉ cải thiện năng lực trong phạm vi đã học, nhưng hầu như không nâng khả năng vượt ra ngoài ranh giới tri thức được kiểm soát.

• 7Hacker News·28/7/2026research
  Fine-tune RL trị giá 500 USD vượt các mô hình tiên tiến trong rà soát danh mục

  Bài viết mô tả một bản fine-tune GRPO của mô hình nguồn mở 9B vượt qua nhiều cấu hình mô hình tiên tiến trên cùng quy trình rà soát danh mục, với cùng bộ công cụ, hình ảnh và cơ chế chấm điểm. Kết quả đạt chi phí khoảng 0,50 USD cho mỗi 1.000 listing, rẻ hơn đáng kể so với các phương án frontier được thử nghiệm.

• 7Hugging Face Blog·6/5/2026framework_update
  Di chuyển sang vLLM V1: Sửa logprobs của rollout trước khi chỉnh mục tiêu RL

  Hugging Face mô tả quá trình chuyển từ vLLM V0 sang V1 trong một pipeline huấn luyện RL, trong đó logprobs của rollout không khớp ban đầu đã làm thay đổi hành vi huấn luyện. Nhóm đã khôi phục sự tương đương bằng cách bật processed logprobs, điều chỉnh các mặc định runtime của V1, sửa đường cập nhật trọng số inflight và dùng lm_head fp32 trước khi cân nhắc chỉnh sửa mục tiêu RL.

• 7Hugging Face Blog·29/4/2026model_release
  Granite 4.1 LLM: Cách chúng được xây dựng

  Nhóm Granite của IBM trình bày chi tiết quy trình huấn luyện Granite 4.1, từ kỹ thuật dữ liệu đến tinh chỉnh có giám sát và học tăng cường. Bộ mô hình gồm các biến thể dense decoder-only kích thước 3B, 8B và 30B, được huấn luyện trên khoảng 15 nghìn tỷ token và mở rộng ngữ cảnh lên 512K token; bản 8B instruct được cho là tương đương hoặc vượt Granite 4.0-H-Small trước đó dù dùng ít tham số hơn.

• 7Hugging Face Blog·31/3/2026framework_update
  TRL v1.0 đánh dấu bước chuyển sang ổn định cho công cụ hậu huấn luyện

  Hugging Face phát hành TRL v1.0, định vị đây là một thư viện ổn định hơn cho các quy trình hậu huấn luyện đang được dùng trong môi trường sản xuất. Bản cập nhật nhấn mạnh khả năng thích ứng với lĩnh vực thay đổi nhanh, với hơn 75 phương pháp hậu huấn luyện như PPO, các phương pháp kiểu DPO và RLVR như GRPO.