AdamW
HoldKỹ thuật
Bộ tối ưu phổ biến áp dụng weight decay tách rời trong các cập nhật gradient thích nghi.
Vì sao ở đây
Xếp vào Hold: 2 bài bằng chứng từ 2 nguồn, chủ yếu là tin nghiên cứu, 0 bài trong 30 ngày qua. Độ tin cậy 47%.
Bằng chứng (2)
- 8Hacker News·1/9/2026researchTransformer nhỏ được huấn luyện trong 1,5 giờ vượt nhiều LLM trên ARC
Tác giả cho biết đã huấn luyện một transformer nhỏ từ đầu trong khoảng 1,5 giờ trên GPU 5090 và khẳng định mô hình này đạt hoặc vượt một số mô hình lớn hơn trên các bài đánh giá kiểu ARC. Cách tiếp cận mới bổ sung các thay đổi về kiến trúc và huấn luyện như SwiGLU, RMSNorm, giảm số phép tăng cường dữ liệu, và dùng các bài toán không trùng lặp từ ARC-2 đồng thời lọc trùng để tránh rò rỉ dữ liệu.
- 5Hugging Face Blog·3/2/2026researchBài học từ ablation khi huấn luyện mô hình chuyển văn bản thành ảnh
Hugging Face đăng phần thứ hai trong loạt bài của Photoroom về cách huấn luyện từ đầu các mô hình nền tảng tạo ảnh từ văn bản hiệu quả. Bài viết xem lại cấu hình nền tảng Flow Matching cho mô hình PRX-1.2B và đánh giá những điều chỉnh huấn luyện nào thực sự giúp cải thiện hội tụ, độ ổn định và hiệu quả.