RMSNorm
AssessKỹ thuật
Phương pháp chuẩn hóa trong mạng nơ-ron, là lựa chọn thay thế cho LayerNorm.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 8Hacker News·1/9/2026researchTransformer nhỏ được huấn luyện trong 1,5 giờ vượt nhiều LLM trên ARC
Tác giả cho biết đã huấn luyện một transformer nhỏ từ đầu trong khoảng 1,5 giờ trên GPU 5090 và khẳng định mô hình này đạt hoặc vượt một số mô hình lớn hơn trên các bài đánh giá kiểu ARC. Cách tiếp cận mới bổ sung các thay đổi về kiến trúc và huấn luyện như SwiGLU, RMSNorm, giảm số phép tăng cường dữ liệu, và dùng các bài toán không trùng lặp từ ARC-2 đồng thời lọc trùng để tránh rò rỉ dữ liệu.