Backpropagation
AssessKỹ thuật
Phương pháp gán tín hiệu lỗi bằng gradient tiêu chuẩn để huấn luyện mạng nơ-ron.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 8Hacker News·5/10/2026researchDust đề xuất huấn luyện transformer trước mà không cần backprop
Dust là một phương pháp tối ưu hóa bậc 0 để huấn luyện mô hình ngôn ngữ transformer bằng cách nhiễu các activation và dùng trung bình có trọng số theo phần thưởng để ước lượng gradient, thay vì dựa vào backpropagation. Tác giả cho biết phương pháp này có thể cạnh tranh với backprop ở quy mô lớn, hiệu quả hơn rất nhiều so với các chiến lược tiến hóa trên không gian trọng số, và trong một số thiết lập còn có thể vượt backprop nếu đủ tài nguyên tính toán.