Real-SWE
AssessCông cụ
Một benchmark để kiểm tra các mô hình viết mã AI trên kho mã và tác vụ doanh nghiệp thực tế nhưng riêng tư.
Vì sao ở đây
Xếp vào Assess: 2 bài bằng chứng từ 2 nguồn, chủ yếu là tin nghiên cứu, 2 bài trong 30 ngày qua. Độ tin cậy 37%.
Bằng chứng (2)
- 7The New Stack·14/9/2026researchBenchmark Real-SWE cho thấy các tác nhân lập trình hàng đầu vẫn thất bại phần lớn thời gian
Benchmark Real-SWE kiểm tra các tác nhân lập trình trên các mã nguồn riêng từ doanh nghiệp thực tế và cho thấy Claude Fable 5.1 dẫn đầu với tỷ lệ thành công chỉ 38,8%, tức vẫn thất bại hơn 60% số lượt thử. Kết quả khác biệt đáng kể giữa các mô hình và từng tác vụ, và không có tác nhân nào thực sự ổn định trên mã nguồn sản xuất xa lạ.
- 7Hacker News·12/9/2026researchReal-SWE đánh giá các tác nhân AI trên mã nguồn doanh nghiệp riêng tư
Real-SWE là một bộ benchmark mới để đánh giá các mô hình lập trình AI tiên tiến trên các codebase doanh nghiệp thực tế nhưng riêng tư. Bộ benchmark này đo khả năng xử lý mã nguồn độc quyền, quy tắc đặc thù của từng công ty và các tác vụ sản xuất có tác động kinh doanh, thông qua harness gốc và tỷ lệ hoàn thành kiểu pass@1.