SWE-bench
AssessKỹ thuật
Một bộ benchmark cho các tác vụ sửa lỗi phần mềm thực tế.
Vì sao ở đây
Xếp vào Assess: 8 bài bằng chứng từ 4 nguồn, chủ yếu là tin nghiên cứu, 0 bài trong 30 ngày qua. Độ tin cậy 71%.
Bằng chứng (8)
- 8The New Stack·3/9/2026model_releaseIFM phát hành bộ mô hình mở K2 Horizon
IFM đã phát hành K2 Horizon, một bộ sáu mô hình mở liên kết với nhau, trải từ 0,9B đến 375B tham số. Bản phát hành bao gồm trọng số, checkpoint, mã huấn luyện, cấu hình, nhật ký, kết quả đánh giá và công thức dữ liệu dưới giấy phép Apache 2.0, trong đó các mô hình nhỏ hơn được cho là đạt mức tiên tiến nhất trong phân khúc kích thước của mình.
- 7The New Stack·26/8/2026framework_updateMicrosoft phát hành Agent Lightning v1.0 cho RL tác tử
Microsoft đã phát hành Agent Lightning v1.0, một framework giữ vai trò điều phối trong môi trường sản xuất đối với việc xây dựng ngữ cảnh, thực thi công cụ và vòng lặp tác tử–môi trường trong quá trình reinforcement learning. Công ty cho biết công cụ này có thể cải thiện hiệu năng của tác tử lập trình với nguồn lực tính toán vừa phải, và dẫn ví dụ Qwen3.5-9B trên SWE-bench Verified tăng từ 41,8% lên 56,4% với 6.000 mẫu huấn luyện.
- 7The New Stack·21/8/2026researchBenchmark mới đánh giá tái cấu trúc mã nguồn quy mô lớn
Các nhà nghiên cứu từ nhiều tổ chức đã giới thiệu SWE-Bench ProMax, một benchmark đa ngôn ngữ tập trung vào tái cấu trúc mã nguồn quy mô lớn trên bảy ngôn ngữ lập trình. Bộ đánh giá này được tuyển chọn và hiệu chỉnh kỹ lưỡng từ các commit thực tế, đồng thời cho thấy các tác nhân lập trình AI hiện nay vẫn gặp khó khăn, với mô hình tốt nhất chỉ giải quyết được 41,2% trường hợp.
- 5GitHub Blog·22/7/2026product_launchGitHub giải thích Copilot bao gồm gì so với truy cập API thô
GitHub nêu rõ sự khác biệt giữa việc trả phí cho Copilot và dùng API mô hình trực tiếp, cho rằng Copilot bao gồm cả quy trình phát triển, kiểm soát chính sách và khả năng theo dõi chi phí, chứ không chỉ quyền truy cập mô hình. Bài viết cũng cho biết harness tác tử của Copilot có thể đạt mức hoàn thành tác vụ tương đương với ít token hơn trong nhiều cấu hình benchmark, trong khi API thô phù hợp hơn với các đội tự xây hệ thống riêng.
- 7Hacker News·21/7/2026researchKimi K3 ngang Fable trên tác vụ agent, kết hợp định tuyến cho kết quả tốt hơn
Một nghiên cứu benchmark trên khoảng 1.030 tác vụ agent thực tế cho thấy Kimi K3 và Fable 5 có chất lượng tổng thể tương đương, nhưng mỗi mô hình mạnh ở các nhóm tác vụ khác nhau. Bài viết cho biết việc định tuyến giữa hai mô hình đạt độ chính xác 93% và có thể giảm chi phí tới 50 lần so với chỉ dùng Fable trong các vòng lặp agent dài.
- 7Hacker News·21/7/2026model_releasePoolside ra mắt mô hình lập trình Laguna S 2.1
Poolside đã phát hành Laguna S 2.1, một mô hình lập trình Mixture-of-Experts với 118B tham số tổng và 8B tham số được kích hoạt mỗi token, đồng thời hỗ trợ ngữ cảnh tối đa 1 triệu token. Công ty cho biết mô hình được tối ưu cho các tác vụ lập trình tác nhân dài hơi và công bố kết quả tốt trên các bộ đánh giá như Terminal-Bench 2.1, SWE-Bench Multilingual, SWE-Bench Pro, DeepSWE, SWE Atlas và Toolathlon Verified.
- 7Hacker News·8/7/2026model_releaseCognition ra mắt mô hình lập trình SWE-1.7
Cognition công bố SWE-1.7, mô hình lập trình mới nhất của hãng, với tuyên bố đạt hiệu năng tiệm cận nhóm đầu nhưng có chi phí thấp hơn, đồng thời cải thiện các bài toán kỹ thuật phần mềm tác tử. Công ty cho biết mô hình được huấn luyện với các cải tiến trong pipeline RL, dữ liệu chất lượng cao hơn, huấn luyện đa cụm và cơ chế tự nén ngữ cảnh cho các tác vụ dài hạn, hiện đã có trong Devin qua Cerebras.
- 7OpenAI Blog·8/7/2026researchOpenAI đặt nghi vấn về độ tin cậy của SWE-Bench Pro
OpenAI công bố một phân tích cho thấy SWE-Bench Pro, một bộ chuẩn đánh giá lập trình được dùng rộng rãi, tồn tại nhiều vấn đề. Kết quả này làm dấy lên lo ngại rằng benchmark này có thể không phản ánh đáng tin cậy hiệu năng mô hình hoặc cung cấp tín hiệu chính xác khi đánh giá các hệ thống AI viết mã.