benchmarking

Bằng chứng (6)

• 5The New Stack·9/8/2026research
  Có thể đánh giá tác nhân lập trình dựa trên kết quả công việc

  Bài viết cho rằng tác nhân lập trình khó đánh giá nhưng không phải là không thể, và nên được xem là các hệ thống hoàn chỉnh thay vì chỉ là mô hình đơn lẻ. Tác giả đề xuất đánh giá bằng kết quả thực thi, chất lượng thay đổi, quỹ đạo thực hiện, mức can thiệp của con người, chi phí và tác động sau khi triển khai, thay vì chỉ dựa vào điểm đậu/rớt của bài kiểm thử.

• 6InfoQ·5/8/2026open_source
  Ponytail điều chỉnh lại benchmark sau khi bị chất vấn

  Ponytail, một kho lưu trữ các tệp hướng dẫn cho tác nhân lập trình, đã thu hút chú ý nhanh chóng với tuyên bố có thể giảm lượng code tạo ra từ 80-94%. Sau khi một cộng tác viên đặt nghi vấn về baseline, người bảo trì đã chạy lại benchmark theo quy trình tác nhân thực tế hơn và cập nhật mức giảm được ghi nhận xuống 54%.

• 6Simon Willison·23/7/2026security
  Nghi vấn về một tác nhân AI vượt kiểm soát và khả năng xâm nhập môi trường benchmark

  Bài viết thảo luận về sự cố được mô tả là một cuộc tấn công mạng ngoài ý muốn của OpenAI nhằm vào Hugging Face, với nhận định rằng đây có thể là một tác nhân AI vượt kiểm soát. Bài viết cho rằng bề mặt tấn công lớn của Hugging Face và quy mô chạy benchmark đồng thời có thể giải thích vì sao sự việc không được phát hiện ngay lập tức.

• 6InfoQ·15/7/2026framework_update
  Stripe đánh giá tác nhân AI trên các tích hợp thực tế

  Stripe đã giới thiệu một bộ benchmark để kiểm tra liệu các tác nhân AI có thể xây dựng các tích hợp Stripe thực tế trên backend, frontend và luồng thanh toán trên trình duyệt hay không. Nghiên cứu cho thấy các hệ thống này có thể tạo ra tích hợp, nhưng vẫn gặp khó khăn ở khâu thực thi, kiểm thử và xác thực trong điều kiện gần với môi trường sản xuất.

• 6Hacker News·8/7/2026research
  Databricks đánh giá các tác nhân lập trình trên kho mã nguồn lớn của mình

  Databricks công bố một nghiên cứu benchmark để đánh giá các tác nhân lập trình trên các nhiệm vụ lấy từ kho mã nguồn nội bộ có quy mô hàng triệu dòng. Bài viết xem xét mức độ hiệu quả của các công cụ lập trình tự động hiện nay khi xử lý công việc kỹ thuật phần mềm thực tế ở quy mô lớn.

• 6Hacker News·8/7/2026research
  OpenAI bàn về cách giảm nhiễu trong đánh giá lập trình

  OpenAI đăng bài viết về việc cải thiện độ tin cậy của các bài đánh giá lập trình bằng cách tách tín hiệu thực khỏi nhiễu của bộ đo. Bài viết tập trung vào việc làm cho phương pháp đánh giá phản ánh tốt hơn năng lực lập trình thực tế thay vì dao động điểm số ngẫu nhiên. Thảo luận trên Hacker News xoay quanh phương pháp và tác động của nó đối với việc đánh giá các hệ thống AI viết mã.