evaluation harness

Bằng chứng (8)

• 7The New Stack·26/9/2026security
  Bảo mật tác tử chuyển từ kiểm soát truy cập sang kiểm soát hành động

  Bài viết cho rằng quản lý định danh và truy cập là cần thiết nhưng chưa đủ để bảo mật tác tử, vì tác tử có thể vòng qua các kiểm soát ở biên bằng cách chọn đường đi khác. Bài viết đề xuất kiểm soát từ bên trong ở lớp agent harness, nơi mỗi hành động được kiểm tra trước khi thực thi theo chính sách, thẩm quyền và hệ thống đích.

• 5InfoQ·21/9/2026research
  Vinoth Govindarajan của OpenAI về bộ khung vận hành cho AI agent trong môi trường sản xuất

  Vinoth Govindarajan của OpenAI phân tích vì sao các AI agent trong môi trường sản xuất thất bại không chỉ do hiện tượng “hallucination” của mô hình, với OpenClaw là một ví dụ thực tế. Ông nêu các nguyên tắc cốt lõi để xây dựng agent harness đáng tin cậy như xác định rõ quyền sở hữu trạng thái, tuần tự hóa thay đổi trạng thái đồng thời, giới hạn quyền thực thi và kiểm tra hành động tại điểm người dùng có thể nhìn thấy.

• 4Hacker News·18/9/2026research
  Nghiên cứu thực nghiệm về thiết kế harness cho tác nhân lập trình

  Bài báo trên arXiv khảo sát cách thiết kế harness ảnh hưởng đến hiệu năng và cách đánh giá các tác nhân lập trình. Nghiên cứu so sánh thực nghiệm nhiều lựa chọn thiết kế để xác định cấu hình nào cho kết quả đáng tin cậy hơn. Nội dung này chủ yếu hữu ích cho các nhà phát triển và nhà nghiên cứu xây dựng hệ thống lập trình dạng agent.

• 5The New Stack·4/9/2026research
  Đánh giá tác tử AI trở thành một phần của quy trình phát hành

  Bài viết cho rằng tác tử AI cần được kiểm thử bằng các bộ đánh giá có thể lặp lại trước khi phát hành, thay vì chỉ chứng minh bằng một bản demo. Tác giả khuyến nghị xác định rõ hành vi đúng ngay từ đầu, dùng các quy trình thực tế và tình huống biên, đồng thời kiểm tra cả kết quả lẫn các bước tác tử thực hiện qua công cụ, quyền truy cập và nhiều lượt hội thoại.

• 6The New Stack·31/8/2026product_launch
  OpenAI thử nghiệm mô hình tính phí AI theo kết quả cho khách hàng doanh nghiệp

  OpenAI được cho là đang thử nghiệm mô hình tính phí với khách hàng doanh nghiệp chỉ khi tác nhân AI hoàn thành thành công một nhiệm vụ, thay vì tính theo số token đã dùng. Cách tiếp cận này đặt ra nhiều thách thức kỹ thuật và vận hành trong việc xác định thế nào là thành công, kiểm chứng kết quả và xử lý các trường hợp hoàn thành dang dở hoặc lỗi do hệ thống bên ngoài.

• 6The New Stack·24/8/2026product_launch
  Anthropic thay Workbench bằng Playground không lưu trạng thái

  Anthropic đã thay công cụ kiểm thử prompt Workbench bằng Playground mới theo kiểu không lưu trạng thái, đồng thời loại bỏ các tính năng như lưu prompt, lịch sử phiên bản, evals và chia sẻ theo nhóm. Bài viết so sánh công cụ mới của Anthropic với Playground lâu năm của OpenAI và cho thấy cả hai công ty đều đang chuyển prompt khỏi web console để đưa vào mã nguồn.

• 7The New Stack·27/7/2026research
  Cách Anthropic dùng bộ đánh giá để định hướng phát triển sản phẩm

  Anthropic cho biết các bộ đánh giá đã trở thành tài liệu cốt lõi trong việc xây dựng sản phẩm AI biên, thay thế PRD truyền thống ở nhiều nhóm. Công ty dựa vào bộ eval đại diện, kiểm thử liên tục và việc sử dụng mô hình trực tiếp để phát hiện các bước nhảy năng lực, lỗi và hành vi ngoài ý muốn khi Claude chuyển từ chatbot sang trợ lý lập trình.

• 6The New Stack·22/7/2026product_launch
  Harness ra mắt dịch vụ AI Agent Development Lifecycle để triển khai tác tử có kiểm soát

  Harness đã ra mắt dịch vụ AI Agent Development Lifecycle (DLC) nhằm giúp các nhóm triển khai tác tử AI qua các quy trình quản trị, kiểm thử và bảo mật quen thuộc. Công ty cho biết cách tiếp cận này tập trung vào việc làm cho pipeline triển khai trở nên có tính quyết định với các cổng chất lượng, điểm đánh giá và bản ghi kiểm toán đầy đủ, thay vì cố làm cho hành vi của tác tử trở nên lặp lại hoàn toàn.