Terminal Bench
TrialCông cụ
Bộ công cụ đánh giá dùng để chạy và chấm điểm các tác vụ benchmark.
Vì sao ở đây
Xếp vào Trial: 10 bài bằng chứng từ 3 nguồn, chủ yếu là phát hành mô hình, 2 bài trong 30 ngày qua. Độ tin cậy 68%.
Bằng chứng (10)
- 7The New Stack·28/9/2026model_releaseAnthropic bổ sung cơ chế an toàn mạng và chuyển tiếp dự phòng cho Claude Sonnet 5.5
Anthropic đã phát hành Claude Sonnet 5.5 với cơ chế bảo vệ an ninh mạng và chuyển tiếp mô hình tương tự như các mô hình mạnh nhất trước đây. Công ty cho biết model này mạnh hơn Sonnet 5 trong các tác vụ an ninh tấn công đến mức các yêu cầu mạng bị chặn có thể được chuyển sang Sonnet 5, trong khi người dùng API phải chủ động bật cơ chế dự phòng.
- 7The New Stack·21/9/2026model_releaseGrok 4.7 cải thiện khả năng lập trình dài hơi nhưng vẫn thua các đối thủ hàng đầu
SpaceXAI đã phát hành Grok 4.7 với quá trình huấn luyện tập trung vào các tác vụ kéo dài nhiều giờ, nhấn mạnh khả năng tự kiểm chứng và quản lý ngữ cảnh dài. Mô hình này cải thiện trên các bài đánh giá sức bền như Terminal-Bench 4.0 và CursorBench 4.0, nhưng vẫn kém Anthropic Claude Fable 5.1 trên Terminal-Bench và còn thiếu ổn định trong nhiều quy trình lập trình dài.
- 6Hacker News·11/9/2026researchĐánh giá benchmark cho thấy RTK tiết kiệm token không đồng nghĩa giảm chi phí coding AI
Một phân tích benchmark đã thử nghiệm RTK, công cụ nén đầu ra terminal cho các agent lập trình AI, và cho thấy mức giảm token được báo cáo lớn không đồng nghĩa với việc giảm chi phí một cách ổn định. Kết quả thay đổi theo mô hình và nhiệm vụ: một thiết lập tiết kiệm nhẹ, trong khi thiết lập khác lại tốn kém hơn tổng thể. Nghiên cứu kết luận rằng việc giảm đầu ra terminal có thể hữu ích, không tạo khác biệt, hoặc phản tác dụng tùy cấu trúc tác vụ và hành vi của agent.
- 6Hacker News·8/9/2026researchBản lượng tử 4-bit của Qwen3.8 27B vẫn giữ chất lượng trên benchmark
So sánh benchmark các mức lượng tử của Qwen3.8 27B cho thấy bản 4-bit Q4_K_M gần như tương đương BF16 trên GPQA Diamond, IFBench và Terminal-Bench 2.1 nhưng dùng ít RAM GPU hơn nhiều. Khi nén quá mạnh, chất lượng giảm đột ngột: bản 1-bit gần như ngẫu nhiên trên GPQA Diamond và còn tệ hơn ở các tác vụ suy luận dài.
- 6Hacker News·2/9/2026model_releaseMultiverse ra mắt mô hình suy luận Quasar 438B cho tác vụ agent
Multiverse Computing đã ra mắt Quasar 438B, một mô hình suy luận 438 tỷ tham số được nén để phục vụ lập trình và các agent doanh nghiệp. Công ty cho biết mô hình này có tốc độ và hiệu quả tốt, nhưng nhiều chi tiết quan trọng về kỹ thuật nén, yêu cầu phần cứng và hiệu năng thực tế vẫn chưa được công bố.
- 7Hacker News·12/8/2026model_releaseSpaceXAI ra mắt Grok 4.6 với cải thiện về tác vụ lập trình dài
SpaceXAI phát hành Grok 4.6 chưa đầy một tháng sau Grok 4.5, với trọng tâm huấn luyện vào tự kiểm tra, sửa lỗi và duy trì tiến độ trên các tác vụ lập trình và tác vụ agent dài hơn. Kết quả benchmark cho thấy mức cải thiện rõ rệt so với Grok 4.5, nhưng Grok 4.6 vẫn đứng sau các mô hình dẫn đầu ở một số bài kiểm tra về coding và terminal.
- 7Hacker News·21/7/2026model_releasePoolside ra mắt mô hình lập trình Laguna S 2.1
Poolside đã phát hành Laguna S 2.1, một mô hình lập trình Mixture-of-Experts với 118B tham số tổng và 8B tham số được kích hoạt mỗi token, đồng thời hỗ trợ ngữ cảnh tối đa 1 triệu token. Công ty cho biết mô hình được tối ưu cho các tác vụ lập trình tác nhân dài hơi và công bố kết quả tốt trên các bộ đánh giá như Terminal-Bench 2.1, SWE-Bench Multilingual, SWE-Bench Pro, DeepSWE, SWE Atlas và Toolathlon Verified.
- 4Hacker News·19/7/2026researchCách một nhà nghiên cứu giảm chi phí token của AI agents bằng các gói thuê bao sẵn có
Một nhà nghiên cứu tại Quesma mô tả việc xây dựng pipeline deep research để tìm hiểu kinh tế học của AI agent sau khi lần chạy đầu tiên làm cạn hạn mức Claude Max chỉ trong 30 phút. Thiết lập mới dùng Claude Code làm bộ điều phối chính, bổ sung Codex và Antigravity như các subagent không giao diện, cùng chia sẻ bộ nhớ qua claude-mem, đồng thời phân vai cho các mô hình rẻ hơn để giảm chi phí và tăng khả năng যাচ thực.
- 7The New Stack·9/7/2026framework_updateDevRev công bố bộ benchmark cho tác tử AI doanh nghiệp
DevRev giới thiệu bộ benchmark Enterprise AI Agent Benchmark mã nguồn mở nhằm đo lường tốt hơn hiệu năng của tác tử AI trong các tác vụ doanh nghiệp thực tế, đặc biệt khi làm việc với ngữ cảnh dữ liệu lớn và có phân quyền truy cập. Phiên bản đầu tiên mới bao gồm hai mức L1 và L2, đồng thời công bố bộ dữ liệu, bộ đánh giá, tiêu chí chấm điểm, kết quả và trace thô để bên khác có thể tái kiểm tra.
- 8Hugging Face Blog·17/6/2026model_releaseGLM-5.2 ra mắt với hỗ trợ lập trình dài hạn và ngữ cảnh 1 triệu token
Z.AI giới thiệu GLM-5.2, mẫu flagship mới cho các tác vụ dài hạn, với ngữ cảnh 1 triệu token ổn định và năng lực lập trình được cải thiện. Bản phát hành còn bổ sung mức effort linh hoạt, kiến trúc IndexShare để giảm chi phí tính toán và giấy phép mã nguồn mở MIT.