Prompt Caching
AssessKỹ thuật
Phương pháp tái sử dụng ngữ cảnh prompt đã lưu đệm để giảm chi phí suy luận lặp lại.
Vì sao ở đây
Xếp vào Assess: 5 bài bằng chứng từ 3 nguồn, chủ yếu là tin nghiên cứu, 1 bài trong 30 ngày qua. Độ tin cậy 58%.
Bằng chứng (5)
- 6OpenAI Blog·22/9/2026model_releaseGPT-6 cải thiện cơ chế lưu đệm prompt
OpenAI cho biết GPT-6 cải thiện cơ chế lưu đệm prompt bằng cách tăng tỷ lệ trúng bộ nhớ đệm, đồng thời bổ sung công cụ chẩn đoán mới, điểm ngắt rõ ràng và các tùy chọn kiểm soát. Bản cập nhật này nhằm giảm độ trễ và chi phí vận hành cho các ứng dụng dùng mô hình.
- 6The New Stack·27/8/2026product_launchFiles API của Anthropic tiết kiệm thời gian nhưng không tiết kiệm token
Anthropic đã đưa Files API và bộ công cụ computer-use ra khỏi giai đoạn beta, đồng thời ra mắt bộ công cụ browser-use. Một thử nghiệm so sánh tải tệp lên, dán lặp lại và prompt caching cho thấy Files API và cách dán văn bản có mức token tương tự nhau và độ chính xác như nhau, trong khi prompt caching giúp giảm đáng kể token đầu vào tính phí sau lần ghi đầu tiên.
- 5The New Stack·13/8/2026researchVì sao quy trình AI có thể đắt hơn nhiều sau khi triển khai
Bài viết cho rằng chi phí của ứng dụng AI thường tăng mạnh khi vào môi trường thực tế vì lượng token phình to từ prompt, lịch sử hội thoại, truy xuất dữ liệu, đầu ra công cụ và các quy trình agent nhiều bước. Tác giả nhấn mạnh khoản tiết kiệm lớn nhất thường đến từ việc giảm token thừa bằng kiến trúc tốt hơn, thiết kế prompt, bộ nhớ đệm, định tuyến và quản lý bộ nhớ, thay vì chỉ đổi sang mô hình rẻ hơn.
- 6Hacker News·31/7/2026researchVì sao tính di động của phiên AI đang phai nhạt
Bài viết cho rằng các API suy luận ngày càng trả về trạng thái gắn với nhà cung cấp thay vì một bản ghi hội thoại có thể di chuyển hoàn toàn. Tác giả nêu các cơ chế như reasoning tokens được mã hóa, tin nhắn tác tử phụ bị ẩn, response ID lưu trên máy chủ và các tham chiếu tìm kiếm/bộ nhớ không thể chuyển sang nơi khác, khiến phiên AI khó kiểm tra, xuất, phát lại, kiểm toán hoặc xóa một cách độc lập.
- 6The New Stack·23/7/2026researchDùng prompt caching và pipeline theo lô để giảm chi phí RAG
Bài viết cho rằng các kiến trúc retrieval-augmented generation (RAG) đơn giản thường thất bại khi triển khai thực tế vì xử lý đồng bộ, giới hạn thời gian chờ và giới hạn tốc độ không đáp ứng được tải doanh nghiệp. Tác giả đề xuất tải lên bất đồng bộ, chia lô nhỏ và kiểm soát worker tạo embedding, đồng thời xem prompt caching là một cách giảm chi phí mà không làm giảm độ chính xác.