robots.txt
TrialKỹ thuật
Tệp trên website dùng để quy định quyền truy cập của các bot tự động và crawler.
Vì sao ở đây
Xếp vào Trial: 8 bài bằng chứng từ 2 nguồn, chủ yếu là ra mắt sản phẩm, 2 bài trong 30 ngày qua. Độ tin cậy 57%.
Bằng chứng (8)
- 7Cloudflare Blog·2/10/2026product_launchCloudflare ra mắt Web Search API qua AI Gateway
Cloudflare công bố Web Search API được cung cấp qua AI Gateway, cho phép tác tử truy xuất kết quả web trực tiếp và bổ sung ngữ cảnh mới vào lời nhắc của mô hình. Đợt ra mắt ban đầu có các đối tác Ceramic.ai, Exa và Linkup, đồng thời nhấn mạnh tính minh bạch của bot, tuân thủ robots.txt, gắn liên kết nguồn và hỗ trợ không lưu giữ dữ liệu ở những nơi khả dụng.
- 8Cloudflare Blog·15/9/2026framework_updateCloudflare bổ sung thiết lập chặn huấn luyện AI nhưng vẫn giữ khả năng được tìm kiếm
Cloudflare công bố thiết lập mới "Disallow AI Training", cho phép chủ website vẫn được lập chỉ mục tìm kiếm nhưng ngăn cùng crawler đó dùng nội dung để huấn luyện AI. Công ty cũng giới thiệu danh xưng "Accountable" cho các nhà vận hành bot đáp ứng yêu cầu về cơ chế từ chối, minh bạch và cam kết việc từ chối huấn luyện không ảnh hưởng đến kết quả tìm kiếm.
- 6Cloudflare Blog·21/8/2026product_launchCloudflare ra mắt Bot Preference Sync
Cloudflare giới thiệu Bot Preference Sync, tính năng đồng bộ các thiết lập ưu tiên cho bot AI trong Cloudflare với tệp robots.txt của website. Tính năng này उपलब्ध cho mọi khách hàng và có thể bật hoặc tắt bất kỳ lúc nào để giúp chủ site đồng nhất giữa chính sách công bố và chính sách thực thi cho lưu lượng tìm kiếm, tác nhân và huấn luyện.
- 7Hacker News·12/8/2026securityPhát hiện quét lỗ hổng hàng loạt giả mạo bot AI
Báo cáo mô tả hoạt động quét lỗ hổng trên diện rộng với dấu hiệu giả mạo danh tính các bot AI như ClaudeBot. Sự việc cho thấy lưu lượng tự động trên web ngày càng pha trộn giữa hoạt động thu thập/chỉ mục hợp lệ và các mẫu quét mang tính đánh lừa.
- 7Cloudflare Blog·6/8/2026product_launchCloudflare bổ sung công cụ đánh giá sẵn sàng cho tác tử và tối ưu hóa cho công cụ trả lời AI
Cloudflare đã đưa các công cụ Agent Readiness Diagnostics và Answer Engine Optimization (AEO) vào bảng điều khiển để giúp chủ сайта hiểu cách các tác tử AI truy cập, đọc và đề xuất nội dung của họ. Bộ công cụ này đánh giá các tín hiệu như robots.txt, sitemap, đầu ra Markdown, metadata và các tiêu chuẩn tác tử mới nổi, sau đó đưa ra khuyến nghị cùng liên kết thiết lập để cải thiện khả năng tương thích với tác tử.
- 6Hacker News·28/7/2026securityPhần lớn tên miền doanh nghiệp vẫn chưa thực thi DMARC
Khảo sát 67.336 tên miền doanh nghiệp cho thấy 68,4% либо không có bản ghi DMARC hoặc có DMARC nhưng chưa thực thi ở mức cách ly hay từ chối. Báo cáo cho rằng nút thắt chính hiện nay là chuyển từ chế độ giám sát sang thực thi, chứ không chỉ là công bố bản ghi.
- 4Hacker News·26/7/2026securityCách chặn một số bot
Bài viết nêu các cách thực tế để giảm lưu lượng bot không mong muốn trên website, có xu hướng tập trung vào các kỹ thuật chặn và lọc đơn giản hơn là hệ thống chống bot phức tạp. Nội dung được trình bày như một hướng dẫn thực hành cho người vận hành trang web khi đối phó với scraping, lạm dụng hoặc lưu lượng tự động.
- 7Hacker News·25/7/2026product_launchCloudflare bổ sung tùy chọn mới để kiểm soát lưu lượng AI
Cloudflare công bố các tùy chọn mới cho khách hàng nhằm quản lý lưu lượng AI trên mạng của mình, bao gồm các cơ chế kiểm soát cách bot và crawler AI truy cập nội dung. Bản cập nhật này được định vị như một phần trong nỗ lực của Cloudflare để trao thêm quyền lựa chọn cho chủ website về việc hệ thống AI có thể sử dụng dữ liệu của họ hay không và như thế nào.