robots.txt
TrialKỹ thuật
Tệp trên website dùng để quy định quyền truy cập của các bot tự động và crawler.
Vì sao ở đây
Xếp vào Trial: 5 bài bằng chứng từ 2 nguồn, chủ yếu là tin bảo mật, 5 bài trong 30 ngày qua. Độ tin cậy 48%.
Bằng chứng (5)
- 7Hacker News·12/8/2026securityPhát hiện quét lỗ hổng hàng loạt giả mạo bot AI
Báo cáo mô tả hoạt động quét lỗ hổng trên diện rộng với dấu hiệu giả mạo danh tính các bot AI như ClaudeBot. Sự việc cho thấy lưu lượng tự động trên web ngày càng pha trộn giữa hoạt động thu thập/chỉ mục hợp lệ và các mẫu quét mang tính đánh lừa.
- 7Cloudflare Blog·6/8/2026product_launchCloudflare bổ sung công cụ đánh giá sẵn sàng cho tác tử và tối ưu hóa cho công cụ trả lời AI
Cloudflare đã đưa các công cụ Agent Readiness Diagnostics và Answer Engine Optimization (AEO) vào bảng điều khiển để giúp chủ сайта hiểu cách các tác tử AI truy cập, đọc và đề xuất nội dung của họ. Bộ công cụ này đánh giá các tín hiệu như robots.txt, sitemap, đầu ra Markdown, metadata và các tiêu chuẩn tác tử mới nổi, sau đó đưa ra khuyến nghị cùng liên kết thiết lập để cải thiện khả năng tương thích với tác tử.
- 6Hacker News·28/7/2026securityPhần lớn tên miền doanh nghiệp vẫn chưa thực thi DMARC
Khảo sát 67.336 tên miền doanh nghiệp cho thấy 68,4% либо không có bản ghi DMARC hoặc có DMARC nhưng chưa thực thi ở mức cách ly hay từ chối. Báo cáo cho rằng nút thắt chính hiện nay là chuyển từ chế độ giám sát sang thực thi, chứ không chỉ là công bố bản ghi.
- 4Hacker News·26/7/2026securityCách chặn một số bot
Bài viết nêu các cách thực tế để giảm lưu lượng bot không mong muốn trên website, có xu hướng tập trung vào các kỹ thuật chặn và lọc đơn giản hơn là hệ thống chống bot phức tạp. Nội dung được trình bày như một hướng dẫn thực hành cho người vận hành trang web khi đối phó với scraping, lạm dụng hoặc lưu lượng tự động.
- 7Hacker News·25/7/2026product_launchCloudflare bổ sung tùy chọn mới để kiểm soát lưu lượng AI
Cloudflare công bố các tùy chọn mới cho khách hàng nhằm quản lý lưu lượng AI trên mạng của mình, bao gồm các cơ chế kiểm soát cách bot và crawler AI truy cập nội dung. Bản cập nhật này được định vị như một phần trong nỗ lực của Cloudflare để trao thêm quyền lựa chọn cho chủ website về việc hệ thống AI có thể sử dụng dữ liệu của họ hay không và như thế nào.