AI crawlers

Bằng chứng (3)

• 7Hacker News·23/7/2026security
  TheNumbers.com biến mất sau làn sóng lưu lượng bot tăng vọt

  The Numbers, một trang dữ liệu phim hoạt động lâu năm, đã ngừng truy cập vào tháng 3/2026 rồi quay lại với quy mô nhỏ hơn, mất nhiều tính năng như biểu đồ lịch sử, trang phim riêng lẻ và công cụ Report Builder. Nhà sáng lập cho biết hệ thống bị ảnh hưởng bởi lưu lượng crawler tăng mạnh, gồm bot phục vụ huấn luyện AI và các tác nhân tự động quét dữ liệu, cho thấy các website được phụ thuộc rộng rãi có thể mong manh đến mức nào.

• 8Cloudflare Blog·1/7/2026framework_update
  Cloudflare cho biết mô hình kinh doanh nội dung trên web đang chuyển sang kỷ nguyên tác tử AI

  Cloudflare cho biết kể từ chính sách Content Independence Day một năm trước, kinh tế của web mở đã thay đổi rất nhanh khi mức độ ứng dụng AI, hoạt động thu thập dữ liệu và lưu lượng không phải do con người tăng mạnh. Công ty cho rằng các nhà xuất bản hiện đối mặt với một thị trường mới, trong đó nội dung ngày càng bị dùng cho huấn luyện và truy xuất AI nhưng lại nhận được ít lưu lượng giới thiệu hơn.

• 6Cloudflare Blog·1/7/2026product_launch
  Cloudflare ra mắt Attribution Business Insights để phân tích lưu lượng crawler

  Cloudflare công bố Attribution Business Insights, một bảng điều khiển mới giúp chủ website phân biệt lưu lượng có ích với hoạt động của các AI crawler chỉ tiêu tốn tài nguyên mà không mang lại lượt giới thiệu đáng kể. Công cụ này được thiết kế cho nhà xuất bản và người ra quyết định trong doanh nghiệp nhằm hiểu rõ tỷ lệ crawl-to-referral và quản lý quyền truy cập nội dung tốt hơn.