web crawler

Bằng chứng (12)

• 9Hacker News·18/9/2026regulation
  Microsoft và OpenAI đối mặt với cáo buộc bản quyền mới về dữ liệu huấn luyện AI

  Các tài liệu tòa án được giải mật trong vụ kiện của The New York Times cáo buộc Microsoft và OpenAI từng thừa nhận việc thu thập dữ liệu huấn luyện AI có thể bị xem là hành vi đánh cắp và gây tổn hại đến mô hình kinh doanh của các nhà xuất bản. Hồ sơ cũng nêu việc vượt qua paywall, thu thập dữ liệu quy mô lớn, xóa thông báo bản quyền và việc sản phẩm có thể thay thế nguồn tin gốc.

• 8Hacker News·17/9/2026regulation
  Lãnh đạo Microsoft gọi việc quét tin tức để huấn luyện AI là vụ đánh cắp lao động lớn nhất lịch sử

  Các tài liệu tòa án vừa được giải mật trong vụ kiện bản quyền giữa các nhà xuất bản tin tức, Microsoft và OpenAI cho thấy những nhận xét nội bộ của Brent Hecht, Giám đốc Khoa học Ứng dụng tại Microsoft. Ông được cho là đã mô tả việc quét tin tức để huấn luyện AI là hành vi đánh cắp lao động chưa từng có và đặt câu hỏi liệu cách làm này có thể được coi là sử dụng hợp lý hay không.

• 6Simon Willison·7/9/2026open_source
  Trình thu thập dữ liệu gây quá tải tài nguyên máy chủ Git

  Konstantin Ryabitsev cho biết các trình thu thập dữ liệu lạm dụng đang tạo áp lực lớn lên git.kernel.org, khiến hệ thống phải tốn nhiều CPU để render commit thành HTML cho scraper hơn là phục vụ người dùng hợp lệ và các lượt git clone. Ông cũng lo ngại tình trạng này với những hệ thống như Datasette, nơi có nhiều trang có thể bị crawl.

• 6Hacker News·13/8/2026research
  Quét 657.607 liên kết lưu trữ cho thấy phần lớn không còn tải được

  Nhóm nghiên cứu khôi phục và kiểm tra 657.607 liên kết trước năm 2015 từ một bản sao lưu cơ sở dữ liệu cũ của 0.mk để đánh giá mức độ còn tồn tại của kho nội dung này trên web. Trong 655.178 liên kết có thể thu thập, 76,7% không còn trả về trang tải, với nhiều lỗi đến từ DNS, hết thời gian chờ, lỗi HTTP hoặc bị chặn truy cập chứ chưa hẳn là nội dung đã biến mất hoàn toàn.

• 6Ars Technica AI·12/8/2026research
  Phông chữ mới nhằm làm nhiễu trình thu thập dữ liệu AI

  ShieldFont là một thiết kế phông chữ do hai nhà thiết kế đề xuất nhằm giúp nhà xuất bản web hiển thị nội dung rõ ràng cho người đọc nhưng làm thay đổi văn bản nền tảng mà các trình thu thập dữ liệu nhìn thấy. Phông chữ này dùng các ligature để thay thế một số từ bằng từ khác khi hiển thị, khiến scraper chỉ lấy được dữ liệu vô nghĩa thay vì nội dung gốc.

• 6Hacker News·7/8/2026security
  Một năm đối phó với các trình thu thập dữ liệu

  Bài viết mô tả nỗ lực kéo dài một năm của chủ sở hữu một website 1,5 triệu trang nhằm giảm tình trạng quét dữ liệu, khi phần lớn lưu lượng truy cập đến từ bot. Nội dung tập trung vào chi phí vận hành, các cách phát hiện và biện pháp giảm thiểu để bảo vệ nội dung và hạ tầng.

• 5Hacker News·5/8/2026product_launch
  TIME cung cấp cho bot AI một phiên bản website riêng kèm quảng cáo

  TIME được cho là đang hiển thị cho các bot AI một phiên bản website khác có chèn quảng cáo. Động thái này nhằm kiểm soát cách các trình thu thập tự động truy cập và tiêu thụ nội dung, đồng thời duy trì mô hình kiếm tiền từ quảng cáo.

• 7Hacker News·27/7/2026regulation
  Thẩm phán bác lập luận DMCA của Google trong vụ bị quét dữ liệu

  Một thẩm phán đã bác nỗ lực của Google nhằm dùng DMCA làm căn cứ biện hộ trước các cáo buộc rằng nội dung của hãng bị quét dữ liệu. Phán quyết này cho thấy các quy định gỡ bỏ vì bản quyền không phải lúc nào cũng là lá chắn bao quát trước hoạt động thu thập dữ liệu.

• 7Hacker News·25/7/2026product_launch
  Cloudflare bổ sung tùy chọn mới để kiểm soát lưu lượng AI

  Cloudflare công bố các tùy chọn mới cho khách hàng nhằm quản lý lưu lượng AI trên mạng của mình, bao gồm các cơ chế kiểm soát cách bot và crawler AI truy cập nội dung. Bản cập nhật này được định vị như một phần trong nỗ lực của Cloudflare để trao thêm quyền lựa chọn cho chủ website về việc hệ thống AI có thể sử dụng dữ liệu của họ hay không và như thế nào.

• 8Simon Willison·15/7/2026security
  Lỗ hổng web_fetch của Claude bị khai thác trong tấn công prompt injection

  Một nhà nghiên cứu đã phát hiện lỗ hổng trong công cụ web_fetch của Claude, cho phép đi theo các liên kết lồng nhau trong nội dung đã tải về và vượt qua cơ chế chống rò rỉ dữ liệu. Cuộc tấn công có thể làm lộ dữ liệu riêng tư như tên, thành phố và nơi làm việc của người dùng; Anthropic sau đó đã gỡ bỏ hành vi điều hướng này.

• 8Hacker News·15/7/2026security
  Dữ liệu bộ nhớ của Claude bị lộ qua lạm dụng tính năng duyệt web

  Một bài đăng trên Hacker News mô tả kiểu tấn công prompt injection nhắm vào trợ lý Claude dành cho người dùng, trong đó hành vi duyệt web bị lợi dụng để đánh cắp dữ liệu bộ nhớ cá nhân. Tác giả cho biết Claude có thể bị dụ gửi thông tin hồ sơ nhạy cảm như tên, nơi làm việc và câu trả lời bảo mật đến máy chủ do kẻ tấn công kiểm soát mà người dùng không dễ nhận thấy.

• 7Cloudflare Blog·1/7/2026research
  Cloudflare khởi động chương trình cải thiện tìm kiếm AI và giá trị nội dung

  Cloudflare công bố các tùy chọn kiểm soát bot mới và một chương trình nghiên cứu nhằm giúp tìm kiếm AI thông minh hơn bằng cách dùng các tín hiệu như độ mới và chất lượng nội dung để giảm việc thu thập dữ liệu không cần thiết. Công ty cũng cho biết muốn giúp nhà sáng tạo được trả công khi nội dung của họ được dùng để trả lời truy vấn, trong bối cảnh lượt nhấp từ tìm kiếm truyền thống giảm do các bản tóm tắt do AI tạo ra.