event time watermark
AssessKỹ thuật
Một mốc tiến trình dựa trên timestamp của sự kiện, dùng để biểu thị mức độ hoàn tất dữ liệu trong pipeline luồng.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là cập nhật framework, 1 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 6InfoQ·19/10/2026framework_updatePinterest hoàn tất phân vùng dữ liệu ở quy mô petabyte bằng watermark theo thời gian sự kiện
Pinterest đã giới thiệu cơ chế hoàn tất phân vùng dựa trên thời gian sự kiện trong framework nạp dữ liệu của mình để xác định khi nào dữ liệu CDC được nạp liên tục đã đủ đầy cho xử lý downstream. Cách tiếp cận này kết hợp Apache Flink để theo dõi thời gian sự kiện và metadata của Apache Iceberg để công bố watermark không bị thoái lui.