Proxy model
AssessKỹ thuật
Mô hình cục bộ nhẹ được chắt lọc từ đầu ra của LLM để xử lý suy luận gần dữ liệu.
Vì sao ở đây
Xếp vào Assess: 1 bài bằng chứng từ 1 nguồn, chủ yếu là ra mắt sản phẩm, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 7InfoQ·9/7/2026product_launchAlloyDB GA bổ sung mô hình proxy cho suy luận cục bộ
Google đã phát hành chính thức các hàm AlloyDB AI với kiến trúc mô hình proxy, trong đó một mô hình cục bộ nhẹ được huấn luyện từ đầu ra của LLM rồi phục vụ truy vấn ngay trong cơ sở dữ liệu mà không cần gọi ra bên ngoài. Theo Google, cơ chế batch thông minh có thể tăng thông lượng tới 2.400 lần; bản xem trước ghi nhận tối đa 100.000 hàng/giây cho ai.if, dù số liệu này chỉ áp dụng trong thử nghiệm nội bộ.