turbovec là một chỉ mục vector chạy ngay trong tiến trình, viết bằng Rust và có ràng buộc Python, dùng TurboQuant để nén embedding nhằm tiết kiệm bộ nhớ và tìm kiếm nhanh hơn FAISS ở cùng mức recall.
turbovec là một thư viện tìm kiếm vector chạy cục bộ cho Python và Rust. Nó lập chỉ mục các embedding trong bộ nhớ, cho phép tìm kiếm trực tiếp trên dữ liệu đã nén, và cung cấp cả dạng chỉ mục thông thường lẫn dạng ánh xạ id để dùng id do người dùng quản lý và hỗ trợ xoá. README cũng nêu khả năng lưu bền vững, lọc kết quả, và tích hợp với một số framework cho LLM/RAG.
Dự án giải quyết bài toán lưu trữ và truy vấn các tập embedding lớn, nhất là khi vector float32 tốn rất nhiều RAM và việc tìm kiếm thông thường có thể chậm. Nó hướng tới những trường hợp cần một chỉ mục vector hoàn toàn cục bộ, chạy trong tiến trình, dùng ít bộ nhớ, cập nhật nhanh, và không cần bước huấn luyện hay xây dựng lại chỉ mục.
Về mặt khái niệm, turbovec lưu từng chiều của vector dưới dạng nén 2-bit hoặc 4-bit bằng TurboQuant, rồi truy vấn trực tiếp trên biểu diễn đã nén đó bằng các kernel tối ưu cho SIMD. README mô tả một quy trình tìm kiếm theo tầng: quét trước một mặt phẳng bit rồi chấm lại chính xác cho danh sách ứng viên rút gọn, nhờ đó cân bằng giữa tốc độ và recall. Nó cũng hỗ trợ lưu bền vững gia tăng qua các thao tác sync/write để ghi lại thay đổi mà không phải dựng lại toàn bộ chỉ mục.
Dự án đang được chú ý vì kết hợp nhiều đặc điểm hữu ích cho các workload embedding và RAG hiện đại: tiết kiệm bộ nhớ rõ rệt, tốc độ tìm kiếm nhanh hơn baseline FAISS theo các benchmark được công bố, cập nhật gia tăng, và mô hình thư viện ưu tiên chạy ngoại tuyến. Repository còn cung cấp API cho cả Python lẫn Rust cùng các tích hợp với LangChain, LlamaIndex, Haystack và Agno, nên có thể thu hút nhiều người thực hành. README nêu các số đo benchmark cụ thể và các tính năng vận hành như lọc allowlist và sync an toàn khi crash, điều này giúp dự án nổi bật.
README so sánh turbovec chủ yếu với FAISS, đặc biệt là FAISS FastScan và IndexPQ, và định vị turbovec như một lựa chọn chạy trong tiến trình, nhanh hơn và tiết kiệm bộ nhớ hơn trong các thử nghiệm được công bố. Nó cũng cho thấy turbovec phù hợp cho tìm kiếm vector cục bộ hơn là chỉ mục đồ thị, nên các hệ ANN dựa trên graph là một hướng khác khi tập dữ liệu rất lớn. Ngoài ra, README không nêu so sánh trực tiếp với các thư viện khác.
Do AI giải thích · dựa trên README của từng kho