Transformers là khung định nghĩa mô hình của Hugging Face để sử dụng và huấn luyện các mô hình tiên tiến cho văn bản, thị giác, âm thanh, video và đa phương thức, đồng thời tương thích với một hệ sinh thái công cụ rất rộng.
Transformers là một thư viện Python tập trung cách định nghĩa và sử dụng các mô hình học máy hiện đại. README mô tả đây là lớp định nghĩa mô hình dùng chung cho các bài toán văn bản, thị giác máy tính, âm thanh, video và đa phương thức, đồng thời phục vụ cả suy luận lẫn huấn luyện. Dự án cũng cho biết có hơn 1 triệu checkpoint mô hình trên Hugging Face Hub có thể dùng cùng thư viện này.
Dự án giải quyết tình trạng phân mảnh trong cách định nghĩa mô hình giữa các framework và công cụ khác nhau. Khi chuẩn hóa phần định nghĩa mô hình, Transformers giúp cùng một mô hình có thể hoạt động với nhiều framework huấn luyện, bộ máy suy luận và thư viện liên quan mà không cần mỗi bên tự định nghĩa lại từ đầu.
Về mặt khái niệm, Transformers cung cấp phần định nghĩa mô hình làm nền cho các công cụ khác. Nếu một mô hình được hỗ trợ ở lớp này, README cho biết nó sẽ tương thích với nhiều framework huấn luyện, bộ máy suy luận và thư viện lân cận cùng dựa trên định nghĩa chung đó. Ở góc nhìn người dùng, thư viện cung cấp các luồng làm việc mức cao qua Pipeline, tự xử lý tiền xử lý đầu vào và trả về đúng dạng đầu ra cho các tác vụ như sinh văn bản, nhận dạng giọng nói, phân loại ảnh và hỏi-đáp trên ảnh.
Dự án đang được chú ý vì nằm ở trung tâm của một hệ sinh thái lớn và rất sôi động, đồng thời README nhấn mạnh khả năng hỗ trợ nhiều họ mô hình và nhiều kiểu tác vụ hàng đầu. Kho mã cũng có độ hiển thị rất cao trên GitHub, với hơn 163.000 sao và mức tăng sao mỗi ngày gần đây, cho thấy mức quan tâm bền vững. Việc dự án tập trung vào khả năng tiếp cận nhanh các mô hình tiên tiến mới và tương thích rộng với công cụ huấn luyện lẫn suy luận có lẽ là lý do khiến nó đặc biệt đáng chú ý lúc này.
README không nêu trực tiếp các đối thủ thay thế, nhưng có nhắc đến những công cụ trong hệ sinh thái xung quanh như Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning ở phía huấn luyện; vLLM, SGLang, TGI ở phía suy luận; và các thư viện lân cận như llama.cpp, mlx. Dựa trên README, đây nên được hiểu là các công cụ bổ trợ, cùng hưởng lợi từ định nghĩa mô hình dùng chung của Transformers, hơn là các giải pháp thay thế hoàn toàn.
Do AI giải thích · dựa trên README của từng kho