FreeToken là một engine phục vụ suy luận MoE theo hướng edge, viết bằng Python, nhằm chạy các mô hình mã nguồn mở rất lớn ngay trên phần cứng người dùng với tốc độ tương tác hiệu quả.
FreeToken là một engine để phục vụ các mô hình mixture-of-experts quy mô rất lớn, dạng open-weight, trên máy cá nhân và thiết bị tiêu dùng. README cho thấy đây là một hệ thống hướng desktop, có cả ứng dụng GUI lẫn CLI, đồng thời hỗ trợ API tương thích để dễ tích hợp vào các quy trình agent và công cụ sẵn có. Mục tiêu của dự án là chạy mô hình lớn tại chỗ thay vì phụ thuộc vào hạ tầng datacenter.
Dự án giải quyết khoảng cách giữa khả năng phục vụ mô hình ở cấp datacenter và giới hạn của phần cứng tiêu dùng. Cụ thể, nó nhắm tới bài toán chạy các mô hình MoE khổng lồ ngay trên máy локal mà vẫn giữ được tốc độ suy luận, hiệu quả bộ nhớ và trải nghiệm đủ tốt cho chat tương tác, lập trình và các luồng gọi công cụ.
Ở mức khái niệm, FreeToken coi CPU, GPU, bộ nhớ máy chủ và liên kết truyền dữ liệu như một hệ thống suy luận đàn hồi thống nhất, thay vì các tài nguyên rời rạc. README cho biết engine này dùng cơ chế phối hợp CPU-GPU thích ứng theo băng thông, streaming prefill đệm kép, cache chuyên gia, semantic anchor checkpoint cho các trạng thái ngữ cảnh được dùng lại, và tái phân bổ VRAM động giữa cache chuyên gia với bộ nhớ KV để giảm tính toán lặp và làm cho việc dùng bộ nhớ linh hoạt hơn.
Dự án đang thu hút chú ý vì hứa hẹn mang khả năng phục vụ MoE kiểu datacenter xuống phần cứng mà người dùng đã có sẵn, bao gồm PC gaming và các GPU NVIDIA RTX đời mới. Mức độ quan tâm còn có thể đến từ việc nó hỗ trợ các họ mô hình tiên tiến hiện nay và tương thích với hệ sinh thái agent cho lập trình, gọi công cụ — những mảng đang phát triển rất nhanh.
README tự nêu một số dự án liên quan và cũng là các mốc so sánh hợp lý: mini-sglang, SGLang, vLLM, FlashInfer, flash-linear-attention, LightLLM và llama.cpp. FreeToken cũng cung cấp API tương thích với Anthropic/OpenAI, nên có thể dùng cùng các framework và công cụ agent như Codex, Claude Code, OpenCode, OpenClaw và DeepSeek Harness.
Do AI giải thích · dựa trên README của từng kho