DSpark
AssessKỹ thuật
Một phương pháp giải mã suy đoán được đề xuất để tăng tốc suy luận LLM.
Vì sao ở đây
Xếp vào Assess: 3 bài bằng chứng từ 2 nguồn, chủ yếu là phát hành mô hình, 1 bài trong 30 ngày qua. Độ tin cậy 48%.
Bằng chứng (3)
- 7Hugging Face Blog·24/9/2026model_releaseLiquidAI phát hành mô hình nháp DSpark cho LFM2.5-VL-3B
LiquidAI đã phát hành một mô hình nháp DSpark thử nghiệm cho mô hình ngôn ngữ-hình ảnh LFM2.5-VL-3B, bổ sung suy luận suy đoán để tăng tốc độ suy luận mà không làm thay đổi chất lượng đầu ra. Công ty cho biết tốc độ giải mã tăng tối đa 3,13 lần trên thiết bị và 2,66 lần trên H100, trong khi cải thiện tổng thể đạt tối đa 2,62 lần và 2,27 lần, cùng hỗ trợ sẵn có trên llama.cpp, MLX-VLM và SGLang.
- 7Hugging Face Blog·20/8/2026model_releaseMô hình nháp DSpark cho LFM2.5 giúp suy luận nhanh hơn
Hugging Face và Liquid AI đã phát hành các checkpoint draft DSpark cho ba mô hình thuộc họ LFM2.5, bổ sung cơ chế speculative decoding để tăng tốc suy luận mà không làm thay đổi chất lượng đầu ra. Theo công bố, tốc độ xử lý có thể tăng tới 3,18 lần trên GPU, tới 2,87 lần trên thiết bị, và độ trễ gọi hàm của LFM2.5-2.6B giảm trung bình 57%, đồng thời được hỗ trợ ngay từ đầu trên llama.cpp và SGLang.
- 8Hacker News·27/6/2026researchDSpark: giải mã suy đoán để tăng tốc suy luận LLM
DSpark là một bài nghiên cứu mô tả cách tiếp cận giải mã suy đoán nhằm giảm độ trễ và tăng thông lượng khi suy luận với mô hình ngôn ngữ lớn. Phương pháp này hướng tới việc tăng tốc quá trình sinh văn bản nhưng vẫn giữ chất lượng đầu ra, nên có ý nghĩa đối với hiệu quả triển khai và phục vụ mô hình.