Trendora

DSpark

Assess

Kỹ thuật

Một phương pháp giải mã suy đoán được đề xuất để tăng tốc suy luận LLM.

Vì sao ở đây

Xếp vào Assess: 3 bài bằng chứng từ 2 nguồn, chủ yếu là phát hành mô hình, 1 bài trong 30 ngày qua. Độ tin cậy 48%.

Bằng chứng (3)

  • 7Hugging Face Blog·24/9/2026model_release
    LiquidAI phát hành mô hình nháp DSpark cho LFM2.5-VL-3B

    LiquidAI đã phát hành một mô hình nháp DSpark thử nghiệm cho mô hình ngôn ngữ-hình ảnh LFM2.5-VL-3B, bổ sung suy luận suy đoán để tăng tốc độ suy luận mà không làm thay đổi chất lượng đầu ra. Công ty cho biết tốc độ giải mã tăng tối đa 3,13 lần trên thiết bị và 2,66 lần trên H100, trong khi cải thiện tổng thể đạt tối đa 2,62 lần và 2,27 lần, cùng hỗ trợ sẵn có trên llama.cpp, MLX-VLM và SGLang.

  • 7Hugging Face Blog·20/8/2026model_release
    Mô hình nháp DSpark cho LFM2.5 giúp suy luận nhanh hơn

    Hugging Face và Liquid AI đã phát hành các checkpoint draft DSpark cho ba mô hình thuộc họ LFM2.5, bổ sung cơ chế speculative decoding để tăng tốc suy luận mà không làm thay đổi chất lượng đầu ra. Theo công bố, tốc độ xử lý có thể tăng tới 3,18 lần trên GPU, tới 2,87 lần trên thiết bị, và độ trễ gọi hàm của LFM2.5-2.6B giảm trung bình 57%, đồng thời được hỗ trợ ngay từ đầu trên llama.cpp và SGLang.

  • 8Hacker News·27/6/2026research
    DSpark: giải mã suy đoán để tăng tốc suy luận LLM

    DSpark là một bài nghiên cứu mô tả cách tiếp cận giải mã suy đoán nhằm giảm độ trễ và tăng thông lượng khi suy luận với mô hình ngôn ngữ lớn. Phương pháp này hướng tới việc tăng tốc quá trình sinh văn bản nhưng vẫn giữ chất lượng đầu ra, nên có ý nghĩa đối với hiệu quả triển khai và phục vụ mô hình.