speculative decoding

Bằng chứng (6)

• 8The New Stack·8/10/2026product_launch
  GitHub Copilot bổ sung định tuyến cục bộ, nhưng việc gửi dữ liệu lên đám mây vẫn chưa rõ

  GitHub Copilot sắp tự động chọn giữa xử lý tác vụ lập trình trên máy hay gửi lên các mô hình đám mây, với kế hoạch triển khai vào cuối tháng 10. Microsoft đồng thời phát hành rộng rãi các kiểm soát sandbox mới, nhưng vẫn chưa cho biết Copilot gửi bao nhiêu ngữ cảnh từ kho mã hoặc hội thoại lên đám mây, hay liệu nhà phát triển có thể ép chỉ dùng suy luận cục bộ hay không.

• 5Hacker News·7/9/2026research
  Hiệu năng giải mã suy đoán trong vLLM trên GPU AMD

  Bài viết giải thích cách hoạt động của speculative decoding trong vLLM và so sánh một số phương pháp draft-and-verify như native MTP, Gemma 4 MTP, EAGLE-3, DFlash và DSpark. Tác giả cho biết mức tăng thông lượng thay đổi đáng kể tùy theo cách tạo dự đoán, độ dài đề xuất, họ mô hình, checkpoint draft, tải công việc và hành vi chấp nhận token trên GPU AMD Instinct MI300X và MI355X.

• 7Hacker News·1/9/2026open_source
  Slotstream chạy mô hình Qwen3.8 125B trên Mac 48GB

  Slotstream là một phương pháp mới để chạy mô hình Qwen3.8-Flash-Next 125B ở dạng 4-bit trên các máy Mac ít RAM, từ mức 16GB trở lên. Giải pháp này dùng cơ chế offload chuyên gia và phát luồng từ SSD để giảm nhu cầu bộ nhớ, đồng thời tích hợp theo hướng native trên macOS bằng MLX và Swift, kèm chế độ tự động cân bằng giữa tốc độ và mức dùng RAM.

• 7Hugging Face Blog·20/8/2026model_release
  Mô hình nháp DSpark cho LFM2.5 giúp suy luận nhanh hơn

  Hugging Face và Liquid AI đã phát hành các checkpoint draft DSpark cho ba mô hình thuộc họ LFM2.5, bổ sung cơ chế speculative decoding để tăng tốc suy luận mà không làm thay đổi chất lượng đầu ra. Theo công bố, tốc độ xử lý có thể tăng tới 3,18 lần trên GPU, tới 2,87 lần trên thiết bị, và độ trễ gọi hàm của LFM2.5-2.6B giảm trung bình 57%, đồng thời được hỗ trợ ngay từ đầu trên llama.cpp và SGLang.

• 4InfoQ·11/8/2026research
  Cách giảm chi phí suy luận LLM cho các khối lượng xử lý hàng loạt lớn

  Meryem Arik trình bày các chiến lược xây dựng hệ thống suy luận LLM chi phí thấp cho các tác vụ khối lượng lớn, không yêu cầu thời gian thực. Bài nói nhấn mạnh các đánh đổi giữa phần cứng, runtime suy luận, speculative decoding và sắp xếp lại hàng đợi để giảm chi phí đáng kể.

• 8Hacker News·27/6/2026research
  DSpark: giải mã suy đoán để tăng tốc suy luận LLM

  DSpark là một bài nghiên cứu mô tả cách tiếp cận giải mã suy đoán nhằm giảm độ trễ và tăng thông lượng khi suy luận với mô hình ngôn ngữ lớn. Phương pháp này hướng tới việc tăng tốc quá trình sinh văn bản nhưng vẫn giữ chất lượng đầu ra, nên có ý nghĩa đối với hiệu quả triển khai và phục vụ mô hình.