vLLM

Bằng chứng (17)

• 7NVIDIA GenAI·2/10/2026product_launch
  NVIDIA bổ sung DGX Spark 64GB cho phát triển AI cục bộ

  NVIDIA ra mắt cấu hình DGX Spark 64GB thông qua các đối tác sản xuất, hướng tới nhà phát triển, nhà nghiên cứu và người dùng muốn chạy AI cục bộ. Hệ thống đi kèm DGX OS và bộ phần mềm AI của NVIDIA, hỗ trợ mô hình tới 100 tỷ tham số trên máy, đồng thời có thể ghép thành cụm 2 máy để tăng bộ nhớ và hiệu năng mà không cần thiết lập phức tạp.

• 6Hacker News·30/9/2026product_launch
  Launch HN: Magnitude, bộ suy luận tự tối ưu cho tác tử chạy cục bộ

  Magnitude là một bộ suy luận mã nguồn mở mới ra mắt dành cho tác tử chạy cục bộ, có khả năng tự tinh chỉnh trên phần cứng mục tiêu để tăng tốc độ và hiệu quả bộ nhớ. Nhóm phát triển cho biết công cụ này chạy trên Mac, Linux và Windows, đồng thời công bố kết quả benchmark vượt llama.cpp về tốc độ decode và prefill trên phần cứng được thử nghiệm.

• 7Hacker News·16/9/2026research
  Mô hình 4B tạo kế hoạch truy vấn tốt hơn Postgres cho các truy vấn join

  Bài viết mô tả một thí nghiệm hậu huấn luyện mô hình mã nguồn mở 4B để tạo ra kế hoạch truy vấn Postgres tốt hơn bộ tối ưu mặc định trên các truy vấn nhiều phép join. Thông qua fine-tuning có giám sát và reinforcement learning, mô hình được cho là giảm độ trễ 44,7% trên 113 truy vấn và xử lý được nhiều trường hợp ban đầu không tạo nổi kế hoạch.

• 5Hacker News·7/9/2026research
  Hiệu năng giải mã suy đoán trong vLLM trên GPU AMD

  Bài viết giải thích cách hoạt động của speculative decoding trong vLLM và so sánh một số phương pháp draft-and-verify như native MTP, Gemma 4 MTP, EAGLE-3, DFlash và DSpark. Tác giả cho biết mức tăng thông lượng thay đổi đáng kể tùy theo cách tạo dự đoán, độ dài đề xuất, họ mô hình, checkpoint draft, tải công việc và hành vi chấp nhận token trên GPU AMD Instinct MI300X và MI355X.

• 8NVIDIA GenAI·3/9/2026product_launch
  NVIDIA thúc đẩy AI chạy cục bộ, tăng tốc suy luận và ra mắt PC RTX Spark mới tại IFA 2026

  NVIDIA công bố các tính năng AI chạy cục bộ và các hợp tác phần cứng mới tại IFA 2026, gồm việc đơn giản hóa thiết lập cho ứng dụng agent trên GPU NVIDIA, tăng tốc suy luận cho các bộ công cụ chạy cục bộ phổ biến, và một công cụ định tuyến AI cá nhân mới. Công ty cũng cho biết các PC Windows RTX Spark nhỏ gọn từ Lenovo và Acer sẽ ra mắt vào tháng 10, cùng với hỗ trợ cho nhiều mô hình và công cụ tạo video mới được tối ưu cho phần cứng NVIDIA.

• 8Hacker News·28/8/2026open_source
  GLM-5.3 được phát hành dưới dạng open weights

  GLM-5.3 hiện đã được phát hành dưới dạng mô hình open weights, dùng cùng base model với GLM-5.2 và toàn bộ cải thiện đến từ post-training. Bản phát hành này nhấn mạnh khả năng lập trình và xử lý tác vụ dài tốt hơn, đồng thời cải thiện đáng kể trên các benchmark về an ninh mạng và hỗ trợ triển khai cục bộ qua nhiều framework suy luận.

• 7Hacker News·21/8/2026research
  Triển khai Qwen3-TTS đạt độ trễ giọng nói dưới 50 ms

  Tác giả cho biết triển khai Qwen3-TTS 1.7B CustomVoice của họ đạt p95 thời gian tới âm thanh đầu tiên dưới 50 ms và khoảng 10 yêu cầu/giây trên một NVIDIA H100 SXM duy nhất, đồng thời vẫn giữ được phát âm thanh thời gian thực. Họ đã benchmark nhiều engine phục vụ, tinh chỉnh để phát trực tuyến độ trễ thấp, và công bố mã triển khai cùng bộ đo kiểm dưới dạng mã nguồn mở.

• 8Hacker News·12/8/2026model_release
  Phát hành mô hình mở Qwen3.8

  Qwen đã phát hành Qwen3.8-2.4T-A95B, một mô hình sau huấn luyện ở định dạng Hugging Face Transformers và tương thích với các công cụ như vLLM và SGLang. Mô hình này được giới thiệu là thế hệ open model mạnh nhất của Qwen từ trước đến nay, với cải thiện về lập trình, thực thi tác vụ tác tử, xử lý ngữ cảnh dài và khả năng điều khiển mức độ suy luận.

• 8Hugging Face Blog·10/8/2026model_release
  Meta ra mắt Muse Glimmer, mô hình đa phương thức mã nguồn mở chạy cục bộ

  Meta đã phát hành Muse Glimmer, mô hình đa phương thức 30 tỷ tham số được chưng cất cho các tác vụ tác tử chạy cục bộ và cấp phép Apache 2.0. Hugging Face cho biết đã hỗ trợ ngay từ ngày đầu trên transformers, llama.cpp, vLLM và Inference Endpoints, đồng thời công bố benchmark và chi tiết kiến trúc cho các ứng dụng ưu tiên quyền riêng tư như lập trình, phân tích tài liệu và trợ lý cá nhân.

• 8Hugging Face Blog·4/8/2026model_release
  Hugging Face giới thiệu LFM2.5-2.6B cho tác tử chạy trực tiếp trên thiết bị

  Hugging Face công bố LFM2.5-2.6B, mô hình 2,6 tỷ tham số được thiết kế để vận hành tác tử trực tiếp trên thiết bị với khả năng gọi công cụ và thực hiện quy trình nhiều bước. Mô hình hướng tới máy tính xách tay và điện thoại, nhấn mạnh tính riêng tư, mức dùng bộ nhớ thấp và hiệu năng benchmark mạnh so với các mô hình lớn hơn nhiều.

• 6InfoQ·27/7/2026framework_update
  Netflix chia sẻ về nền tảng phục vụ LLM nội bộ

  Netflix đã chia sẻ các bài học triển khai thực tế từ nền tảng phục vụ suy luận LLM nội bộ, đặc biệt là cách hỗ trợ nhiều kích thước mô hình và yêu cầu phần cứng khác nhau. Công ty cũng nhấn mạnh nhu cầu thích ứng nhanh khi các công cụ suy luận liên tục thay đổi, với Triton và vLLM là một phần của hệ thống.

• 8Hugging Face Blog·8/7/2026framework_update
  Backend Transformers trong vLLM đạt tốc độ ngang native

  Hugging Face cho biết backend mô hình Transformers trong vLLM nay đã đạt hoặc vượt thông lượng của các bản triển khai native do vLLM tự viết cho một số mô hình Qwen3. Bản cập nhật cho phép tác giả mô hình chạy mô hình Transformers trong vLLM chỉ với một cờ cấu hình, đồng thời vẫn giữ nguyên các chế độ song song và quy trình phục vụ quen thuộc.

• 7Hugging Face Blog·7/7/2026product_launch
  Mô hình Hugging Face có mặt trên Foundry Managed Compute của Microsoft

  Microsoft công bố các mô hình open-weight được tuyển chọn từ Hugging Face nay đã có trên Foundry Managed Compute, được cập nhật hằng tuần và triển khai chỉ với một lần nhấp. Dịch vụ bổ sung các năng lực doanh nghiệp như quét bảo mật, quản trị, quan sát vận hành, thanh toán và hỗ trợ triển khai GPU quản lý cho mô hình nguồn mở và tùy biến.

• 5Hacker News·28/6/2026open_source
  Hướng dẫn thiết lập cụm RDMA cho AMD Strix Halo

  Tài liệu trên GitHub này hướng dẫn cách thiết lập cụm hỗ trợ RDMA bằng phần cứng AMD Strix Halo cho các tác vụ phân tán. Nội dung hướng tới nhà phát triển muốn thử nghiệm mạng hiệu năng cao và ghép cụm để chạy AI hoặc tính toán cục bộ, chứ không phải một sản phẩm mới.

• 5Hugging Face Blog·26/6/2026product_launch
  Chạy vLLM Server trên HF Jobs chỉ với một lệnh

  Hugging Face hướng dẫn cách khởi chạy một endpoint vLLM riêng tư, tương thích OpenAI trên HF Jobs chỉ bằng một lệnh, sử dụng container có GPU và proxy jobs công khai. Bài viết cũng nêu cách truy vấn bằng curl hoặc OpenAI Python client, cùng cách dừng job và quản lý truy cập an toàn.

• 7Hugging Face Blog·27/5/2026framework_update
  TRL bổ sung đồng bộ trọng số delta qua Hub Bucket của Hugging Face

  Hugging Face giới thiệu bản cập nhật TRL cho phép chỉ truyền phần chênh lệch trọng số thay vì toàn bộ checkpoint trong huấn luyện RL bất đồng bộ. Các sai khác dạng sparse safetensors được lưu trong Hugging Face Bucket để vLLM tự tải về, giúp giảm mạnh dung lượng truyền mỗi bước và hỗ trợ mô hình huấn luyện tách rời trên nhiều máy/Space.

• 7Hugging Face Blog·6/5/2026framework_update
  Di chuyển sang vLLM V1: Sửa logprobs của rollout trước khi chỉnh mục tiêu RL

  Hugging Face mô tả quá trình chuyển từ vLLM V0 sang V1 trong một pipeline huấn luyện RL, trong đó logprobs của rollout không khớp ban đầu đã làm thay đổi hành vi huấn luyện. Nhóm đã khôi phục sự tương đương bằng cách bật processed logprobs, điều chỉnh các mặc định runtime của V1, sửa đường cập nhật trọng số inflight và dùng lm_head fp32 trước khi cân nhắc chỉnh sửa mục tiêu RL.