sglang

Bằng chứng (11)

• 6Hacker News·30/9/2026product_launch
  Launch HN: Magnitude, bộ suy luận tự tối ưu cho tác tử chạy cục bộ

  Magnitude là một bộ suy luận mã nguồn mở mới ra mắt dành cho tác tử chạy cục bộ, có khả năng tự tinh chỉnh trên phần cứng mục tiêu để tăng tốc độ và hiệu quả bộ nhớ. Nhóm phát triển cho biết công cụ này chạy trên Mac, Linux và Windows, đồng thời công bố kết quả benchmark vượt llama.cpp về tốc độ decode và prefill trên phần cứng được thử nghiệm.

• 7Hugging Face Blog·24/9/2026model_release
  LiquidAI phát hành mô hình nháp DSpark cho LFM2.5-VL-3B

  LiquidAI đã phát hành một mô hình nháp DSpark thử nghiệm cho mô hình ngôn ngữ-hình ảnh LFM2.5-VL-3B, bổ sung suy luận suy đoán để tăng tốc độ suy luận mà không làm thay đổi chất lượng đầu ra. Công ty cho biết tốc độ giải mã tăng tối đa 3,13 lần trên thiết bị và 2,66 lần trên H100, trong khi cải thiện tổng thể đạt tối đa 2,62 lần và 2,27 lần, cùng hỗ trợ sẵn có trên llama.cpp, MLX-VLM và SGLang.

• 8Hacker News·28/8/2026open_source
  GLM-5.3 được phát hành dưới dạng open weights

  GLM-5.3 hiện đã được phát hành dưới dạng mô hình open weights, dùng cùng base model với GLM-5.2 và toàn bộ cải thiện đến từ post-training. Bản phát hành này nhấn mạnh khả năng lập trình và xử lý tác vụ dài tốt hơn, đồng thời cải thiện đáng kể trên các benchmark về an ninh mạng và hỗ trợ triển khai cục bộ qua nhiều framework suy luận.

• 8The New Stack·26/8/2026model_release
  Z.ai ra mắt GLM-5.3-Flash, mô hình lai chi phí thấp chạy trên chip Trung Quốc

  Z.ai cho biết mô hình bí ẩn Ox-alpha thực chất là GLM-5.3-Flash, một mô hình lai 320 tỷ tham số với 18 tỷ tham số hoạt động, được thiết kế để suy luận với chi phí rất thấp. Mô hình đã được mở mã nguồn trên Hugging Face theo giấy phép MIT và đang có mặt trên các nền tảng như OpenRouter; Z.ai nhấn mạnh rằng hệ thống phục vụ mô hình được triển khai hiệu quả trên chip AI Trung Quốc bằng ngăn xếp suy luận riêng dựa trên SGLang.

• 7Hacker News·23/8/2026research
  Qwen 3.8 27B hoàn thành một tác vụ đảo ngược phần mềm trong 30 phút

  Một bài kiểm tra thực tế cho thấy Qwen 3.8 27B có thể xử lý một tác vụ đảo ngược phần mềm phức tạp trên một máy trạm đơn lẻ và tạo ra cả báo cáo lẫn cơ chế vượt kiểm tra. Mô hình chủ yếu dựa vào phân tích tĩnh và các công cụ Bash, đồng thời tự sửa lỗi trong quá trình thực hiện. Bài viết xem đây là dấu hiệu cho thấy năng lực mạnh của mô hình chạy cục bộ, nhưng cũng nêu lên các lo ngại về an ninh mạng.

• 7Hacker News·21/8/2026research
  Triển khai Qwen3-TTS đạt độ trễ giọng nói dưới 50 ms

  Tác giả cho biết triển khai Qwen3-TTS 1.7B CustomVoice của họ đạt p95 thời gian tới âm thanh đầu tiên dưới 50 ms và khoảng 10 yêu cầu/giây trên một NVIDIA H100 SXM duy nhất, đồng thời vẫn giữ được phát âm thanh thời gian thực. Họ đã benchmark nhiều engine phục vụ, tinh chỉnh để phát trực tuyến độ trễ thấp, và công bố mã triển khai cùng bộ đo kiểm dưới dạng mã nguồn mở.

• 7Hugging Face Blog·20/8/2026model_release
  Mô hình nháp DSpark cho LFM2.5 giúp suy luận nhanh hơn

  Hugging Face và Liquid AI đã phát hành các checkpoint draft DSpark cho ba mô hình thuộc họ LFM2.5, bổ sung cơ chế speculative decoding để tăng tốc suy luận mà không làm thay đổi chất lượng đầu ra. Theo công bố, tốc độ xử lý có thể tăng tới 3,18 lần trên GPU, tới 2,87 lần trên thiết bị, và độ trễ gọi hàm của LFM2.5-2.6B giảm trung bình 57%, đồng thời được hỗ trợ ngay từ đầu trên llama.cpp và SGLang.

• 8Hacker News·12/8/2026model_release
  Phát hành mô hình mở Qwen3.8

  Qwen đã phát hành Qwen3.8-2.4T-A95B, một mô hình sau huấn luyện ở định dạng Hugging Face Transformers và tương thích với các công cụ như vLLM và SGLang. Mô hình này được giới thiệu là thế hệ open model mạnh nhất của Qwen từ trước đến nay, với cải thiện về lập trình, thực thi tác vụ tác tử, xử lý ngữ cảnh dài và khả năng điều khiển mức độ suy luận.

• 7Cloudflare Blog·3/8/2026research
  Cloudflare mở rộng Kimi và GLM bằng lượng tử hóa KV cache và nén trọng số

  Cloudflare cho biết họ đang phục vụ Moonshot Kimi K-series và Z.ai GLM hiệu quả hơn trên Workers AI bằng cách kết hợp lượng tử hóa KV cache, nén trọng số và các kỹ thuật bảo vệ cache dùng chung. Công ty cho biết KV cache FP8 và trọng số INT4 giúp giảm nhu cầu bộ nhớ GPU, hạ chi phí mà vẫn giữ nguyên độ chính xác mô hình, với SGLang là framework phục vụ suy luận.

• 7Hugging Face Blog·7/7/2026product_launch
  Mô hình Hugging Face có mặt trên Foundry Managed Compute của Microsoft

  Microsoft công bố các mô hình open-weight được tuyển chọn từ Hugging Face nay đã có trên Foundry Managed Compute, được cập nhật hằng tuần và triển khai chỉ với một lần nhấp. Dịch vụ bổ sung các năng lực doanh nghiệp như quét bảo mật, quản trị, quan sát vận hành, thanh toán và hỗ trợ triển khai GPU quản lý cho mô hình nguồn mở và tùy biến.

• 6Hacker News·3/7/2026research
  Wafer công bố suy luận GLM5.2 nhanh hơn trên AMD MI355X

  Wafer cho biết đã chạy GLM5.2 trên AMD MI355X đạt 2626 token/giây/node ở mức 2,4 RPS, đồng thời khẳng định chi phí triển khai thấp hơn hơn 2 lần so với các lựa chọn dựa trên Blackwell. Bài viết cũng mô tả việc dùng lượng tử hóa MXFP4 với AMD Quark và phục vụ mô hình bằng sglang trên ROCm sau khi khắc phục hỗ trợ giải mã suy đoán.