GGUF

Bằng chứng (9)

• 2Hacker News·23/9/2026open_source
  Bài châm biếm trình diễn bộ phân loại Jev bằng 25 dòng Python

  Bài đăng trên Hacker News này giới thiệu một bản cài đặt châm biếm “Jev” bằng một đoạn Python ngắn, tải mô hình GGUF và phân loại email thành các nhãn như Hợp lệ, Thư rác hoặc Phishing. Bài viết nhấn mạnh cách tiếp cận này đơn giản, chạy nhanh và bảo vệ quyền riêng tư vì hoạt động cục bộ, không gửi dữ liệu ra API bên ngoài.

• 6Hacker News·8/9/2026research
  Bản lượng tử 4-bit của Qwen3.8 27B vẫn giữ chất lượng trên benchmark

  So sánh benchmark các mức lượng tử của Qwen3.8 27B cho thấy bản 4-bit Q4_K_M gần như tương đương BF16 trên GPQA Diamond, IFBench và Terminal-Bench 2.1 nhưng dùng ít RAM GPU hơn nhiều. Khi nén quá mạnh, chất lượng giảm đột ngột: bản 1-bit gần như ngẫu nhiên trên GPQA Diamond và còn tệ hơn ở các tác vụ suy luận dài.

• 7Hacker News·19/8/2026model_release
  Unsloth phát hành các bản lượng tử hóa GGUF Dynamic v3.0 cho Qwen3.8-27B

  Unsloth đã phát hành các bản lượng tử hóa GGUF Dynamic v3.0 cho Qwen3.8-27B, với tuyên bố đạt độ chính xác top-1% tốt hơn các nhà cung cấp khác ở cùng kích thước mô hình. Bản cập nhật cải thiện hiệu chỉnh dữ liệu, chọn lớp và các kỹ thuật lượng tử hóa hậu huấn luyện, đồng thời tương thích với các công cụ suy luận như llama.cpp và Unsloth Desktop.

• 6Hugging Face Blog·19/8/2026model_release
  Liquid AI phát hành các checkpoint QAD Q4_0 cho LFM2.5

  Liquid AI đã phát hành các checkpoint GGUF Q4_0 cập nhật cho bốn mô hình LFM2.5 bằng phương pháp distillation có nhận biết lượng tử hóa. Theo công ty, các checkpoint này giữ được mức bộ nhớ và tốc độ của Q4_0 trong khi khôi phục phần lớn độ chính xác BF16 bị mất do lượng tử hóa, và có thể dùng với llama.cpp cùng các runtime hỗ trợ GGUF.

• 6Hacker News·16/8/2026model_release
  Qwen 3.8 27B mặc định suy luận quá sâu

  Simon Willison cho biết mô hình vision mã nguồn mở Qwen 3.8 27B của Alibaba có chất lượng tốt, nhưng mức suy luận mặc định xhigh khiến đầu ra rất chậm và tốn token khi chạy trên phần cứng cá nhân. Ông nhận thấy giảm hoặc tắt mức suy luận giúp mô hình dùng thực tế hơn nhiều, trong khi bản Qwen 3.8 2.4T-A95B lớn hơn cũng tạo ra một SVG chất lượng cao.

• 7The New Stack·12/8/2026model_release
  Meta phát hành pipeline chưng cất của riêng mình với Muse Glimmer

  Meta đã phát hành Muse Glimmer, một mô hình mã nguồn mở trọng số 30 tỷ tham số được chưng cất từ Muse Spark và cấp phép Apache 2.0. Bản phát hành này đóng gói cả phần mô hình “giáo viên” lẫn “học trò” trong quy trình chưng cất, kèm các bản dựng lượng tử hóa và thành phần drafting, cho thấy chưng cất đang trở thành một pipeline triển khai cho doanh nghiệp chứ không chỉ là vấn đề sao chép mô hình.

• 5Hacker News·28/7/2026model_release
  Phát hành mô hình Neutrino-1 8B kèm bộ nhị phân và gói triển khai

  Neutrino-1 8B đã được phát hành cùng với trọng số mô hình, bản nhị phân gốc, gói GGUF và gói MLX. Người dùng có thể chạy qua công cụ chat của Fermion sau khi cài gói fermion-research; lần chạy đầu sẽ tải gói truyền tải 2,56 GB, kiểm tra SHA-256 rồi giải nén cục bộ để các lần sau dùng từ bộ nhớ đệm.

• 6Hacker News·29/6/2026model_release
  Qwen 3.6 27B được xem là mô hình phù hợp để phát triển cục bộ

  Bài viết cho rằng Qwen 3.6 27B là mô hình chạy cục bộ thuyết phục nhất mà tác giả từng thử, cho thấy kết quả tốt hơn các lựa chọn local trước đây trong các bài kiểm tra viết có ràng buộc và lập trình. Bài cũng hướng dẫn cách chạy mô hình trên máy cá nhân bằng llama.cpp và bản GGUF đã lượng tử hóa từ Hugging Face để chat tương tác và làm việc theo kiểu agent.

• 8Hugging Face Blog·2/6/2026model_release
  Holo3.1 bổ sung tác nhân sử dụng máy tính chạy cục bộ, đa môi trường

  Hugging Face Blog giới thiệu Holo3.1, bộ mô hình computer-use mới được thiết kế để hoạt động ổn định hơn trên web, desktop và mobile, đồng thời tương thích tốt hơn với nhiều framework tác tử. Bản phát hành cũng bổ sung các checkpoint lượng tử hóa như FP8, Q4 GGUF và NVFP4 để suy luận cục bộ nhanh hơn trên thiết bị người dùng.