llama.cpp

Bằng chứng (17)

• 6Hacker News·30/9/2026product_launch
  Launch HN: Magnitude, bộ suy luận tự tối ưu cho tác tử chạy cục bộ

  Magnitude là một bộ suy luận mã nguồn mở mới ra mắt dành cho tác tử chạy cục bộ, có khả năng tự tinh chỉnh trên phần cứng mục tiêu để tăng tốc độ và hiệu quả bộ nhớ. Nhóm phát triển cho biết công cụ này chạy trên Mac, Linux và Windows, đồng thời công bố kết quả benchmark vượt llama.cpp về tốc độ decode và prefill trên phần cứng được thử nghiệm.

• 7Hugging Face Blog·24/9/2026model_release
  LiquidAI phát hành mô hình nháp DSpark cho LFM2.5-VL-3B

  LiquidAI đã phát hành một mô hình nháp DSpark thử nghiệm cho mô hình ngôn ngữ-hình ảnh LFM2.5-VL-3B, bổ sung suy luận suy đoán để tăng tốc độ suy luận mà không làm thay đổi chất lượng đầu ra. Công ty cho biết tốc độ giải mã tăng tối đa 3,13 lần trên thiết bị và 2,66 lần trên H100, trong khi cải thiện tổng thể đạt tối đa 2,62 lần và 2,27 lần, cùng hỗ trợ sẵn có trên llama.cpp, MLX-VLM và SGLang.

• 2Hacker News·23/9/2026open_source
  Bài châm biếm trình diễn bộ phân loại Jev bằng 25 dòng Python

  Bài đăng trên Hacker News này giới thiệu một bản cài đặt châm biếm “Jev” bằng một đoạn Python ngắn, tải mô hình GGUF và phân loại email thành các nhãn như Hợp lệ, Thư rác hoặc Phishing. Bài viết nhấn mạnh cách tiếp cận này đơn giản, chạy nhanh và bảo vệ quyền riêng tư vì hoạt động cục bộ, không gửi dữ liệu ra API bên ngoài.

• 2Hacker News·17/9/2026product_launch
  Show HN: Cộng đồng chia sẻ cấu hình AI

  Một bài đăng trên Hacker News giới thiệu một trang cộng đồng nơi mọi người có thể chia sẻ và so sánh cấu hình làm việc với AI, bao gồm công cụ, quy trình và thiết lập tác nhân. Tác giả cho biết mục tiêu là giúp mọi người học hỏi lẫn nhau và dễ dàng cập nhật cấu hình của chính mình.

• 6Hacker News·8/9/2026research
  Bản lượng tử 4-bit của Qwen3.8 27B vẫn giữ chất lượng trên benchmark

  So sánh benchmark các mức lượng tử của Qwen3.8 27B cho thấy bản 4-bit Q4_K_M gần như tương đương BF16 trên GPQA Diamond, IFBench và Terminal-Bench 2.1 nhưng dùng ít RAM GPU hơn nhiều. Khi nén quá mạnh, chất lượng giảm đột ngột: bản 1-bit gần như ngẫu nhiên trên GPQA Diamond và còn tệ hơn ở các tác vụ suy luận dài.

• 8NVIDIA GenAI·3/9/2026product_launch
  NVIDIA thúc đẩy AI chạy cục bộ, tăng tốc suy luận và ra mắt PC RTX Spark mới tại IFA 2026

  NVIDIA công bố các tính năng AI chạy cục bộ và các hợp tác phần cứng mới tại IFA 2026, gồm việc đơn giản hóa thiết lập cho ứng dụng agent trên GPU NVIDIA, tăng tốc suy luận cho các bộ công cụ chạy cục bộ phổ biến, và một công cụ định tuyến AI cá nhân mới. Công ty cũng cho biết các PC Windows RTX Spark nhỏ gọn từ Lenovo và Acer sẽ ra mắt vào tháng 10, cùng với hỗ trợ cho nhiều mô hình và công cụ tạo video mới được tối ưu cho phần cứng NVIDIA.

• 7Hugging Face Blog·20/8/2026model_release
  Mô hình nháp DSpark cho LFM2.5 giúp suy luận nhanh hơn

  Hugging Face và Liquid AI đã phát hành các checkpoint draft DSpark cho ba mô hình thuộc họ LFM2.5, bổ sung cơ chế speculative decoding để tăng tốc suy luận mà không làm thay đổi chất lượng đầu ra. Theo công bố, tốc độ xử lý có thể tăng tới 3,18 lần trên GPU, tới 2,87 lần trên thiết bị, và độ trễ gọi hàm của LFM2.5-2.6B giảm trung bình 57%, đồng thời được hỗ trợ ngay từ đầu trên llama.cpp và SGLang.

• 7Hacker News·19/8/2026model_release
  Unsloth phát hành các bản lượng tử hóa GGUF Dynamic v3.0 cho Qwen3.8-27B

  Unsloth đã phát hành các bản lượng tử hóa GGUF Dynamic v3.0 cho Qwen3.8-27B, với tuyên bố đạt độ chính xác top-1% tốt hơn các nhà cung cấp khác ở cùng kích thước mô hình. Bản cập nhật cải thiện hiệu chỉnh dữ liệu, chọn lớp và các kỹ thuật lượng tử hóa hậu huấn luyện, đồng thời tương thích với các công cụ suy luận như llama.cpp và Unsloth Desktop.

• 6Hugging Face Blog·19/8/2026model_release
  Liquid AI phát hành các checkpoint QAD Q4_0 cho LFM2.5

  Liquid AI đã phát hành các checkpoint GGUF Q4_0 cập nhật cho bốn mô hình LFM2.5 bằng phương pháp distillation có nhận biết lượng tử hóa. Theo công ty, các checkpoint này giữ được mức bộ nhớ và tốc độ của Q4_0 trong khi khôi phục phần lớn độ chính xác BF16 bị mất do lượng tử hóa, và có thể dùng với llama.cpp cùng các runtime hỗ trợ GGUF.

• 6Hacker News·12/8/2026open_source
  llama.cpp thúc đẩy AI chạy hoàn toàn cục bộ trên thiết bị cá nhân

  llama.cpp được giới thiệu như một cách mã nguồn mở, ưu tiên quyền riêng tư để chạy các mô hình AI tiên tiến hoàn toàn trên phần cứng cục bộ, không cần API key, telemetry hay phụ thuộc đám mây. Bài viết cũng nêu các tùy chọn cài đặt, tích hợp tác nhân lập trình cục bộ qua pi-llama và Pi, cùng khả năng hỗ trợ rộng trên CPU và GPU từ laptop đến cụm máy chủ.

• 6Hacker News·11/8/2026open_source
  Máy ảo macOS trên Apple Silicon tăng tốc suy luận LLM

  Bài viết mô tả việc dùng GPU passthrough trên máy ảo macOS chạy trên Apple Silicon để cải thiện hiệu năng suy luận mô hình ngôn ngữ lớn cục bộ. Nội dung nhấn mạnh llama.cpp là công cụ suy luận và cho thấy việc truy cập GPU của máy chủ có thể giảm đáng kể độ trễ so với môi trường ảo hóa hoàn toàn.

• 8Simon Willison·10/8/2026model_release
  Meta ra mắt Muse Glimmer, mô hình đa phương thức mã nguồn mở chạy cục bộ

  Meta đã phát hành Muse Glimmer, mô hình đa phương thức 30 tỷ tham số được chưng cất cho các tác vụ tác tử chạy cục bộ và cấp phép Apache 2.0. Hugging Face cho biết đã hỗ trợ ngay từ ngày đầu trên transformers, llama.cpp, vLLM và Inference Endpoints, đồng thời công bố benchmark và chi tiết kiến trúc cho các ứng dụng ưu tiên quyền riêng tư như lập trình, phân tích tài liệu và trợ lý cá nhân.

• 8Hugging Face Blog·4/8/2026model_release
  Hugging Face giới thiệu LFM2.5-2.6B cho tác tử chạy trực tiếp trên thiết bị

  Hugging Face công bố LFM2.5-2.6B, mô hình 2,6 tỷ tham số được thiết kế để vận hành tác tử trực tiếp trên thiết bị với khả năng gọi công cụ và thực hiện quy trình nhiều bước. Mô hình hướng tới máy tính xách tay và điện thoại, nhấn mạnh tính riêng tư, mức dùng bộ nhớ thấp và hiệu năng benchmark mạnh so với các mô hình lớn hơn nhiều.

• 4Hacker News·13/7/2026research
  Đo hiệu năng GPU Tesla cũ trên các tác vụ AI và kết xuất hiện đại

  Một người đam mê phần cứng đã đo hiệu năng 15 GPU NVIDIA Tesla doanh nghiệp đã ngừng sử dụng, gồm các mẫu K80, P100 và V100, trên nhiều tác vụ hiện đại như ResNet50, vision transformers, Blender và llama.cpp. Bài viết cho rằng các GPU giá rẻ, đã hết vòng đời này vẫn có thể hữu ích trong môi trường homelab nếu người dùng chấp nhận mức tiêu thụ điện cao hơn và các bộ phần mềm cũ hơn.

• 8Hacker News·3/7/2026model_release
  Leanstral 1.5 nâng cấp khả năng chứng minh trong Lean 4

  Leanstral 1.5 là mô hình mới miễn phí, cấp phép Apache-2.0 từ Mistral AI, tập trung vào xác minh hình thức và kỹ thuật chứng minh trong Lean 4. Mô hình cho biết đạt bước tiến lớn trên các benchmark như miniF2F, PutnamBench, FATE-H và FATE-X, đồng thời phát hiện lỗi trong các mã nguồn mở.

• 6Hacker News·29/6/2026model_release
  Qwen 3.6 27B được xem là mô hình phù hợp để phát triển cục bộ

  Bài viết cho rằng Qwen 3.6 27B là mô hình chạy cục bộ thuyết phục nhất mà tác giả từng thử, cho thấy kết quả tốt hơn các lựa chọn local trước đây trong các bài kiểm tra viết có ràng buộc và lập trình. Bài cũng hướng dẫn cách chạy mô hình trên máy cá nhân bằng llama.cpp và bản GGUF đã lượng tử hóa từ Hugging Face để chat tương tác và làm việc theo kiểu agent.

• 6Hugging Face Blog·27/5/2026product_launch
  Reachy Mini giờ có thể chạy hoàn toàn cục bộ

  Hugging Face cho biết bộ xử lý hội thoại của Reachy Mini giờ có thể chạy hoàn toàn trên phần cứng cục bộ thay vì gửi âm thanh lên máy chủ. Giải pháp này dùng chuỗi speech-to-speech gồm llama.cpp, Silero VAD, Parakeet-TDT 0.6B v3 cho STT và Qwen3-TTS, cho phép trò chuyện riêng tư, ngoại tuyến với robot.