Hetzner Inference
AssessNền tảng
API suy luận LLM thử nghiệm của Hetzner tương thích với OpenAI.
Vì sao ở đây
Xếp vào Assess: 2 bài bằng chứng từ 1 nguồn, chủ yếu là ra mắt sản phẩm, 2 bài trong 30 ngày qua. Độ tin cậy 31%.
Bằng chứng (2)
- 7Hacker News·3/8/2026open_sourceAirLLM chạy mô hình 70B trên một GPU 4GB
AirLLM là một phương pháp suy luận mã nguồn mở cho phép chạy mô hình ngôn ngữ 70 tỷ tham số trên một GPU 4GB bằng cách nạp từng lớp mô hình theo nhu cầu. Dự án thu hút chú ý trên Hacker News vì làm giảm yêu cầu phần cứng cho suy luận mô hình lớn, dù hiệu năng thực tế và các đánh đổi còn phụ thuộc vào cách triển khai.
- 5Hacker News·24/7/2026product_launchHetzner thử nghiệm suy luận LLM tương thích OpenAI
Hetzner đã đưa vào thử nghiệm một dịch vụ suy luận LLM chạy trên hạ tầng của chính hãng, cung cấp qua API tương thích OpenAI. Hiện dịch vụ mới chỉ có một mô hình là Qwen/Qwen3.6-35B-A3B-FP8, và Hetzner cho biết mục tiêu là đánh giá nhu cầu, khả năng mở rộng, các tính năng quan trọng và mức tải trước khi cân nhắc phát hành sản phẩm chính thức.