AMD Quark
HoldCông cụ
Bộ công cụ lượng tử hóa dùng để nén trọng số mô hình nhằm tăng tốc suy luận và giảm dùng bộ nhớ.
Vì sao ở đây
Xếp vào Hold: 1 bài bằng chứng từ 1 nguồn, chủ yếu là tin nghiên cứu, 0 bài trong 30 ngày qua. Độ tin cậy 24%. Bằng chứng còn ít nên xếp thận trọng, chờ thêm tín hiệu.
Bằng chứng (1)
- 6Hacker News·3/7/2026researchWafer công bố suy luận GLM5.2 nhanh hơn trên AMD MI355X
Wafer cho biết đã chạy GLM5.2 trên AMD MI355X đạt 2626 token/giây/node ở mức 2,4 RPS, đồng thời khẳng định chi phí triển khai thấp hơn hơn 2 lần so với các lựa chọn dựa trên Blackwell. Bài viết cũng mô tả việc dùng lượng tử hóa MXFP4 với AMD Quark và phục vụ mô hình bằng sglang trên ROCm sau khi khắc phục hỗ trợ giải mã suy đoán.