lyogavin/airllm

AirLLM là một gói chuyên cho suy luận, giúp các mô hình mở rất lớn chạy với ít VRAM hơn nhiều bằng cách chỉ nạp từng lớp hoặc từng expert khi cần thay vì giữ toàn bộ mô hình trong bộ nhớ.