lyogavin/airllm

AirLLM là một cách triển khai mô hình và gói Python giúp chạy các mô hình ngôn ngữ rất lớn với mức VRAM thấp hơn nhiều, trong đó các ví dụ và cập nhật của dự án cho thấy có thể chạy mô hình cỡ 70B trên một GPU 4GB duy nhất.