PyTorch

Bằng chứng (16)

• 8The New Stack·10/8/2026breakthrough
  EKS rút ngắn thời gian kéo image container dung lượng lớn

  Bài viết cho biết các image container phục vụ suy luận ML dung lượng lớn trên Amazon EKS từng mất vài phút để kéo về, làm chậm việc sẵn sàng của pod và khiến GPU nhàn rỗi. Bằng cách thiết kế lại quy trình pull để tận dụng tốt hơn băng thông mạng, thông lượng lưu trữ và năng lực tính toán sẵn có, nhóm đã rút thời gian kéo image nhiều GB xuống còn vài giây; các cải tiến này hiện có mặc định trong EKS Auto Mode và đã được đóng góp ngược dòng cho containerd và SOCI snapshotter.

• 7Hugging Face Blog·10/8/2026research
  Hugging Face giới thiệu cách chưng cất tri thức rẻ hơn để huấn luyện LLM ở quy mô lớn

  Bài viết giới thiệu một phương pháp giúp chưng cất tri thức cho mô hình ngôn ngữ lớn rẻ hơn đáng kể bằng cách lưu sẵn top-K logits của mô hình giáo viên và dùng hàm mất mát KL theo từng khối được hợp nhất. Cách tiếp cận này giảm mạnh nhu cầu VRAM, đủ để một số thí nghiệm có thể chạy trên một GPU thay vì cần cụm nhiều GPU lớn.

• 7Hacker News·2/8/2026research
  Chạy Kimi K3 trên AMD MI355X với hiệu năng trên chi phí tốt hơn B300

  Bài viết công bố kết quả benchmark khi phục vụ mô hình Kimi K3 trên GPU AMD MI355X, cho rằng hiệu năng trên chi phí tốt hơn Nvidia B300 trong cấu hình này. Bài cũng mô tả một lỗi phía ROCm trong hạ tầng giải mã suy đoán và cho biết cần một chỉnh sửa nhỏ bằng PyTorch để ổn định scheduler.

• 5Hacker News·26/7/2026model_release
  Inflect-Micro-v2 mang đến mô hình giọng nói cục bộ hoàn chỉnh

  Inflect-Micro-v2 giới thiệu các mô hình chuyển văn bản thành dạng sóng giọng nói chạy cục bộ với hai phiên bản 3,96 triệu và 9,36 triệu tham số. Bản phát hành chính thức cho PyTorch và ONNX Runtime giúp việc thử nghiệm và triển khai cục bộ trở nên thuận tiện hơn.

• 7Hugging Face Blog·17/7/2026framework_update
  NVIDIA và Hugging Face bổ sung khả năng tinh chỉnh quy mô lớn cho các mô hình Diffusers

  NVIDIA NeMo Automodel nay tích hợp với 🤗 Diffusers để hỗ trợ tinh chỉnh phân tán các mô hình khuếch tán cho video và ảnh trực tiếp từ checkpoint trên Hugging Face Hub, không cần chuyển đổi checkpoint hay viết lại mô hình. Sự hợp tác này bổ sung các tính năng huấn luyện hướng sản xuất như chia mảnh bộ nhớ hiệu quả, cache latent, bucketing đa độ phân giải và cấu hình song song linh hoạt ở nhiều quy mô.

• 3Hugging Face Blog·10/7/2026research
  Phân tích attention trong PyTorch

  Bài viết trên Hugging Face Blog tiếp tục loạt bài về profiling bằng cách phân tích cách attention hiển thị trong các trace của PyTorch profiler. Nội dung lần này đi qua causal attention dạng ngây thơ và cho thấy các phép toán như matmul, masking, softmax và scaling được thể hiện trong quá trình thực thi như thế nào.

• 7The New Stack·1/7/2026product_launch
  Clockwork ra mắt cam kết tránh phải khởi động lại quá trình huấn luyện AI

  Clockwork đã giới thiệu YOCO Guarantee, cam kết rằng 90% sự cố trong các phiên huấn luyện được hỗ trợ sẽ được khôi phục mà không mất tiến độ, không phải quay lại checkpoint và không cần tính toán lại. Cam kết này dựa trên TorchPass, sản phẩm chịu lỗi có thể di chuyển trạng thái huấn luyện GPU sang GPU dự phòng hoặc nút đang chạy tác vụ ưu tiên thấp, với thời gian khôi phục từ vài giây đến vài phút tùy chế độ.

• 6Simon Willison·22/6/2026research
  Chuyển mô hình inpainting ảnh Moebius lên trình duyệt bằng WebGPU

  Simon Willison mô tả việc chuyển mô hình inpainting ảnh Moebius 0.2B từ môi trường PyTorch/NVIDIA CUDA để chạy trực tiếp trong trình duyệt. Ông dùng Claude Code, ONNX Runtime Web và WebGPU để tạo bản demo hoạt động, cho phép người dùng tải ảnh lên, tô vùng cần xóa và để mô hình tự điền nội dung.

• 3Hugging Face Blog·11/6/2026research
  Phân tích hiệu năng lớp Linear và MLP hợp nhất trong PyTorch

  Bài viết trên Hugging Face Blog tiếp tục loạt nội dung về cách đọc trace của PyTorch profiler, tập trung vào việc thay thế mẫu matmul cộng bias thủ công bằng nn.Linear rồi ghép nhiều lớp thành một khối MLP. Bài viết giải thích cách PyTorch xử lý transpose, addmm và việc khởi chạy kernel, đồng thời dùng profiling để làm cơ sở cho tối ưu hóa như MLP hợp nhất.

• 7Hugging Face Blog·8/6/2026open_source
  OpenEnv mở rộng quản trị mở cho RL tác nhân

  Hugging Face cho biết OpenEnv, một thư viện cho các môi trường thực thi phục vụ tác nhân, sẽ được điều phối bởi một ủy ban rộng hơn gồm Meta-PyTorch, Unsloth, Nvidia, Microsoft và nhiều bên khác. Dự án này được định vị như một lớp giao thức cho các môi trường reinforcement learning có khả năng tương tác, với API chuẩn hóa, đóng gói thống nhất và hỗ trợ HTTP, WebSocket, Docker và MCP.

• 4Hugging Face Blog·29/5/2026framework_update
  Hướng dẫn nhập môn torch.profiler trong PyTorch

  Hugging Face Blog giới thiệu phần đầu của loạt bài về profiling trong PyTorch, nhằm giúp người mới học cách đọc trace của profiler và hiểu mối liên hệ giữa lời gọi Python với hoạt động trên CPU và CUDA. Bài viết hướng dẫn cách dùng torch.profiler, đọc bảng và trace, đồng thời quan sát những thay đổi khi áp dụng torch.compile.

• 5Hugging Face Blog·18/5/2026framework_update
  PaddleOCR 3.5 bổ sung backend suy luận Transformers

  PaddleOCR 3.5 cho phép các mô hình OCR và phân tích tài liệu được hỗ trợ chạy với Hugging Face Transformers làm backend suy luận bằng cách đặt engine="transformers". Bản cập nhật vẫn để PaddleOCR quản lý toàn bộ pipeline OCR/phân tích tài liệu, đồng thời giúp nhà phát triển tích hợp linh hoạt hơn vào các workflow xoay quanh Transformers.

• 5Hugging Face Blog·11/5/2026research
  Các khối xây dựng AWS cho huấn luyện và suy luận mô hình nền tảng

  Bài viết trên Hugging Face Blog giới thiệu kiến trúc nhiều lớp cho huấn luyện và suy luận mô hình nền tảng trên AWS, bao gồm tính toán, mạng, lưu trữ, điều phối và khả năng quan sát hệ thống. Bài viết đặt vòng đời mô hình hiện đại trong ba giai đoạn tiền huấn luyện, hậu huấn luyện và suy luận, đồng thời liên hệ các công cụ mã nguồn mở phổ biến với hạ tầng AWS cần thiết để vận hành ở quy mô lớn.

• 7Hugging Face Blog·16/4/2026research
  Ecom-RLVE đưa học tăng cường có thể kiểm chứng vào tác vụ thương mại điện tử

  Hugging Face giới thiệu EcomRLVE-GYM, một mở rộng của RLVE cho hội thoại thương mại điện tử nhiều lượt có dùng công cụ. Dự án xây dựng 8 môi trường có thể kiểm chứng bằng thuật toán, một giáo trình độ khó 12 trục và kết quả huấn luyện ban đầu với Qwen 3 8B dùng DAPO.

• 7Hugging Face Blog·8/4/2026open_source
  Safetensors gia nhập PyTorch Foundation

  Hugging Face cho biết Safetensors đã trở thành dự án do PyTorch Foundation bảo trợ dưới sự quản lý của Linux Foundation. Việc này không làm thay đổi định dạng đối với người dùng, nhưng chuyển quyền quản trị, thương hiệu và kho mã sang một cấu trúc trung lập do cộng đồng điều phối.

• 7Hugging Face Blog·13/2/2026open_source
  Claude và Codex có thêm kỹ năng viết CUDA kernel

  Hugging Face giới thiệu một agent skill giúp các tác nhân lập trình viết CUDA kernel cho môi trường sản xuất và tích hợp với các dự án dựa trên PyTorch. Bài viết cho biết Claude và Codex đã được dùng để tạo kernel hoạt động cho một pipeline diffusers và một mô hình transformers, bao gồm cả binding và benchmark hoàn chỉnh.