PyTorch

Bằng chứng (20)

• 4Hacker News·10/10/2026research
  Tự xây dựng mô hình ra quyết định

  Bài viết giải thích cách biến một mô hình ngôn ngữ thành mô hình ra quyết định bằng cách giới hạn đầu ra vào một tập lựa chọn cố định và chọn phương án có xác suất cao nhất trong một lượt suy luận. Bài cũng minh họa cách triển khai với Qwen/Qwen3-1.7B và ghi nhận kết quả trên một mẫu CommonsenseQA, trong đó hiệu năng tăng nhẹ sau khi fine-tune.

• 7NVIDIA GenAI·2/10/2026product_launch
  NVIDIA bổ sung DGX Spark 64GB cho phát triển AI cục bộ

  NVIDIA ra mắt cấu hình DGX Spark 64GB thông qua các đối tác sản xuất, hướng tới nhà phát triển, nhà nghiên cứu và người dùng muốn chạy AI cục bộ. Hệ thống đi kèm DGX OS và bộ phần mềm AI của NVIDIA, hỗ trợ mô hình tới 100 tỷ tham số trên máy, đồng thời có thể ghép thành cụm 2 máy để tăng bộ nhớ và hiệu năng mà không cần thiết lập phức tạp.

• 5Hacker News·24/9/2026research
  Dynamic Abliteration triệt tiêu từ chối trên Qwen theo thời gian chạy

  Bài viết trình bày một minh chứng kỹ thuật cho việc triệt tiêu hành vi từ chối của mô hình mã nguồn mở Qwen3-4B mà không cần sửa trọng số. Phương pháp dùng steering nhiều lớp thông qua forward hook của PyTorch để chèn tín hiệu vào residual stream khi suy luận, nhằm giữ nguyên mô hình gốc nhưng thay đổi phản hồi với các prompt nhạy cảm.

• 4Hacker News·14/9/2026open_source
  OpenArch: hiện thực PyTorch của các kiến trúc LLM hiện đại

  OpenArch là một kho mã nguồn mở cung cấp các hiện thực PyTorch cho những kiến trúc mô hình ngôn ngữ lớn hiện đại. Dự án hướng tới việc giúp nhà phát triển nghiên cứu, tái tạo và thử nghiệm các mẫu thiết kế LLM hiện nay trong cùng một nơi.

• 7The New Stack·3/9/2026research
  Rút ngắn thời gian khởi động lạnh suy luận GPU từ 8 phút xuống dưới 1 phút

  Bài viết phân tích quy trình khởi động suy luận trên GPU thành sáu giai đoạn và cho thấy thời gian khởi động lạnh có thể giảm đáng kể nhờ thay đổi cấu hình và nền tảng. Bài cho biết việc khởi động lại trên node đã ấm có thể giảm từ 1,5-8 phút xuống dưới 30 giây, còn khởi động trên node mới có thể giảm từ 8-15 phút xuống khoảng 5 phút khi dùng Amazon EKS Auto Mode và các tối ưu liên quan.

• 5Hacker News·15/8/2026research
  Tự nghiên cứu với Codex giúp tăng tốc kernel QR lên 232 lần

  Một bài viết trên Hacker News mô tả cách tác giả dùng Codex trong GPU Mode để tối ưu lặp lại một kernel phân rã QR theo lô cho một cuộc thi. Giải pháp cuối cùng đạt tốc độ nhanh hơn bản gốc 232 lần và xếp hạng 12/183, cho thấy hiệu quả của quy trình tinh chỉnh kernel có hỗ trợ tác nhân và auto-research.

• 7The New Stack·14/8/2026security
  Hình ảnh container chưa ký đang trở thành rủi ro an ninh ngày càng lớn trong các pipeline AI

  Bài viết cho rằng nhiều tổ chức vẫn chưa ký số cho container image, khiến chuỗi cung ứng phần mềm dễ bị sửa đổi, giả mạo và lây nhiễm qua base image. Mức độ rủi ro tăng lên trong các quy trình AI vì mô hình, tập dữ liệu và runtime ngày càng được đóng gói như OCI artifact, trong khi việc quét bảo mật không thể xác minh nguồn gốc hay tính toàn vẹn.

• 8The New Stack·10/8/2026breakthrough
  EKS rút ngắn thời gian kéo image container dung lượng lớn

  Bài viết cho biết các image container phục vụ suy luận ML dung lượng lớn trên Amazon EKS từng mất vài phút để kéo về, làm chậm việc sẵn sàng của pod và khiến GPU nhàn rỗi. Bằng cách thiết kế lại quy trình pull để tận dụng tốt hơn băng thông mạng, thông lượng lưu trữ và năng lực tính toán sẵn có, nhóm đã rút thời gian kéo image nhiều GB xuống còn vài giây; các cải tiến này hiện có mặc định trong EKS Auto Mode và đã được đóng góp ngược dòng cho containerd và SOCI snapshotter.

• 7Hugging Face Blog·10/8/2026research
  Hugging Face giới thiệu cách chưng cất tri thức rẻ hơn để huấn luyện LLM ở quy mô lớn

  Bài viết giới thiệu một phương pháp giúp chưng cất tri thức cho mô hình ngôn ngữ lớn rẻ hơn đáng kể bằng cách lưu sẵn top-K logits của mô hình giáo viên và dùng hàm mất mát KL theo từng khối được hợp nhất. Cách tiếp cận này giảm mạnh nhu cầu VRAM, đủ để một số thí nghiệm có thể chạy trên một GPU thay vì cần cụm nhiều GPU lớn.

• 7Hacker News·2/8/2026research
  Chạy Kimi K3 trên AMD MI355X với hiệu năng trên chi phí tốt hơn B300

  Bài viết công bố kết quả benchmark khi phục vụ mô hình Kimi K3 trên GPU AMD MI355X, cho rằng hiệu năng trên chi phí tốt hơn Nvidia B300 trong cấu hình này. Bài cũng mô tả một lỗi phía ROCm trong hạ tầng giải mã suy đoán và cho biết cần một chỉnh sửa nhỏ bằng PyTorch để ổn định scheduler.

• 5Hacker News·26/7/2026model_release
  Inflect-Micro-v2 mang đến mô hình giọng nói cục bộ hoàn chỉnh

  Inflect-Micro-v2 giới thiệu các mô hình chuyển văn bản thành dạng sóng giọng nói chạy cục bộ với hai phiên bản 3,96 triệu và 9,36 triệu tham số. Bản phát hành chính thức cho PyTorch và ONNX Runtime giúp việc thử nghiệm và triển khai cục bộ trở nên thuận tiện hơn.

• 7Hugging Face Blog·17/7/2026framework_update
  NVIDIA và Hugging Face bổ sung khả năng tinh chỉnh quy mô lớn cho các mô hình Diffusers

  NVIDIA NeMo Automodel nay tích hợp với 🤗 Diffusers để hỗ trợ tinh chỉnh phân tán các mô hình khuếch tán cho video và ảnh trực tiếp từ checkpoint trên Hugging Face Hub, không cần chuyển đổi checkpoint hay viết lại mô hình. Sự hợp tác này bổ sung các tính năng huấn luyện hướng sản xuất như chia mảnh bộ nhớ hiệu quả, cache latent, bucketing đa độ phân giải và cấu hình song song linh hoạt ở nhiều quy mô.

• 3Hugging Face Blog·10/7/2026research
  Phân tích attention trong PyTorch

  Bài viết trên Hugging Face Blog tiếp tục loạt bài về profiling bằng cách phân tích cách attention hiển thị trong các trace của PyTorch profiler. Nội dung lần này đi qua causal attention dạng ngây thơ và cho thấy các phép toán như matmul, masking, softmax và scaling được thể hiện trong quá trình thực thi như thế nào.

• 7The New Stack·1/7/2026product_launch
  Clockwork ra mắt cam kết tránh phải khởi động lại quá trình huấn luyện AI

  Clockwork đã giới thiệu YOCO Guarantee, cam kết rằng 90% sự cố trong các phiên huấn luyện được hỗ trợ sẽ được khôi phục mà không mất tiến độ, không phải quay lại checkpoint và không cần tính toán lại. Cam kết này dựa trên TorchPass, sản phẩm chịu lỗi có thể di chuyển trạng thái huấn luyện GPU sang GPU dự phòng hoặc nút đang chạy tác vụ ưu tiên thấp, với thời gian khôi phục từ vài giây đến vài phút tùy chế độ.

• 6Simon Willison·22/6/2026research
  Chuyển mô hình inpainting ảnh Moebius lên trình duyệt bằng WebGPU

  Simon Willison mô tả việc chuyển mô hình inpainting ảnh Moebius 0.2B từ môi trường PyTorch/NVIDIA CUDA để chạy trực tiếp trong trình duyệt. Ông dùng Claude Code, ONNX Runtime Web và WebGPU để tạo bản demo hoạt động, cho phép người dùng tải ảnh lên, tô vùng cần xóa và để mô hình tự điền nội dung.

• 3Hugging Face Blog·11/6/2026research
  Phân tích hiệu năng lớp Linear và MLP hợp nhất trong PyTorch

  Bài viết trên Hugging Face Blog tiếp tục loạt nội dung về cách đọc trace của PyTorch profiler, tập trung vào việc thay thế mẫu matmul cộng bias thủ công bằng nn.Linear rồi ghép nhiều lớp thành một khối MLP. Bài viết giải thích cách PyTorch xử lý transpose, addmm và việc khởi chạy kernel, đồng thời dùng profiling để làm cơ sở cho tối ưu hóa như MLP hợp nhất.

• 7Hugging Face Blog·8/6/2026open_source
  OpenEnv mở rộng quản trị mở cho RL tác nhân

  Hugging Face cho biết OpenEnv, một thư viện cho các môi trường thực thi phục vụ tác nhân, sẽ được điều phối bởi một ủy ban rộng hơn gồm Meta-PyTorch, Unsloth, Nvidia, Microsoft và nhiều bên khác. Dự án này được định vị như một lớp giao thức cho các môi trường reinforcement learning có khả năng tương tác, với API chuẩn hóa, đóng gói thống nhất và hỗ trợ HTTP, WebSocket, Docker và MCP.

• 4Hugging Face Blog·29/5/2026framework_update
  Hướng dẫn nhập môn torch.profiler trong PyTorch

  Hugging Face Blog giới thiệu phần đầu của loạt bài về profiling trong PyTorch, nhằm giúp người mới học cách đọc trace của profiler và hiểu mối liên hệ giữa lời gọi Python với hoạt động trên CPU và CUDA. Bài viết hướng dẫn cách dùng torch.profiler, đọc bảng và trace, đồng thời quan sát những thay đổi khi áp dụng torch.compile.

• 5Hugging Face Blog·18/5/2026framework_update
  PaddleOCR 3.5 bổ sung backend suy luận Transformers

  PaddleOCR 3.5 cho phép các mô hình OCR và phân tích tài liệu được hỗ trợ chạy với Hugging Face Transformers làm backend suy luận bằng cách đặt engine="transformers". Bản cập nhật vẫn để PaddleOCR quản lý toàn bộ pipeline OCR/phân tích tài liệu, đồng thời giúp nhà phát triển tích hợp linh hoạt hơn vào các workflow xoay quanh Transformers.

• 5Hugging Face Blog·11/5/2026research
  Các khối xây dựng AWS cho huấn luyện và suy luận mô hình nền tảng

  Bài viết trên Hugging Face Blog giới thiệu kiến trúc nhiều lớp cho huấn luyện và suy luận mô hình nền tảng trên AWS, bao gồm tính toán, mạng, lưu trữ, điều phối và khả năng quan sát hệ thống. Bài viết đặt vòng đời mô hình hiện đại trong ba giai đoạn tiền huấn luyện, hậu huấn luyện và suy luận, đồng thời liên hệ các công cụ mã nguồn mở phổ biến với hạ tầng AWS cần thiết để vận hành ở quy mô lớn.