Masked Language Modeling
AssessKỹ thuật
Kỹ thuật huấn luyện che token đầu vào và yêu cầu mô hình dự đoán phần bị thiếu của văn bản hoặc chuỗi.
Vì sao ở đây
Xếp vào Assess: 2 bài bằng chứng từ 2 nguồn, chủ yếu là tin nghiên cứu, 2 bài trong 30 ngày qua. Độ tin cậy 37%.
Bằng chứng (2)
- 7Hugging Face Blog·28/7/2026model_releaseLiquidAI phát hành bộ mã hóa LFM2.5 cho suy luận ngữ cảnh dài nhanh trên CPU
Hugging Face giới thiệu hai mô hình encoder mới, LFM2.5-Encoder-230M và LFM2.5-Encoder-350M, hướng tới suy luận với ngữ cảnh dài, độ chính xác cao và độ trễ thấp trên CPU. Các mô hình hỗ trợ tối đa 8.192 token, được huấn luyện bằng masked language modeling và phù hợp cho các tác vụ như phân loại, điều phối ý định, lọc an toàn và phát hiện PII.
- 7The New Stack·23/7/2026researchNvidia phát hành mô hình nền tảng gen JEPA-DNA
Nvidia đã phát hành JEPA-DNA trên Hugging Face, một mô hình nền tảng cho hệ gen kết hợp mô hình hóa ngôn ngữ che mặt với mục tiêu dự đoán trong không gian tiềm ẩn. Dựa trên DNABERT-2, mô hình này hướng tới các tác vụ nghiên cứu phi thương mại như trích xuất đặc trưng, linear probing, huấn luyện tiếp tục và chấm điểm zero-shot cho các thay đổi chuỗi DNA.