Rufus-Air công bố quy trình hậu huấn luyện có thể tái lập cho GLM-4.5-Air-Base (106B-A12B), bao gồm 8 giai đoạn từ SFT, RLHF đến các tác nhân chuyên biệt như Coding và Search Agent.
Đội ngũ Google đã sử dụng MaxText để tái hiện thành công quá trình huấn luyện từ đầu của mô hình OLMo 3 7B trên Google Cloud TPU, bao gồm cả giai đoạn tiền huấn luyện và tinh chỉnh, với kết quả đạt chuẩn trên các bộ chỉ số đánh giá.
Nghiên cứu thiết lập các điều kiện toán học để định nghĩa tín dụng ở cấp độ token, từ đó giải thích cơ chế của các thuật toán hiện tại và đề xuất quy trình huấn luyện actor-critic tối ưu hơn cho LLM.
DeepSeek vừa công bố bài báo nghiên cứu mới về huấn luyện Agent, với sự góp mặt của Lương Văn Phong, cho thấy khả năng tạo ra hơn 5.000 môi trường sandbox mỗi giây.
Thêm 1 nguồn khác đưa tinJiqizhixinACLArena là khung nghiên cứu mới giúp phân tích cơ chế quên và khái quát hóa trong học liên tục cho tác nhân AI, đồng thời đề xuất phương pháp kết hợp phát lại dữ liệu chất lượng cao với mạng định tuyến LoRA chuyên biệt để tối ưu hiệu suất.
Bài viết phân tích chiến lược tối ưu hóa Batch Size trong huấn luyện Reinforcement Learning (RL) quy mô lớn, giúp cân bằng giữa hiệu suất tính toán và thời gian huấn luyện để tiết kiệm chi phí vận hành hàng triệu USD.
Nghiên cứu chỉ ra rằng có thể đạt hiệu suất tương đương hoặc vượt trội so với chưng cất toàn phần chỉ với 0,1%-1% token. Bằng cách sử dụng chỉ số hiệu quả thông tin (IER), phương pháp này giúp chọn lọc dữ liệu huấn luyện tối ưu, tiết kiệm tài nguyên đáng kể cho các mô hình ngôn ngữ lớn.
Rohan Paul@rohanpaul_aiJUST IN: "Internally, OpenAI has largely automated the process of training new experimental models" …
DịchTheo báo cáo từ The Information, OpenAI đã đạt được bước tiến lớn khi tự động hóa hầu hết các công đoạn trong quy trình huấn luyện các mô hình AI thử nghiệm nội bộ.
Nghiên cứu giới thiệu khung huấn luyện tác nhân AI dựa trên việc phân loại nhiệm vụ kỹ thuật phần mềm, giúp giải quyết tình trạng hiệu suất không đồng đều giữa các nhóm tác vụ khác nhau thông qua cơ chế củng cố hành vi và chọn lọc tác vụ thích ứng.
Kim@kimmonismus"Internally, OpenAI has largely automated the process of training new experimental models, the OpenA…
DịchTheo báo cáo, OpenAI đã tự động hóa thành công quy trình huấn luyện mô hình mới, giúp giải quyết 100 bài toán hóc búa khiến chính các nhà nghiên cứu cũng phải kinh ngạc.
Xiaomi vừa ra mắt bảng điều khiển trực tuyến cho phép theo dõi quá trình huấn luyện tăng cường (RL) của mô hình MiMo-V2.6 Pro, minh bạch hóa các thông số quan trọng như token, phần thưởng và chi phí vận hành.
SemiAnalysis@SemiAnalysis_How we read the livestream metrics of @XiaomiMiMo post-training: 🟠 MiMo is training 2 models: MiMo…
DịchXiaomi đang phát trực tiếp quá trình huấn luyện RL cho MiMo V2.6. Dữ liệu cho thấy họ đang đồng thời huấn luyện hai phiên bản: MiMo V2.6 Pro (1T tham số) và MiMo V2.6 Flash (310B tham số).
Nghiên cứu giới thiệu bộ dữ liệu AMPLE-Math với hơn 5.000 bài toán, giúp phân tách và đánh giá chính xác đóng góp của thông tin đặc quyền trong quá trình tự chưng cất (OPSD) cho mô hình ngôn ngữ.
Jason Liu@jxnlcoEdited with Astra!?! That's crazy @donaldjewkes
DịchExa vừa giới thiệu Snapshot, công cụ lập chỉ mục 400 tỷ bản lưu trang web lịch sử, hỗ trợ truy vấn thông tin theo trạng thái quá khứ. Dữ liệu này hiện được ứng dụng trong huấn luyện mô hình AI, kiểm thử chiến lược và nghiên cứu sự phát triển của internet.
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfImpressive level of openness on such a large run
DịchĐội ngũ Xiaomi đang thực hiện huấn luyện Reinforcement Learning (RL) cho MiMo-V2.6 với quy mô tính toán lên tới 2 tỷ token mỗi bước, nhằm khám phá giới hạn tối đa của mô hình.
Cùng sự kiện, bài đại diện «Xiaomi livestream quá trình huấn luyện mô hình MiMo-V2.6, đầu tư hơn 1,25 triệu USD»Nghiên cứu giới thiệu phương pháp mới giúp kiểm soát bốn điểm nghẽn bộ nhớ chính khi huấn luyện mô hình MoE, đảm bảo hiệu suất ổn định ngay cả với ngữ cảnh cực dài và quy mô lớn.
Xiaomi vừa giới thiệu bảng điều khiển Mimo 2.6 tại địa chỉ mimo.xiaomi.com, cho phép người dùng theo dõi trực quan quá trình huấn luyện mô hình AI ngay khi đang diễn ra.
Ma Dongxi NLP@dongxi_nlpChuyên gia Ma Dongxi tiết lộ chi phí huấn luyện MiMo-V2.6 đạt hơn 1,1 triệu USD, với mức giá mỗi triệu token cho bản Pro là 34,3 USD và bản Flash là 8,7 USD. Tổng chi phí dự kiến có thể lên tới 3 triệu USD.
Nhóm nghiên cứu từ ĐH Thanh Hoa phát hiện On-Policy Distillation (OPD) có thể đạt 70% hiệu suất dù chỉ huấn luyện trên một mẫu dữ liệu duy nhất, cho thấy thuật toán hiện tại vẫn chưa khai thác hết tiềm năng của dữ liệu.
Good Start Labs huấn luyện mô hình 30B bằng trò chơi 1830: Railroads & Robber Barons. Kết quả cho thấy chỉ thiết kế tác nhân đa vòng mới cải thiện hiệu suất trên Finance-Agent, trong khi hỏi đáp đơn vòng không mang lại hiệu quả.
DataFlex-RL là nền tảng mới giúp so sánh các chiến lược chọn lọc và trọng số dữ liệu trong huấn luyện mô hình RLVR. Kết quả thực nghiệm cho thấy các phương pháp chọn lọc phức tạp hiện nay chưa mang lại ưu thế vượt trội so với cách lấy mẫu đồng nhất truyền thống.
Khi các doanh nghiệp AI dần chuyển sang tự huấn luyện mô hình chuyên biệt để đảm bảo tính tự chủ, nền tảng PyTRIO xuất hiện như một giải pháp đột phá giúp đơn giản hóa quy trình huấn luyện phức tạp thông qua mô hình TaaS (Training-as-a-Service).
Feyospace-v1 giới thiệu khung dữ liệu tập trung giúp tối ưu hóa việc huấn luyện các tác nhân AI an ninh mạng thông qua năm hệ thống chuyên biệt, giải quyết các rào cản về chi phí và môi trường thực thi để tạo ra hơn 164.000 quỹ đạo dữ liệu chất lượng cao.
Nghiên cứu đề xuất HybridAL, phương pháp tự động chuyển đổi giữa huấn luyện lại từ đầu và tinh chỉnh (fine-tuning) dựa trên tín hiệu ổn định của mô hình, giúp tiết kiệm tài nguyên mà vẫn duy trì hiệu suất tối ưu.
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfTRL v1.13 is out! our open-source RL training library to to post-train foundation models this new r…
DịchThư viện TRL v1.13 vừa được phát hành với trọng tâm là huấn luyện hậu kỳ cho các mô hình có ngữ cảnh trên 1 triệu token, đi kèm với các tối ưu hóa quan trọng về tốc độ và bộ nhớ.
Elvis Saravia@omarsar0Nice paper from Salesforce on co-evolving harnesses and models. Harness engineering is a hot topic …
DịchNghiên cứu mới từ Salesforce giải quyết vấn đề mô hình AI bị 'sao chép thất bại' khi cùng tiến hóa với các hệ thống hỗ trợ (harnesses), thông qua kỹ thuật hiệu chỉnh chính sách (on-policy correction).
Nghiên cứu chỉ ra rằng việc huấn luyện LLM trên toàn bộ chuỗi suy luận dài không mang lại nhiều lợi ích. Thay vào đó, các chuỗi rút gọn vẫn đảm bảo hiệu quả, giúp mô hình tránh được các thông tin dư thừa không cần thiết.
Rohan Paul@rohanpaul_aiNew Tsinghua + Qwen Team's paper flips the usual agent-data recipe: Reconstructing and re-solving o…
DịchNhóm nghiên cứu từ Thanh Hoa và Qwen giới thiệu Terminal-Universe, phương pháp khôi phục không gian làm việc từ quỹ đạo AI để tạo dữ liệu huấn luyện chất lượng cao, giúp cải thiện đáng kể hiệu suất của mô hình Qwen3.5-27B trong các tác vụ lập trình thực tế.
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_Wolfin 2026 training a model for a task should be as easy as vibe-coding an app the pieces were already…
DịchHugging Face vừa giới thiệu ML Intern, công cụ giúp việc huấn luyện mô hình trở nên đơn giản như lập trình ứng dụng, hướng tới mục tiêu phổ cập hóa quy trình tạo AI vào năm 2026.
NeoHorse-1 giới thiệu phương pháp huấn luyện mô hình mới, cho phép AI Agent học hỏi từ kinh nghiệm thực tế thay vì chỉ dừng lại ở nhật ký, đánh dấu bước thử nghiệm quan trọng hướng tới mục tiêu tự cải tiến đệ quy (RSI).
Phương pháp On-Policy Reverse Distillation (OPRD) cho phép mô hình AI học từ giáo viên yếu nhưng vẫn đạt hiệu suất vượt trội, nhờ cơ chế lọc và khuếch đại các cập nhật tối ưu từ trình xác thực.
Nghiên cứu giới thiệu hệ thống mới giúp tăng tốc tạo rollout trong huấn luyện RL bằng cách cải tiến speculative decoding, giải quyết các rào cản về branch attention và pipeline-parallelism khi xử lý ngữ cảnh dài.
Kim@kimmonismusTo reiterate: training on OpenAI's new model began on August 28th. It took just one week, seven day…
DịchOpenAI đang thử nghiệm một mô hình nội bộ mới, chỉ mất một tuần để vượt qua hiệu suất của GPT-6-Astra-xhigh trong các bài kiểm tra toán học và vẫn đang tiếp tục cải thiện mạnh mẽ.
Hugging Face giới thiệu kỹ thuật tự chưng cất nhận diện biên, giúp khắc phục tình trạng từ chối phản hồi quá mức hoặc thiếu chính xác ở các mô hình AI, giảm tỷ lệ lỗi từ 19,88% xuống chỉ còn 0,20%.
Nghiên cứu phân tích kỹ thuật tự chưng cất (OPSD) giúp mô hình tự học từ dữ liệu có sẵn mà không cần mô hình giáo viên lớn, đồng thời cảnh báo về rủi ro suy giảm khả năng suy luận do thiên kiến trong quá trình huấn luyện.
Cựu chuyên gia Huawei Vương Vân Hạc vừa trình làng mô hình AI đầu tay, ứng dụng kinh nghiệm thực chiến từ việc vận hành đa mô hình vào quy trình huấn luyện chuyên sâu.
Ma Dongxi NLP@dongxi_nlpTác giả đã huấn luyện thành công mô hình MoE với cơ chế kích hoạt chỉ 3,65 triệu tham số mỗi token, sử dụng duy nhất một nhân CPU Intel Xeon, mở ra tiềm năng tối ưu hóa tài nguyên cực lớn.
Tiểu Hồng Thư (AllSpark) đề xuất phương pháp D3-MOPD nhằm khắc phục sự chênh lệch tốc độ hội tụ khi sử dụng nhiều mô hình giáo viên trong huấn luyện, giúp tối ưu hóa hiệu suất học tập cho mô hình.
Nghiên cứu này chứng minh rằng layer dropout vẫn cực kỳ hữu ích cho các LLM hiện đại nếu được cấu hình đúng, giúp giảm loss và tăng hiệu suất huấn luyện mà không làm mất độ chính xác.
Nghiên cứu giới thiệu BCIT, một phương pháp giúp các hệ thống LLM tự động quyết định khi nào nên tái sử dụng dữ liệu huấn luyện cũ, tránh lãng phí tài nguyên và ngăn chặn suy giảm hiệu suất mô hình.