Giới thiệu Iris-mini và Iris-pro, hai tác nhân tìm kiếm thông minh được huấn luyện qua quy trình xây dựng dữ liệu từ cấu trúc siêu liên kết web, giúp giải quyết các truy vấn phức tạp mà mô hình truyền thống thường thất bại.
Bài viết phân tích vai trò của bộ kiểm chứng trong RLVR, từ những hạn chế của tín hiệu nhị phân đến các hướng nghiên cứu mới nhằm mở rộng khả năng suy luận của mô hình AI sang các lĩnh vực mở.
Tác giả lập luận rằng việc coi LLM chỉ là máy dự đoán token là cách hiểu phiến diện. Với sự hỗ trợ của RLHF và RLVR, các mô hình hiện nay đã vượt xa khả năng bắt chước văn bản thuần túy, hoạt động giống như các cỗ máy tìm kiếm giải pháp tối ưu thay vì chỉ sao chép dữ liệu huấn luyện.
Nghiên cứu chỉ ra rằng phương pháp RLVR giúp tăng độ chính xác nhưng lại làm giảm đáng kể sự đa dạng trong cách giải quyết vấn đề của AI, chủ yếu do mô hình bị giới hạn ngay từ những bước suy luận đầu tiên.
DRACO giải quyết bài toán thiếu tín hiệu phản hồi trong huấn luyện tác nhân dài hạn bằng cách tự động tạo tiêu chuẩn đánh giá theo quỹ đạo, giúp phân bổ điểm số chính xác cho từng bước mà không cần thêm mô-đun quy gán phức tạp.
Đội ngũ phát triển mô hình nền tảng của Astribot vừa giới thiệu SmoothRL, khung học tăng cường trực tuyến cho phép thực thi bất đồng bộ, giúp robot vận hành mượt mà cùng các mô hình AI lớn.
Stardust Intelligence giới thiệu SmoothRL, giải pháp giúp robot duy trì hoạt động liên tục mà không cần chờ đợi phản hồi từ các mô hình ngôn ngữ lớn, giải quyết bài toán độ trễ trong suy luận bất đồng bộ.
Nghiên cứu đề xuất phương pháp tiến hóa môi trường bằng cách tăng dần độ khó theo thế hệ, tạo tín hiệu học tập bền vững cho quá trình huấn luyện các Agent đầu cuối.
AK@_akhaliqIt Takes Two to Match Co-Evolving Generative Retriever with Reinforcement Learning paper: https://...
DịchNghiên cứu giới thiệu CoGR, phương pháp huấn luyện LLM đồng bộ hóa từ khóa giữa truy vấn và sản phẩm thông qua học tăng cường (GRPO), giúp cải thiện đáng kể hiệu suất tìm kiếm so với các phương pháp truyền thống.
Rohan Paul@rohanpaul_aiNew Microsoft plus Univ of San Diego paper shows a model can look better after SFT but actually be a…
DịchNghiên cứu chỉ ra rằng việc tinh chỉnh (SFT) quá mức có thể xóa bỏ các hành vi hiếm gặp nhưng quan trọng, khiến mô hình trở thành điểm khởi đầu kém hiệu quả cho quá trình học tăng cường (RL).
Nghiên cứu đánh giá khả năng thay thế các mô hình lớn bằng các mô hình ngôn ngữ nhỏ (như Qwen3-1.7B) để làm giám khảo chấm điểm trong học tăng cường, giúp giảm chi phí tính toán mà vẫn đảm bảo độ chính xác.
Nghiên cứu giới thiệu EASE, phương pháp giúp mô hình đa phương thức không chỉ trả lời đúng mà còn phải 'nhìn' đúng vào vùng dữ liệu bằng chứng trên ảnh, giúp cải thiện đáng kể độ tin cậy của các mô hình VLM.
Rohan Paul@rohanpaul_aiLong-running agents do not just need a bigger context window. They need to learn what deserves to st…
DịchContextPilot là phương pháp mới giúp AI chủ động quản lý bộ nhớ thông qua việc tự quyết định lưu trữ, nén hoặc xóa dữ liệu cũ, sử dụng học tăng cường để tối ưu hóa hiệu quả xử lý.
Hugging Face chia sẻ quy trình mã nguồn mở sử dụng TRL, OpenEnv và mô hình Qwen3.5 để huấn luyện AI viết code JavaScript vẽ tranh màu nước, kèm theo toàn bộ dữ liệu và môi trường thực thi.
Aravind Srinivas (Perplexity CEO)@AravSrinivasopen-source RL-as-a-service https://github.com/radixark/miles
DịchAravind Srinivas, CEO của Perplexity, vừa giới thiệu dự án mã nguồn mở 'miles' cung cấp dịch vụ RL-as-a-service trên GitHub. Hiện tại, các thông tin chi tiết về tính năng cụ thể của dự án vẫn chưa được công bố.
Nghiên cứu giới thiệu quy trình huấn luyện chuyên sâu với 22.000 bài toán lập trình, giúp mô hình Nemotron-3 đạt kết quả vượt trội tại IOI nhờ chiến lược suy luận GenCorrect.
Cliff sử dụng LLM làm giáo viên để phát hiện lỗi sai sớm trong quá trình suy luận, từ đó tối ưu hóa mô hình bằng cách phân tách chuỗi phản hồi thành phần đúng và sai. Phương pháp này vượt trội hơn các kỹ thuật truyền thống như GRPO tới 7%, ngay cả khi giáo viên có năng lực hạn chế.
CoGR là khung làm việc đột phá cho phép LLM trực tiếp tạo ra các biểu diễn từ khóa cho cả truy vấn và sản phẩm, giúp tối ưu hóa hệ thống tìm kiếm mà vẫn tương thích với hạ tầng chỉ mục ngược hiện có.
Nghiên cứu giới thiệu phương pháp suy luận mới giúp mô hình VLM xác định chính xác các bước logic quan trọng trong bài toán hình học, từ đó tối ưu hóa việc học thông qua mã thực thi và phân bổ tín dụng cục bộ thay vì chỉ dựa vào kết quả cuối cùng.
UniSteer giải quyết bài toán khó trong học tăng cường cho robot bằng cách chuyển đổi hành động của con người thành tín hiệu nhiễu, giúp mô hình VLA học các thao tác chính xác như xếp hạt nhựa chỉ với lượng dữ liệu tối thiểu.
Tiến sĩ Tôn Bằng, cựu chuyên gia học tăng cường tại ByteDance và lãnh đạo trung tâm tác tử tại Tencent Robotics X, đã chính thức gia nhập StarDust Intelligence nhằm hoàn thiện hệ sinh thái công nghệ Physical AI.
Nghiên cứu giới thiệu bộ đôi tác nhân AI chuyên biệt giúp tự động hóa việc viết phản biện và phản hồi bài báo khoa học, sử dụng học tăng cường (RL) và cơ chế kiểm chứng thực tế để giảm thiểu hiện tượng ảo giác.
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfRL explained with ducks
DịchĐồng sáng lập Hugging Face, Thomas Wolf, đã chia sẻ một video thú vị sử dụng chú vịt Microduck để minh họa quá trình học đi bằng phương pháp học tăng cường (Reinforcement Learning), giúp khái niệm kỹ thuật trở nên dễ hiểu và gần gũi hơn.
X.PIN@thexpinHugging Face's US$399 Microduck has attracted more than 10, 000 pre-orders, with the development team…
DịchMẫu robot để bàn mã nguồn mở Microduck giá 399 USD của Hugging Face đang gây sốt với hơn 10.000 đơn đặt trước. Thiết bị này được thiết kế để hỗ trợ các nhà phát triển thử nghiệm học tăng cường trên phần cứng thực tế.
DIEM là khung làm việc tự động giúp tối ưu hóa việc chọn lọc dữ liệu trong quá trình tinh chỉnh mô hình bằng học tăng cường (RFT), bằng cách đánh giá đóng góp của từng mẫu dữ liệu theo thời gian thực để cải thiện hiệu suất học tập.
Nghiên cứu giới thiệu khung 5 cấp độ (L0-L4) giúp các mô hình suy luận lớn (LRM) tự tiến hóa mà không cần sự can thiệp của con người, thông qua việc tự động hóa quá trình xác thực và tạo lộ trình học tập.
Nghiên cứu chỉ ra rằng hiệu quả của chưng cất On-Policy (OPD) chủ yếu đến từ việc ức chế các token có xác suất thấp thay vì phụ thuộc vào giáo viên. Từ đó, nhóm tác giả đề xuất OPSA, phương pháp không cần giám sát giúp tối ưu hóa mô hình hiệu quả hơn.
DAIR.AI@dair_ai// ContextLeak in AI Agents // The whole attack surface here is a tool name and a tool description….
DịchCác nhà nghiên cứu tại Đại học Duke đã phát triển ContextLeak, một phương pháp sử dụng học tăng cường để tạo ra các công cụ độc hại nhằm đánh cắp dữ liệu nhạy cảm từ LLM Agent, bao gồm lịch sử hội thoại và các tiến trình thực thi.
Elvis Saravia@omarsar0Interesting paper from Tencent. Tencent trains an agent to manage its own working context, and assi…
DịchTencent cùng các đối tác giới thiệu ContextPilot, một phương pháp giúp AI chủ động quản lý ngữ cảnh làm việc thông qua học tăng cường, cho phép hệ thống tự quyết định lưu trữ hoặc nén thông tin thay vì chỉ loại bỏ, giúp tối ưu hóa bộ nhớ dài hạn và khả năng lập kế hoạch.
Rohan Paul@rohanpaul_aiThis paper shows a better way to train multi-turn agents: score each turn separately, then use a s…
DịchNghiên cứu giới thiệu khung CREST giúp tối ưu hóa việc học cho các tác nhân LLM đa bước bằng cách phân bổ tín dụng phân tầng. Mô hình tự đóng vai trò giáo viên để điều chỉnh trọng số học tập dựa trên độ tin cậy của các quyết định, giúp cải thiện hiệu suất mà không làm thay đổi kết quả kiểm chứng.
Rohan Paul@rohanpaul_aiPOV: somewhere inside OpenAI. truckload of Macs are training computer-use-agents.
DịchOpenAI đang đẩy mạnh thu mua Mac mini và Mac Studio với số lượng lớn để phục vụ việc huấn luyện các tác nhân AI có khả năng tự vận hành máy tính thông qua học tăng cường.
RCCA là khung học tăng cường mới giúp cải thiện khả năng tạo ứng dụng web bằng cách chia nhỏ phản hồi chức năng thành các tín hiệu tối ưu hóa cục bộ, thay vì đánh giá toàn bộ mã nguồn như các phương pháp truyền thống.
ContextPilot giải quyết vấn đề quá tải ngữ cảnh trong các tác vụ dài hạn bằng cách cho phép AI tự quản lý và tinh chỉnh bộ nhớ hiệu quả hơn thông qua học tăng cường (RL) phân cấp, thay vì chỉ tóm tắt hay xóa dữ liệu thô sơ.
Thêm 2 nguồn khác đưa tinX: Elvis Saravia (@omarsar0, DAIR.AI)X: Rohan Paul (@rohanpaul_ai)DAIR.AI@dair_aiInteresting technical work from Microsoft. Provides a better understanding on SFT and how to levera…
DịchMicrosoft giới thiệu TailSFT, kỹ thuật lọc dữ liệu giúp mô hình tập trung vào các phần chưa tối ưu thay vì lãng phí tài nguyên vào những gì đã học tốt, từ đó cải thiện đáng kể khả năng lập trình và toán học sau khi huấn luyện tăng cường (RL).
Rohan Paul@rohanpaul_aiReinforcement learning apparently kept this running posture over human form A person swings the arm…
DịchThay vì giữ dáng đứng thẳng, robot sử dụng học tăng cường để nghiêng người về phía trước, giúp tối ưu hóa trọng tâm, giảm áp lực lên động cơ và chuyển hóa năng lượng thành tốc độ di chuyển hiệu quả hơn.
Nghiên cứu đề xuất sử dụng công cụ phát triển game làm môi trường huấn luyện mô hình thế giới, cung cấp tín hiệu phản hồi chính xác về vật lý và va chạm thay vì dựa vào các chỉ số mơ hồ như CLIP.
TTPO giới thiệu phương pháp tự học không cần nhãn bằng cách sử dụng bình chọn đa số làm nhãn giả và học tăng cường nhóm để tinh chỉnh mô hình. Kỹ thuật này giúp cải thiện đáng kể hiệu suất suy luận toán học của các mô hình nhỏ như Qwen3-1.7B, đạt kết quả ngang ngửa với phương pháp có giám sát.
Microduck là robot hai chân cao 25cm hỗ trợ học tăng cường, được trang bị đầy đủ cảm biến và phần mềm mã nguồn mở, cho phép người dùng huấn luyện trong môi trường mô phỏng MuJoCo trước khi triển khai thực tế.
Cùng sự kiện, bài đại diện «Hugging Face ra mắt robot hình vịt Microduck: Giá 399 USD, biết nhặt đồ và có giọng nói riêng»Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfWe have a huge news to share today! Today we are unveiling the first truly accessible RL robot - we…
DịchĐồng sáng lập Hugging Face vừa giới thiệu Microduck, robot hai chân nhỏ gọn tích hợp AI, LiDAR và camera, cho phép người dùng tự huấn luyện bằng học tăng cường với chi phí cực rẻ.
WarpSAC là thuật toán học tăng cường mới giúp tối ưu hóa hiệu suất trong môi trường mô phỏng quy mô lớn bằng cách điều chỉnh linh hoạt các cơ chế ổn định dựa trên lượng dữ liệu sẵn có.