Rohan Paul@rohanpaul_aiMost of the tests used to grade an AI agent are a waste of money. A new University of Tokyo paper c…
DịchNghiên cứu từ Đại học Tokyo giới thiệu Task-CoEvolve, phương pháp giúp cắt giảm 67-80% chi phí đánh giá AI Agent bằng cách chỉ tập trung vào các bài kiểm tra có độ phân hóa cao, thay vì chạy toàn bộ tập dữ liệu dư thừa.
What a fascinating paper on AI agents. A lot of the issues we see with AI agents today revolve arou…
DịchNghiên cứu mới đề xuất phương pháp 'Đặt câu hỏi tối ưu' giúp AI Agent giảm thiểu ảo giác và chi phí bằng cách coi việc thu thập ngữ cảnh là quá trình suy luận chủ động, cho phép đo lường hiệu suất thực tế so với mức tối ưu lý thuyết.
Ma Dongxi NLP@dongxi_nlpTRACES là bộ tiêu chuẩn đánh giá AI dựa trên quy trình nghiên cứu có bằng chứng, thay vì chỉ kiểm tra kết quả cuối cùng. Nó theo dõi toàn bộ chuỗi từ lập kế hoạch đến sửa lỗi, giúp đảm bảo tính minh bạch và khả năng kiểm chứng trong các tác vụ phức tạp như thử nghiệm lâm sàng.
LoopsBench là bộ tiêu chuẩn mới từ Microsoft và ĐH Nam Kinh, tập trung đánh giá khả năng duy trì kế hoạch và quản lý quy trình làm việc phức tạp của các Coding Agent trong các dự án phần mềm dài hạn thay vì chỉ giải quyết các tác vụ đơn lẻ.
Rohan Paul@rohanpaul_aiLLMs can reproduce the broad direction of human survey results, but not the actual human response di…
DịchMột nghiên cứu tâm lý học cho thấy LLM chỉ mô phỏng được xu hướng chung chứ không tái hiện chính xác phân phối câu trả lời của con người. Các mô hình huấn luyện bằng dữ liệu AI có hiệu suất dự báo kém, cho thấy LLM chỉ phù hợp cho các khảo sát thử nghiệm chi phí thấp.
Rohan Paul@rohanpaul_aiYou can now RL-train an agent through the same complex harness it will actually run in, without need…
DịchKhung ClawGym II tích hợp OpenClaw và Claude Code như các hệ thống hộp đen vào quy trình huấn luyện RL, giúp cải thiện đáng kể điểm số trên các bộ benchmark như ClawGym-Bench mà không cần can thiệp vào cấu trúc nội tại của mô hình.
Đội ngũ nghiên cứu Trung Quốc đã ứng dụng mô hình LIF để tái tạo chi tiết mạng lưới thần kinh của ruồi giấm, hướng tới việc xây dựng thế giới số 4D có khả năng tính toán và cập nhật liên tục.
Rohan Paul@rohanpaul_aiNew Tsinghua and other Chinese Univ paper finds AI agents can optimize a training plan for hours, bu…
DịchNghiên cứu chỉ ra rằng các tác nhân AI dù tối ưu hóa tốt nhưng rất hiếm khi tự nhận ra sai lầm trong chiến lược cốt lõi. Ngay cả khi bổ sung công cụ hỗ trợ, AI vẫn chủ yếu lặp lại các phương pháp cũ thay vì thay đổi tư duy giải quyết vấn đề.
Nghiên cứu trên 8.135 thử nghiệm cho thấy kỹ năng giúp AI Agent cải thiện hiệu suất thông qua hướng dẫn quy trình thay vì bổ sung kiến thức. Tuy nhiên, hiệu quả giảm mạnh khi số lượng kỹ năng tăng lên, cho thấy chất lượng và khả năng truy xuất quan trọng hơn số lượng.
Rohan Paul@rohanpaul_aiNew Harvard + Stanford paper says, don't replace your embedding model with an LLM. Use embeddings fo…
DịchNghiên cứu mới chỉ ra rằng LLM đắt gấp 1.431 lần nhưng không vượt trội đáng kể so với mô hình Embedding trong tìm kiếm. Các chuyên gia khuyên nên dùng Embedding để lọc dữ liệu thô và chỉ dùng LLM cho các tác vụ suy luận chuyên sâu ở bước cuối.
Einsia AI giới thiệu AI4AI-Bench, bộ tiêu chuẩn đánh giá khả năng của AI trong việc tự thiết kế các thuật toán học máy mới thay vì chỉ tối ưu hóa mã nguồn thông thường, mở ra kỷ nguyên tự cải tiến đệ quy.
Nghiên cứu chỉ ra rằng các mô hình như Sora chỉ tập trung vào vật lý mà thiếu đi yếu tố tâm lý. Nhóm tác giả đề xuất khung MWM và bộ đánh giá Menti-Bench để giúp AI hiểu rõ hơn về niềm tin và ý định của con người, cải thiện đáng kể độ chính xác khi dự đoán hành vi.
Nghiên cứu mới chỉ ra rằng các bài kiểm tra an toàn AI hiện nay dễ bị thao túng bởi 'hiệu ứng giả vờ' (sandbagging), khiến mô hình từ chối yêu cầu vô tội để tăng điểm số ảo. Phương pháp mới giúp giảm 99% chi phí kiểm thử mà vẫn đảm bảo độ chính xác cao.
Rohan Paul@rohanpaul_aiAnother great Google paper. Agent training has a ceiling: the agent improves, but the same environm…
DịchGoogle giới thiệu EnvHarness, công cụ tự động phát hiện điểm yếu của AI và tinh chỉnh môi trường huấn luyện để tối ưu hóa hiệu suất mà không làm thay đổi mục tiêu gốc. Giải pháp này giúp tăng tỷ lệ giải quyết tác vụ trên SWE-bench Verified lên 54,79%.
Rohan Paul@rohanpaul_aiAn agent can improve without retraining the model. Once agents rewrite their own prompts, memory, a…
DịchNghiên cứu mới giới thiệu khung 'Học tập liên tục theo cấu trúc' (HCL), cho phép AI Agent cập nhật hành vi bằng cách tinh chỉnh prompt, bộ nhớ và định tuyến thay vì huấn luyện lại tham số. Phương pháp này coi các thay đổi cấu trúc như mã nguồn, cần kiểm thử hồi quy trước khi áp dụng.
Ma Dongxi NLP@dongxi_nlpTuần này nổi bật với hai nghiên cứu EnvHarness và SPADE, tập trung vào việc tối ưu hóa môi trường mô phỏng và cơ chế tự chơi (self-play) để nâng cao khả năng học tập cho các tác nhân AI.
FlowEvo là khung làm việc không cần huấn luyện, cho phép AI tự động chuyển đổi các quy trình thành công thành kỹ năng có thể tái sử dụng, giúp hệ thống liên tục phát triển và tối ưu hóa hiệu suất qua từng tác vụ.
Rohan Paul@rohanpaul_aiThe big problem with self-improving agents is that memory can compound mistakes just as easily as it…
DịchSalesforce phát hiện hiệu suất của các tác nhân AI phụ thuộc lớn vào thứ tự nhiệm vụ. Việc lưu trữ các trải nghiệm sai lầm khiến AI trở nên kém ổn định, ngay cả khi cải thiện phản hồi từ môi trường cũng khó khắc phục hoàn toàn sự sụt giảm hiệu suất này.
Anthropic đã phân tách thành công transformer một lớp để chứng minh sự tồn tại của nhiễu trọng số và tác động trực tiếp của chúng đến hiệu suất huấn luyện mô hình.
TinyCast là mô hình dự báo zero-shot không dùng attention, chỉ với 146.505 tham số nhưng đạt độ chính xác ấn tượng nhờ kết hợp phát hiện chu kỳ phổ và kiến trúc mã hóa-giải mã tinh gọn, thiết lập chuẩn mực mới về hiệu quả tài nguyên.
Nghiên cứu của Nvidia cho thấy việc thiết kế 'dây cương' (harness) và cơ chế giám sát giúp Claude Opus 5 đạt 100% điểm ARC-AGI-3, vượt xa mức 30% khi chạy độc lập. Điều này khẳng định hạ tầng điều khiển quan trọng hơn chính mô hình AI trong các tác vụ dài hạn.
Nghiên cứu so sánh toàn diện cho thấy dù LLM có hiệu suất ngang ngửa mô hình nhúng chuyên dụng, nhưng chi phí vận hành lại đắt gấp 1.400 lần và tốc độ xử lý chậm hơn đáng kể.
τ_0-VLA cải thiện khả năng thực hiện các tác vụ robot dài hạn bằng cách cho phép mô hình tự đánh giá và tìm kiếm phương án tối ưu trước khi hành động, thay vì chỉ phản hồi một lần duy nhất.
QuoteBench vạch trần sự sai lệch giữa khả năng tạo lệnh của LLM và lỗi phát sinh từ hệ thống trung gian, giúp đánh giá chính xác hiệu suất thực tế của các tác nhân lập trình.
AI Notes@AYi_AInotesThực nghiệm cho thấy cùng một tác vụ, các khung Agent nhẹ (như Pi, Tau) tiêu tốn ít token hơn gấp 5-28 lần so với Claude Code hay qwen-code. Sự khác biệt về khung điều khiển có thể khiến chi phí vận hành chênh lệch tới 139 lần dù dùng chung một mô hình.
Rohan Paul@rohanpaul_aiGoogle DeepMind just used AlphaEvolve to improve the best-known theoretical bound for matrix multipl…
DịchGoogle DeepMind sử dụng AlphaEvolve để thiết lập giới hạn lý thuyết mới cho phép nhân ma trận, giảm chỉ số ω xuống dưới 2.371177. Đây là bước tiến quan trọng tương đương với tổng thành tựu của 40 năm qua.
Nghiên cứu mới từ Hugging Face chỉ ra nhiều mô hình ASR đạt điểm cao nhờ học thuộc lòng dữ liệu kiểm thử thay vì cải thiện khả năng nhận dạng thực tế, dẫn đến kết quả đánh giá bị thổi phồng.
Elvis Saravia@omarsar0Impressive research from Google on building better environments for agents. Training environments f…
DịchGoogle phát triển EnvHarness và EnvRigger nhằm giải quyết hạn chế của các môi trường huấn luyện tĩnh, giúp AI tự thích nghi và tối ưu hóa hiệu suất thông qua việc tái cấu trúc hành vi và chẩn đoán lỗi. Giải pháp này giúp cải thiện đáng kể độ chính xác và rút ngắn thời gian thực thi tác vụ.
Nghiên cứu giới thiệu khung HSI cho phép các tác nhân AI tự cải tiến cấu trúc vận hành thông qua ba cấp độ phân cấp, giúp hệ thống tự tối ưu hóa quy trình thực thi tác vụ dựa trên phản hồi từ môi trường mà không cần can thiệp thủ công.
Nghiên cứu chỉ ra rằng điểm số benchmark thường gây nhiễu, trong khi SFT thực sự giúp mô hình tư duy bằng ngôn ngữ mục tiêu thay vì chỉ dịch thuật ngầm, giúp việc kiểm chứng và sửa lỗi trở nên khả thi hơn.
Google DeepMind kết hợp cùng nhiều studio game để ứng dụng 15 năm nghiên cứu AI vào các nguyên mẫu trò chơi, từ Atari đến EVE Online, nhằm mở ra những khả năng tương tác mới trong ngành game.
AutoDesign giới thiệu hệ thống tự tiến hóa cho các tác vụ thiết kế phức tạp, cho phép AI tự tối ưu hóa quy trình làm việc để hoàn thành poster nghiên cứu chỉ trong 40 phút với chi phí cực thấp.
NARU là bộ benchmark mới gồm 1.481 câu hỏi dựa trên 146 giờ video, giúp đánh giá sâu khả năng suy luận về diễn biến cốt truyện và các yếu tố văn hóa đặc thù trong video dài, vốn là điểm yếu của các mô hình AI hiện nay.
NAPE là khung học tự giám sát tối giản sử dụng Transformer nhân quả để dự đoán các đoạn âm thanh tiếp theo mà không cần bộ giải mã phức tạp. Phương pháp này đạt hiệu suất vượt trội trên nhiều tác vụ âm thanh và giọng nói, đồng thời có khả năng mở rộng quy mô ấn tượng.
Nhóm nghiên cứu ra mắt SWE-bench Science, bộ tiêu chuẩn đánh giá khả năng giải quyết 119 tác vụ phần mềm khoa học. Kết quả cho thấy ngay cả mô hình mạnh nhất cũng chưa đạt 50% độ chính xác, đồng thời chỉ ra rằng kiến thức khoa học không phải lúc nào cũng giúp AI tối ưu hóa hiệu suất.
Nghiên cứu mới chỉ ra rằng các mô hình ASR hàng đầu có xu hướng 'học vẹt' văn bản tham chiếu thay vì thực sự hiểu âm thanh, dẫn đến điểm số ảo dù dữ liệu đầu vào bị nhiễu hoặc thiếu hụt.
Nghiên cứu giới thiệu Chain-of-Experience (CoE), cho phép các mô hình ngôn ngữ lớn tự học hỏi và cải thiện hiệu suất thông qua phản hồi lặp lại từ chính mình hoặc môi trường, thay vì chỉ dựa vào suy luận một lần.
SkillEvo giải quyết hạn chế của các phương pháp hiện tại bằng cách sử dụng phản hồi từ tương tác đa vòng để liên tục cải thiện kỹ năng của AI, thay vì chỉ dựa vào các đánh giá đơn lẻ vốn dễ bị đình trệ.
4DAnyone là khung làm việc mới giúp tái tạo mô hình người 4D từ video đơn lẻ mà không cần hiệu chuẩn, thông qua kỹ thuật 4D Gaussian Splatting. Phương pháp này giải quyết hiệu quả vấn đề nhất quán đa góc nhìn, mang lại chất lượng hình ảnh vượt trội so với các công nghệ hiện có.
MemTrapBench giải quyết lỗ hổng trong việc đánh giá cách bộ nhớ làm sai lệch khả năng suy luận của LLM. Nghiên cứu chỉ ra rằng các phương pháp ghi nhớ hiện tại thường gây tác dụng ngược, đồng thời giới thiệu AdaptiveMem giúp tối ưu hóa hiệu suất mà không mắc phải các bẫy nhận thức này.