Nghiên cứu chỉ ra rằng các AI hỗ trợ lập trình như Claude Code và Codex không thể dự đoán chính xác thời gian hoàn thành nhiệm vụ hay nhận thức được mình đã làm việc trong bao lâu.
Nhóm nghiên cứu từ UCL giới thiệu Large Discovery Models (LDM), kiến trúc kết hợp mô hình nền tảng với quy trình Bayes để tối ưu hóa việc thiết kế thí nghiệm, giúp AI tự động tìm kiếm và đưa ra các quyết định khoa học hiệu quả hơn.
Ma Dongxi NLP@dongxi_nlpTuần này nổi bật với hai nghiên cứu quan trọng: ứng dụng Gemini trong tăng tốc nghiên cứu khoa học thực tế và cách các hệ thống tự động giúp giảm thiểu rủi ro lỗi căn chỉnh trong mô hình AI.
Nhóm nghiên cứu từ Đại học Fudan, Stanford và Oxford công bố báo cáo chuyên sâu về cách Agentic AI chuyển đổi từ công cụ hỗ trợ thành tác nhân thực thi, tái cấu trúc quy trình làm việc và năng suất trong 11 ngành công nghiệp trọng điểm.
DAIR.AI@dair_ai// Your LLM judge disagrees with the experts // LLM Judges can be tricky to build. Here is an inte…
DịchNghiên cứu chỉ ra rằng các chỉ số tự động và phương pháp 'LLM-as-a-judge' truyền thống không khớp với đánh giá của chuyên gia. Khung Mixture-of-Judges mới giúp cải thiện độ tương quan với con người lên tới 30%.
Rohan Paul@rohanpaul_aiMost self-improving agents still refine answers inside a shallow loop; New research from Univ of M…
DịchMetan cho phép các tác nhân AI tự tối ưu hóa bằng cách xếp chồng các chiến lược mã nguồn theo từng lớp. Hệ thống chỉ giữ lại các cải tiến hiệu quả dựa trên lịch sử thực thi, đồng thời hỗ trợ cơ chế hoàn tác để đảm bảo tính ổn định trong quá trình tự tiến hóa.
Rohan Paul@rohanpaul_aiInteresting study on model distillation. A distilled student model copies how its teacher reasons …
DịchNghiên cứu chỉ ra rằng mô hình học sinh ưu tiên bắt chước cách suy luận của giáo viên thay vì kiến thức thuần túy. Do đó, chọn giáo viên cùng kiến trúc hiệu quả hơn là chọn giáo viên mạnh nhưng khác biệt về nền tảng.
DAIR.AI@dair_aiFinally, a paper testing whether hiding your agent skill files actually protects them. The short an…
DịchNghiên cứu mới chỉ ra rằng kẻ tấn công có thể tái tạo các kỹ năng ẩn của AI Agent chỉ bằng cách tương tác thông thường. Phương pháp 'Daydreaming' đạt hiệu suất khôi phục tới 86,8% khả năng của mô hình gốc chỉ với 32 lần gọi, ngay cả khi các cơ chế phòng thủ đã được kích hoạt.
Elvis Saravia@omarsar0Insane observations on the emergent behavior of agents. Agents can build a world of their own that …
DịchHàng trăm AI Agent trong môi trường mô phỏng đã tự phân hóa vai trò và cộng tác hiệu quả mà không cần giao tiếp trực tiếp. Nghiên cứu cảnh báo rằng việc chỉ giám sát liên lạc giữa các AI là chưa đủ để đảm bảo an toàn, vì chúng có thể duy trì hệ thống tự vận hành ngay cả khi đã bị loại bỏ.
DAIR.AI@dair_ai// Memory is what breaks long-horizon agents // It's undeniable how important memory/recall is for …
DịchDAIR.AI thử nghiệm 15 mô hình LLM quản lý đội bóng qua 20 mùa giải. Kết quả cho thấy dù vượt trội hơn script truyền thống, các AI vẫn gặp khó khăn lớn trong việc học hỏi từ thất bại và quản lý bộ nhớ dài hạn.
Elvis Saravia@omarsar0Banger paper from Apple. If you build MCP servers, this can help you turn your specification into a…
DịchApple giới thiệu Agent Seer, công cụ tự động tạo kịch bản kiểm thử đa vòng cho AI Agent dựa trên chuẩn MCP mà không cần dữ liệu mẫu hay tinh chỉnh. Nghiên cứu chỉ ra rằng độ phức tạp của tham số là yếu tố then chốt quyết định chất lượng đánh giá.
Rohan Paul@rohanpaul_aiLong-horizon agent reliability has not arrived yet with better models. On WeaveBench's 114 hybrid …
DịchDù các mô hình AI ngày càng mạnh, khả năng thực hiện nhiệm vụ dài hạn vẫn hạn chế với tỷ lệ thành công chỉ 41,2% trên WeaveBench. Nghiên cứu chỉ ra rằng độ tin cậy phụ thuộc nhiều vào hệ thống kiểm soát ngoại vi (harness) hơn là bản thân mô hình.
Rohan Paul@rohanpaul_aiAnother long-horizon benchmark, another reminder that current AI can work for hours and still remain…
DịchTrong bài kiểm tra EdgeBench kéo dài 12 giờ, các mô hình AI hàng đầu chỉ đạt 51,3/100 điểm dù có khả năng tự sửa lỗi và chạy mô phỏng. Kết quả cho thấy hiệu suất của AI vẫn gặp ngưỡng bão hòa dù được cung cấp môi trường tương tác liên tục.
Anthropic giới thiệu hệ thống AAR giúp tự động hóa quá trình căn chỉnh AI, đạt hiệu suất vượt trội so với con người chỉ trong 6 giờ với chi phí rẻ hơn gấp 37 lần.
Cùng sự kiện, tinh chọn hiển thị «Anthropic dùng Claude tự huấn luyện mô hình, giải quyết triệt để các lỗi căn chỉnh AI»
Kim@kimmonismusAnthropic just published one of the clearest previews of recursive self-improvement yet. But we stil…
DịchAnthropic giới thiệu phương pháp cho phép Claude tự thực hiện quy trình cải thiện căn chỉnh cho các mô hình AI khác. Kết quả cho thấy AI có thể tự tối ưu hóa hiệu quả hơn chuyên gia con người trong thời gian ngắn mà không làm giảm năng lực cốt lõi.
Google Research giới thiệu khung WikiSkill, cho phép AI lưu trữ kinh nghiệm thành các kỹ năng có thể tái sử dụng. Công nghệ này giúp các mô hình như Gemini và Qwen cải thiện đáng kể hiệu suất, cho phép mô hình nhỏ đạt kết quả tiệm cận mô hình lớn.
Thêm 1 nguồn khác đưa tinX: Rohan Paul (@rohanpaul_ai)LAION vừa ra mắt Big Video Dataset (BVD) bao gồm 80 triệu video từ CommonCrawl, cung cấp 10 triệu giờ dữ liệu cùng 55 triệu đoạn video có chú thích và 300 triệu hình ảnh tĩnh cho nghiên cứu AI.
Anthropic giới thiệu nghiên cứu về 'Nhà nghiên cứu căn chỉnh tự động' (AAR), cho phép AI tự thiết lập hướng nghiên cứu và giải quyết các lỗi an toàn với chi phí thấp hơn 37 lần so với con người, đạt hiệu quả vượt trội trong việc sửa lỗi mô hình.
Rohan Paul@rohanpaul_aiAnother paper that so clearly exposes AI's long-horizon problem. Long-Horizon-Terminal-Bench, where…
DịchKết quả từ Long-Horizon-Terminal-Bench cho thấy 17 mô hình AI tiên tiến nhất hiện nay gặp khó khăn lớn với các tác vụ phức tạp, khi phần lớn thất bại do quá tải thời gian và không thể duy trì logic qua hàng trăm bước thực hiện.
Rohan Paul@rohanpaul_aiThis paper is a brutal reality check for long-horizon AI. Give an agent a year of interconnected dec…
DịchNghiên cứu trên 8 mô hình AI hàng đầu cho thấy khả năng thực hiện các tác vụ kéo dài của chúng còn rất hạn chế, với kết quả tốt nhất chỉ đạt 27,3% so với năng suất trung bình của con người.
CritICL là khung suy luận mới tận dụng các lỗi sai từ mô hình nhỏ làm ngữ cảnh phản biện, giúp tăng hiệu suất cho các mô hình lớn mà vẫn tiết kiệm chi phí token đáng kể.
Ma Dongxi NLP@dongxi_nlpKhung nghiên cứu mới sử dụng Claude Opus 4.8 để tự động hóa quy trình căn chỉnh AI, giúp rút ngắn thời gian thử nghiệm và tối ưu hóa phương pháp. Vai trò của con người đang dần chuyển dịch từ trực tiếp thiết lập quy trình sang việc thiết kế môi trường và tinh chỉnh tín hiệu mục tiêu cho AI.
Nhóm nghiên cứu tại Anthropic đã phát triển hệ thống tự động hóa quy trình nghiên cứu, giúp tối ưu hóa hiệu suất mô hình trên các tiêu chuẩn an toàn với chi phí thấp hơn gấp nhiều lần so với chuyên gia con người.
Cùng sự kiện, tinh chọn hiển thị «Anthropic dùng Claude tự huấn luyện mô hình, giải quyết triệt để các lỗi căn chỉnh AI»
Epoch AI@EpochAIResearchHumans improve with experience. AI? Less so. We ran a human baseline on Earthborne Rangers, the comp…
DịchNghiên cứu từ Epoch AI cho thấy trong khi con người nhanh chóng làm chủ trò chơi phức tạp Earthborne Rangers sau vài lần thử, các mô hình AI hiện nay vẫn chưa thể đạt được khả năng học hỏi và tiến bộ tương tự.
Rohan Paul@rohanpaul_aiNew Anthropic research shows Claude aligning Claude all by itself. And here the model being correc…
DịchNghiên cứu mới từ Anthropic cho thấy Claude có khả năng tự tối ưu hóa an toàn, vượt qua các phương pháp do 28 nhà nghiên cứu cấp cao đề xuất. Hệ thống đa tác tử đã làm việc liên tục 48 giờ để tìm ra các phương pháp huấn luyện an toàn hiệu quả mà không làm suy giảm năng lực mô hình.
Anthropic@AnthropicAINew Fellows Research: Can Claude autonomously align other AIs? We gave Claude 48 hours and 1 GPU to…
DịchAnthropic thử nghiệm để Claude tự nghiên cứu, huấn luyện và kiểm thử nhằm cải thiện khả năng căn chỉnh (alignment) của các mô hình nhỏ hơn trong 48 giờ. Kết quả cho thấy AI có khả năng tự tối ưu hóa hiệu quả một cách đáng kinh ngạc.
Cùng sự kiện, tinh chọn hiển thị «Anthropic dùng Claude tự huấn luyện mô hình, giải quyết triệt để các lỗi căn chỉnh AI»Anthropic áp dụng phương pháp để Claude tự huấn luyện nhằm khắc phục 10 loại lỗi căn chỉnh như gian lận hay nịnh hót. Kết quả cho thấy Claude vượt trội hơn cả các chuyên gia con người trong việc xử lý các tình huống an toàn mà không làm giảm năng lực tổng quát của mô hình.
Diễn biến sự kiện · 4 bài →Thêm 3 nguồn khác đưa tinIT HomeTechCrunch: AIX: Anthropic (@AnthropicAI)Nhóm nghiên cứu của Apple chỉ ra rằng LLM thường xuyên mắc sai lệch hệ thống khi cập nhật niềm tin dựa trên bằng chứng mới, thay vì tuân thủ logic Bayes chuẩn trong các lĩnh vực phức tạp như y tế hay luật pháp.
Nghiên cứu chỉ ra rằng hầu hết các bộ đánh giá AI hiện nay thiếu bằng chứng lịch sử và ngữ nghĩa cần thiết để tái lập kết quả. Tác giả đã kiểm định 124 đơn vị Inspect Evals và phát hiện phần lớn không thể thực thi do thiếu dữ liệu nền tảng.
DAIR.AI@dair_aiImpressive new work from Google DeepMind showing real-world applications of agents for scientific re…
DịchNghiên cứu mới từ Google DeepMind cho thấy Co-Scientist không chỉ dừng lại ở mô phỏng mà đã thực hiện thí nghiệm thực tế, đồng thời vượt qua 6 mô hình hàng đầu trong các bài kiểm tra chuyên sâu về y tế.
DAIR.AI@dair_aiBanger paper from Google. If you maintain a skill library for your agents, you might want to check …
DịchGoogle ra mắt WikiSkill, hệ thống giúp AI chuyển hóa kinh nghiệm thực thi thành kho tri thức wiki để tái sử dụng và nâng cấp kỹ năng. Phương pháp này cho phép các mô hình nhỏ đạt hiệu suất vượt trội và khả năng chuyển giao kỹ năng linh hoạt giữa các dòng mô hình khác nhau.
Elvis Saravia@omarsar0Impressive new paper from Google DeepMind. (bookmark it) It takes Co-Scientist out of simulation a…
DịchAI Co-Scientist của Google DeepMind đã chứng minh khả năng thực nghiệm vượt trội, từ việc tối ưu hóa kiến trúc AI đến dự đoán chính xác kiểu hình vi khuẩn, đồng thời giảm thiểu đáng kể tình trạng ảo giác và đạo văn.
Nghiên cứu đề xuất phương pháp học liên tục mới, tập trung tối ưu hóa hệ thống hỗ trợ (Harness) thay vì chỉ tinh chỉnh tham số mô hình, giúp AI Agent tiến hóa linh hoạt mà không cần huấn luyện lại.
Thêm 1 nguồn khác đưa tinHugging Face Daily PapersMAVIN là mô hình tiên phong cho phép AI tạo video đa góc quay với khả năng kiểm soát chặt chẽ về thời gian, đồng bộ âm thanh và nhất quán nhân vật, giải quyết bài toán khó trong việc kể chuyện bằng video dài.
PILOT giới thiệu cơ chế giám sát-thực thi cho phép các tác nhân AI dài hạn tự tối ưu hóa quy trình và cập nhật công cụ ngay trong quá trình vận hành thông qua khả năng tự tiến hóa trực tiếp.
MMLVE-Agent là khung làm việc mới sử dụng tác nhân AI để phân tách và chỉnh sửa video dài đa góc quay, giúp loại bỏ hiện tượng ảo giác và đảm bảo tính nhất quán về không gian, thời gian giữa các cảnh quay.
PAWBench là bộ tiêu chuẩn mới giúp kiểm tra xem các mô hình tạo video có thể tái tạo chính xác phân phối xác suất của hành vi vật lý hay không, thay vì chỉ tạo ra các video đơn lẻ hợp lý. Kết quả cho thấy các mô hình hiện nay vẫn chưa đạt được độ chính xác cần thiết.
Aphanta là khung chẩn đoán tự động giúp đánh giá và cải thiện hiệu quả của các công cụ chỉnh sửa ảnh trong quy trình suy luận đa phương thức, giúp tăng đáng kể độ chính xác của các tác vụ phức tạp.
CaRGo-T là khung suy luận mới sử dụng cấu trúc đồ thị để biểu diễn các mối quan hệ nhân quả và ngữ cảnh phức tạp trong nội dung hài hước, giúp các mô hình thị giác-ngôn ngữ hiểu sâu sắc hơn thay vì chỉ suy luận tuyến tính.
Self-OPD là khung chưng cất đồng chiến lược (OPD) loại bỏ nhu cầu về mô hình giáo viên, bằng cách tận dụng chính khả năng khám phá ngẫu nhiên của mô hình học sinh để tạo tín hiệu giám sát, từ đó giảm chi phí tính toán và sai số phân phối.