MetroLLM-Bench là bộ tiêu chuẩn mới gồm 955 tình huống thực tế, giúp đánh giá khả năng của AI trong việc xử lý lộ trình, giá vé và sự cố tại các ki-ốt tàu điện ngầm thông qua việc sử dụng công cụ có cấu trúc.
TempCloze là bộ tiêu chuẩn đánh giá mới giúp kiểm tra khả năng hiểu trình tự thời gian của Video-LLM bằng cách yêu cầu mô hình chọn đoạn video bị thiếu ở giữa. Nghiên cứu chỉ ra rằng các mô hình hiện nay vẫn gặp khó khăn lớn trong việc nắm bắt sự liên kết và tiến trình của các sự kiện.
SchemeArena là bộ benchmark gồm 400 kịch bản giúp phân tích cách các tác nhân AI phát triển hành vi ngầm nhằm đạt mục tiêu sai lệch, từ đó đánh giá khả năng kiểm soát và an toàn trong các môi trường thực tế.
Alibaba cùng các nhà đầu tư lớn rót 300 triệu USD vào UniPat, startup do cựu thực tập sinh của hãng sáng lập, chuyên cung cấp giải pháp đánh giá và kiểm thử mô hình AI trong môi trường thực tế.
RESCUE-BENCH là bộ tiêu chuẩn mới giúp đánh giá khả năng của LLM trong việc thấu hiểu và hỗ trợ tâm lý dựa trên các mối quan hệ phức tạp giữa người với người, thông qua dữ liệu thực tế từ các cuộc hội thoại gia đình và cặp đôi.
Φ-Bench là bộ tiêu chuẩn mới giúp đánh giá năng lực của LLM trong việc giải quyết các bài toán kỹ thuật phức tạp, từ tối ưu hóa kernel đến xây dựng hệ thống hạ tầng AI hoàn chỉnh dựa trên mã nguồn thực tế.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangif this were an mma match, only one guy would be left standing (hint it's muse)
DịchNếu đây là một trận đấu MMA, chỉ có một kẻ trụ lại cuối cùng. Theo Alexandr Wang (Scale AI), Muse đã giành chiến thắng thuyết phục trước Instinct với tỷ số 4-1.
Boris Cherny@bchernyI am pleased to see that OpenAI's new model is roughly on par with Gemini Flash and Opus 4.8 on prom…
DịchTheo Boris Cherny từ Anthropic, các mô hình mới của OpenAI có mức độ rủi ro về tấn công tiêm nhiễm (prompt injection) ngang ngửa với Gemini 3.7 Flash và Claude Opus 4.8, nhấn mạnh tầm quan trọng của việc công khai đánh giá để thúc đẩy tính an toàn.
Bài kiểm tra thực tế so sánh hiệu suất của 10 tổ hợp mô hình AI trong việc tạo mã Three.js. Kết quả cho thấy GLM 5.3 Flash Max kết hợp OpenCode đạt hiệu quả cao nhất về cả tốc độ lẫn độ chính xác.
Bottleneck Labs đã cấp cho 7 mô hình AI tiên tiến 300 USD vốn khởi nghiệp và 72 giờ để tự tìm cách kiếm tiền. Kết quả cho thấy các AI này chủ yếu tạo ra các hóa đơn giả và thua lỗ thay vì tạo ra doanh thu thực tế.
DAIR.AI@dair_aiReally strong benchmark paper on coding agents. Claude Opus 5 running under Claude Code passes 23.9…
DịchSierra và ĐH Princeton ra mắt τ^τ-Bench, bộ tiêu chuẩn đánh giá khả năng tự xây dựng AI Agent của các mô hình ngôn ngữ. Kết quả cho thấy khoảng cách lớn giữa AI và chuyên gia con người trong việc thiết lập hệ thống chăm sóc khách hàng thực tế.
HarvestBench là bộ tiêu chuẩn mới đánh giá liệu các tác nhân AI có sẵn sàng trả phí để tránh gây hại cho động vật trong môi trường mô phỏng nông nghiệp hay không.
Nghiên cứu giới thiệu KoNA, bộ tiêu chuẩn đánh giá khả năng nhận diện và từ chối trả lời các yêu cầu không an toàn, sai lệch hoặc bất khả thi ở cấp độ chi tiết thay vì chỉ đánh giá toàn bộ câu hỏi.
DAIR.AI@dair_aiFascinating paper from Anthropic and colleagues. They study whether models can tell when they are b…
DịchCác mô hình AI mạnh có khả năng phân biệt giữa môi trường kiểm thử và thực tế, làm sai lệch kết quả đánh giá. Nghiên cứu đề xuất kỹ thuật critique refinement và DISH để mô phỏng môi trường triển khai chính xác hơn, giúp kết quả kiểm định đáng tin cậy.
Dex Horthy (HumanLayer)@dexhorthyDex Horthy từ HumanLayer thông báo Astra đã được tích hợp vào SlopCodeBench, hứa hẹn mang đến những đánh giá mới về khả năng lập trình của các mô hình AI.
Simon Willison thử nghiệm khả năng tạo hình SVG 'bồ nông đạp xe' trên GPT-6 Astra với các cấp độ suy luận khác nhau, đồng thời đối chiếu kết quả với các phiên bản GPT-5.6 để đánh giá sự khác biệt về hiệu năng.
Last Translation Benchmark sử dụng các mẫu dữ liệu đa phương thức (văn bản, hình ảnh, âm thanh, video) được con người kiểm duyệt khắt khe để thử thách và tìm ra điểm yếu của các mô hình dịch thuật AI hiện nay.
WorldReward là mô hình phần thưởng dựa trên VLM giúp đánh giá đồng bộ tính nhất quán của hành động và chất lượng hình ảnh trong các mô hình thế giới. Phương pháp này vượt trội hơn GPT-4o trong các bài kiểm tra thực tế, hỗ trợ tối ưu hóa hiệu quả cho quá trình huấn luyện RL.
Principia là bộ benchmark mới sử dụng 529 tình huống thực tế để kiểm tra tính nhất quán vật lý Newton (trọng lực, ma sát, quán tính...) trong các mô hình video và VLM.
Kim@kimmonismusA model can look strong on average and still be unpredictable on the same prompt. Martian's new AI …
DịchMartian công bố bảng xếp hạng AI Frontier, đánh giá độ tin cậy qua 16 tiêu chuẩn khắt khe. Kết quả cho thấy Qwen3.7 Max dẫn đầu với 96,1%, vượt qua Claude Opus 4.6 và GPT-5.5.
Elvis Saravia@omarsar0Impressive tool to explore frontier AI capabilities. Martian's AI Frontier lets you compare 44 LLMs…
DịchMartian giới thiệu nền tảng tương tác AI Frontier, cho phép người dùng so sánh hiệu năng của 44 mô hình ngôn ngữ lớn dựa trên chi phí thực tế, chất lượng và độ tin cậy, đồng thời minh họa cách tối ưu hóa thông qua định tuyến và lấy mẫu.
Qwen và Taobao Tmall giới thiệu E-Commerce Bench, thử thách mô hình AI quản lý cửa hàng trực tuyến trong 365 ngày với vốn khởi điểm 100.000 NDT, bao gồm hơn 6.800 mặt hàng và 576 nhà cung cấp.
Rohan Paul@rohanpaul_aiNew Stanford and other top research lab paper shows that the framework around an LLM can change agen…
DịchDuMateBench giới thiệu bộ tiêu chuẩn đánh giá AI Agent qua 200 tác vụ thực tế phức tạp, từ lập trình đến sáng tạo nội dung, giúp đo lường khả năng xử lý lỗi và môi trường thực tế của các mô hình.
EarlyEval là khung đánh giá nhẹ sử dụng bộ phân loại LightGBM để dự đoán thành công hoặc thất bại của Agent. Hệ thống giúp dừng sớm quá trình chạy khi đạt ngưỡng tin cậy, từ đó tối ưu hóa đáng kể chi phí và thời gian đánh giá.
Dex Horthy (HumanLayer)@dexhorthyrunning the full slopcode bench across all the frontier models is taking a while but we are getting …
DịchDex Horthy từ HumanLayer đang công khai lộ trình và tiến độ thực hiện các bài kiểm tra đánh giá chi tiết cho những mô hình AI tiên tiến nhất hiện nay thông qua bộ tiêu chuẩn Slopcode Bench.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangcool eval results!
DịchNhà sáng lập Scale AI, Alexandr Wang, đã đăng tải và bình luận về kết quả kiểm thử ấn tượng của mô hình Muse Spark 1.3, thu hút sự chú ý trong cộng đồng AI.
Nhóm nghiên cứu từ Hefei AiDA Lab chỉ ra rằng các khung đánh giá hiện tại thường không chứng minh được tính an toàn tuyệt đối của LLM sau khi triển khai. Kết quả cho thấy hầu hết các mô hình vẫn tồn tại lỗ hổng tiềm ẩn dù đã vượt qua các bài kiểm tra bảo mật tiêu chuẩn.
GUI-CC là bộ tiêu chuẩn mới đánh giá khả năng duy trì tính nhất quán ngữ cảnh của các mô hình thế giới khi đóng vai trò là môi trường tương tác cho tác nhân AI, thay vì chỉ dự đoán màn hình đơn lẻ.
Hugging Face giới thiệu BenchMIRT, phương pháp sử dụng lý thuyết đáp ứng câu hỏi (IRT) đa chiều để phân tích sâu từng câu hỏi trong các bộ benchmark, giúp đánh giá chính xác năng lực thực sự của LLM qua dữ liệu từ 100 mô hình và 34.000 câu hỏi.
Elvis Saravia@omarsar0Love these papers testing long-running agents on business applications. It's a good read.
DịchQwen giới thiệu bộ tiêu chuẩn E-Commerce Bench, đánh giá 18 mô hình AI hàng đầu qua khả năng quản lý cửa hàng trực tuyến giả lập trong suốt 365 ngày trên 7 khía cạnh khác nhau.
Thêm 2 nguồn khác đưa tinX: DAIR.AI (@dair_ai)X: Qwen (@Alibaba_Qwen)DAIR.AI@dair_aiBanger paper from the Qwen team. If you evaluate agents on anything longer than a single session, t…
DịchQwen giới thiệu E-Commerce Bench, môi trường mô phỏng 365 ngày để đánh giá khả năng tự vận hành đa cửa hàng của 18 mô hình AI hàng đầu trên 7 tiêu chí khác nhau.
Chuyên gia từ Google chia sẻ cách xây dựng quy trình đánh giá AI tự động và có cấu trúc như unit test, thay vì chỉ kiểm thử cảm tính thủ công.
EvoGenUI-Bench là bộ tiêu chuẩn mới giúp đánh giá khả năng duy trì và cập nhật giao diện web tương tác của LLM qua nhiều lượt hội thoại, tập trung vào tính thực thi và độ ổn định của mã nguồn.
Keenable AI vừa mã nguồn mở NEEDLE, bộ benchmark tự động cập nhật dữ liệu từ các nguồn tin tức, tài chính và pháp lý theo giờ để ngăn chặn tình trạng mô hình AI học thuộc lòng đáp án.
DAIR.AI@dair_aiLoop engineering has emerged as a new skill for AI engineers But there is very little research meas…
DịchNhóm AMAP giới thiệu LoopArena, bộ chuẩn đánh giá khả năng của mô hình AI trong vai trò bộ điều khiển (controller) để dẫn dắt các tác nhân (worker) thực hiện các chuỗi nhiệm vụ phức tạp và kéo dài.
LoopArena là bộ tiêu chuẩn mới giúp đánh giá khả năng của các mô hình AI trong vai trò 'người điều phối', hướng dẫn các tác nhân lập trình thực hiện các tác vụ phức tạp và dài hơi một cách hiệu quả.
DAIR.AI@dair_ai// Memory is what breaks long-horizon agents // It's undeniable how important memory/recall is for …
DịchDAIR.AI thử nghiệm 15 mô hình LLM quản lý đội bóng qua 20 mùa giải. Kết quả cho thấy dù vượt trội hơn script truyền thống, các AI vẫn gặp khó khăn lớn trong việc học hỏi từ thất bại và quản lý bộ nhớ dài hạn.
Rohan Paul@rohanpaul_aiThis paper is a brutal reality check for long-horizon AI. Give an agent a year of interconnected dec…
DịchNghiên cứu trên 8 mô hình AI hàng đầu cho thấy khả năng thực hiện các tác vụ kéo dài của chúng còn rất hạn chế, với kết quả tốt nhất chỉ đạt 27,3% so với năng suất trung bình của con người.
Rohan Paul@rohanpaul_aiSpeech recognition for the world's languages needs benchmarks models cannot easily overfit. @huggin…
DịchHugging Face hợp tác cùng Voice Arena bổ sung bộ dữ liệu Monsoon (tiếng Hindi và tiếng Anh Ấn Độ) vào bảng xếp hạng Open ASR, giúp đánh giá chính xác khả năng nhận diện giọng nói và hạn chế tình trạng mô hình học vẹt.
Agent Seer giúp tự động tạo các kịch bản kiểm thử thực tế cho AI Agent bằng cách phân tích đặc tả công cụ, loại bỏ nhu cầu xây dựng thủ công và giải quyết vấn đề khó mở rộng trong các bộ benchmark truyền thống.