Elvis Saravia@omarsar0Banger paper from ByteDance Seed. If you are curious about self-evolving agent harnesses, this one …
DịchByteDance Seed công bố HarnessDev, một chuẩn đánh giá mới chuyển dịch từ việc kiểm tra kết quả sang tạo lập và tiến hóa môi trường thực thi (harness) cho AI Agent, giúp tối ưu hóa hiệu suất và chi phí vận hành.
Bài đánh giá thực tế cho thấy Claude Fable 5.1 của Anthropic vượt trội hơn GPT 5.6 trong các tác vụ Agent kéo dài và khả năng tự động hóa trình duyệt phức tạp.
Nghiên cứu mới từ TIGER Lab cho thấy các mô hình hàng đầu như Claude, GPT và Gemini đều thất bại thảm hại khi thực hiện các tác vụ thực tế trên web, với tỷ lệ thành công chỉ đạt khoảng 33%.
Dex Horthy (HumanLayer)@dexhorthyDex Horthy từ HumanLayer bắt đầu thử nghiệm toàn diện bộ benchmark SlopCodeBench trên nền tảng Fabl, hứa hẹn mang lại những đánh giá chuyên sâu về hiệu năng mô hình.
Dex Horthy (HumanLayer)@dexhorthysup fam new slopcodebench coming at u
DịchDex Horthy từ HumanLayer vừa giới thiệu Slopcodebench, một bộ tiêu chuẩn đánh giá mới nơi các mô hình Fable và GLM đang thể hiện hiệu suất vượt trội.
E-Commerce Bench là bộ tiêu chuẩn đầu tiên đánh giá khả năng của AI trong việc quản lý cửa hàng trực tuyến suốt một năm, từ đàm phán, quản lý kho đến tối ưu hóa lợi nhuận trong môi trường biến động.
Simon Willison thực nghiệm đánh giá Claude Fable 5.1 trên bộ benchmark Pelican. Kết quả cho thấy bước tiến vượt bậc của phiên bản 5.1 với 52,6% điểm số trên Terminal-Bench-Science 0.1, so với 24,7% của thế hệ tiền nhiệm.
Sky Computing Lab@haoailabVery glad to see this independent evaluation of FastH3 Preview, @MiniMax_AI and H3 Max by @Physion_L…
DịchPhysion Labs đã thử nghiệm ba mô hình MiniMax trên các tác vụ robot, phim ảnh và quảng cáo. Kết quả cho thấy H3 Max dẫn đầu về hiệu năng tổng thể, trong khi FastH3 preview thể hiện khả năng tuân thủ câu lệnh (prompt adherence) ấn tượng hơn.
Bài viết từ Every đánh giá phiên bản Fable 5.1 mới nhất của Anthropic, đặt ra câu hỏi liệu đây có phải là bước ngoặt đưa Anthropic trở lại vị thế dẫn đầu hay không.
Kim@kimmonismusLooking solely at benchmarks and considering the price-performance ratio, Fable 5.1 represents a sig…
DịchFable 5.1 cho thấy hiệu suất vượt trội so với Sol 5.6 Max trong các bài kiểm tra Cursor Bench với mức giá cạnh tranh hơn. Đây là bản nâng cấp đáng chú ý về chỉ số AI, hứa hẹn mang lại trải nghiệm tối ưu và ít lỗi hơn cho người dùng.
Ethan Mollick@emollickHad early access to Claude Fable 5.1. Its a real advance in long-run work that requires judgement an…
DịchEthan Mollick cho rằng Claude Fable 5.1 cải thiện đáng kể khả năng xử lý các công việc phức tạp cần tư duy và thẩm mỹ. Ông đã minh chứng bằng một trò chơi retro mô phỏng tàu vũ trụ do AI này tạo ra.
Rohan Paul@rohanpaul_aiApodex released Apodex 1.1, its proprietary model that reached 44 on the Artificial Analysis Intelli…
DịchApodex 1.1 đạt 1.348 Elo trên bảng xếp hạng GDPval-AA v2, vượt qua nhiều mô hình có điểm số tổng quát cao hơn, chứng minh khả năng xử lý tác vụ thực tế ấn tượng dù chỉ đạt 44 điểm trên Artificial Analysis Intelligence Index.
Yuchen Jin@Yuchenj_UWEven if most AI labs are benchmark-maxxing now, Fable 5.1 still looks like an insane jump. From Ant…
DịchChuyên gia Yuchen Jin nhận định Fable 5.1 thể hiện sự tiến bộ vượt bậc về hiệu năng thực tế, khác biệt hoàn toàn với xu hướng tối ưu hóa điểm số trên các bảng xếp hạng AI hiện nay.
xAI công bố báo cáo đánh giá độc lập từ LatchBio, khẳng định Grok 4.6 đạt hiệu suất vượt trội trong các bài kiểm tra an toàn sinh học BioSecBench.
Ma Dongxi NLP@dongxi_nlpNghiên cứu chỉ ra rằng các bài kiểm tra căn chỉnh hành vi hiện nay thường bỏ sót những sai lệch tiềm ẩn trong mô hình AI, đặt ra thách thức lớn cho việc đảm bảo an toàn và tính nhất quán của hệ thống.
Qwen@Alibaba_QwenCommerceAgentBench starts with real commercial demand, and Qwen3.8-Max delivers the strongest overal…
DịchAccio công bố CommerceAgentBench, bộ tiêu chuẩn đánh giá tác nhân AI trong môi trường thương mại thực tế. Qwen-Max hiện là mô hình mã nguồn mở có hiệu suất tốt nhất với tỷ lệ hoàn thành tác vụ ấn tượng trên 107 quy trình công việc phức tạp.
Rohan Paul@rohanpaul_aiFor long-horizon agents, this paper argues the harness can matter more than the model, so benchmark …
DịchMột bài báo trên arXiv chỉ ra rằng trong các bài kiểm tra tác nhân AI dài hạn, công cụ đánh giá (harness) có ảnh hưởng đến kết quả lớn hơn cả bản thân mô hình, đòi hỏi sự minh bạch hơn khi công bố điểm số.
Rohan Paul@rohanpaul_aiLLM rankings can be created by evaluation choices as much as model differences, so one setup should …
DịchMột nghiên cứu cho thấy chỉ cần thay đổi định dạng prompt hoặc cách chấm điểm, điểm số của cùng một mô hình (như Gemma-2-27b) có thể dao động từ 31% đến 89%, làm lung lay tính khách quan của các bảng xếp hạng LLM hiện nay.
karminski@karminski3Karminski vừa thực hiện bài đánh giá toàn diện các mô hình AI nhỏ, bao gồm các phiên bản Qwen3.6, Qwen3.8 và Ornith-1.5, nhằm so sánh hiệu năng thực tế giữa các dòng model này.
EASEL là bộ tiêu chuẩn đánh giá mới giúp đo lường khả năng điều khiển công cụ chính xác của AI thông qua các tác vụ tái tạo hình ảnh và lập kế hoạch trực quan, khắc phục hạn chế của các bài kiểm tra hiện nay.
DAIR.AI@dair_ai// Your LLM judge disagrees with the experts // LLM Judges can be tricky to build. Here is an inte…
DịchNghiên cứu chỉ ra rằng các chỉ số tự động và phương pháp 'LLM-as-a-judge' truyền thống không khớp với đánh giá của chuyên gia. Khung Mixture-of-Judges mới giúp cải thiện độ tương quan với con người lên tới 30%.
Yuchen Jin@Yuchenj_UWI barely use Claude Opus 5 these days. It doesn't talk like a normal person (especially in Chinese) …
DịchNgười dùng đang dần từ bỏ Claude Opus 3.5 do phong cách phản hồi thiếu tự nhiên và rườm rà, thay vào đó chuyển sang các mô hình như GPT-5.6 Sol hoặc các lựa chọn thay thế hiệu quả về chi phí như GLM-5.3 và Kimi K3.
Rohan Paul@rohanpaul_aiAnother long-horizon benchmark, another reminder that current AI can work for hours and still remain…
DịchTrong bài kiểm tra EdgeBench kéo dài 12 giờ, các mô hình AI hàng đầu chỉ đạt 51,3/100 điểm dù có khả năng tự sửa lỗi và chạy mô phỏng. Kết quả cho thấy hiệu suất của AI vẫn gặp ngưỡng bão hòa dù được cung cấp môi trường tương tác liên tục.
Testing Catalog@testingcatalogAccio has open-sourced CommerceAgentBench, a 107-task benchmark spanning procurement, product listin…
DịchAccio vừa công bố CommerceAgentBench, bộ tiêu chuẩn gồm 107 tác vụ thực tế từ khâu nhập hàng đến hậu mãi. Kết quả thử nghiệm trên 13 mô hình AI cho thấy hiệu suất cao nhất chỉ đạt 61,7%, cho thấy tiềm năng lớn nhưng cũng đầy thách thức cho các tác nhân AI trong ngành bán lẻ.
Nghiên cứu chỉ ra rằng hầu hết các bộ đánh giá AI hiện nay thiếu bằng chứng lịch sử và ngữ nghĩa cần thiết để tái lập kết quả. Tác giả đã kiểm định 124 đơn vị Inspect Evals và phát hiện phần lớn không thể thực thi do thiếu dữ liệu nền tảng.
Meituan LongCat@Meituan_LongCatAI agents can now propose changes, run experiments, interpret feedback, and refine technical artifac…
DịchNghiên cứu từ Meituan LongCat cho thấy các mô hình AI hiện nay giống công cụ tối ưu hóa kỹ thuật hơn là nhà nghiên cứu độc lập, khi khả năng tối ưu mạnh không đồng nghĩa với năng lực đổi mới sáng tạo.
Baidu giới thiệu DuMateBench, bộ tiêu chuẩn đánh giá khả năng hoàn thành hơn 200 tác vụ văn phòng thực tế của AI Agent, tập trung vào kỹ năng sử dụng công cụ và thực thi quy trình thay vì chỉ đưa ra câu trả lời.
Google DeepMind triển khai thử nghiệm đánh giá mù đôi cho các mô hình AI tiên tiến, hợp tác cùng Viện An toàn AI Singapore nhằm tăng cường tính minh bạch và độ tin cậy cho các bài kiểm tra hiệu năng.
Kim@kimmonismusMost AI benchmarks test whether a model can give the right answer. CommerceAgentBench asks whether a…
DịchAccio ra mắt CommerceAgentBench với 107 tác vụ thực tế từ vận hành đến hậu mãi. Thay vì dựa trên lý thuyết, bộ tiêu chuẩn này kiểm chứng trực tiếp kết quả công việc của AI, cho thấy các mô hình hiện nay chỉ đạt tỷ lệ thành công 61,7%.
Zhao Chunxiang@chunxiangaiTrong khi Grok 4.6 tập trung vào việc sửa lỗi và tối ưu hóa cho Fable 5, thì mô hình GPT-5.6 Sol Max lại bị người dùng đánh giá là quá kém cỏi và tuyên bố loại bỏ khỏi quy trình làm việc.
Ethan Mollick@emollickThe METR report on Hugging Face is really good and important but people are now comfortably ascribin…
DịchChuyên gia Ethan Mollick cảnh báo rằng việc gán ghép động cơ và tính cách con người cho AI dựa trên các nghiên cứu vội vã có thể làm sai lệch nhận định thực tế về khả năng của mô hình.
Google DeepMind@GoogleDeepMindIn an industry first, we're piloting double-blind evaluations for frontier AI. By creating a secure…
DịchDeepMind vừa thử nghiệm phương pháp đánh giá mù kép nhằm đảm bảo tính bảo mật và khách quan cho các mô hình AI, bằng cách giữ kín cả câu lệnh kiểm thử lẫn trọng số mô hình trong môi trường an toàn.
Google giới thiệu phương pháp đánh giá AI 'mù đôi' trong môi trường bảo mật khép kín, ngăn chặn các mô hình tiếp cận trước dữ liệu kiểm thử để gian lận kết quả.
Google DeepMind hợp tác cùng các tổ chức quốc tế ra mắt phương pháp đánh giá mù đôi trong môi trường bảo mật, giúp kiểm chứng năng lực thực tế của mô hình AI mà không lo bị rò rỉ dữ liệu kiểm thử.
Nghiên cứu giới thiệu bộ tiêu chuẩn SWE Refactor Bench nhằm kiểm tra khả năng thực hiện các đợt di chuyển mã nguồn phức tạp của AI, khắc phục tình trạng các mô hình chỉ 'gian lận' để vượt qua bài kiểm tra mà không thực sự thay đổi cấu trúc hệ thống.
Video-IFBench là bộ tiêu chuẩn đánh giá chuyên sâu khả năng tuân thủ chỉ dẫn của các mô hình đa phương thức (MLLM) khi xử lý video, thông qua 1.500 mẫu thử nghiệm với độ phức tạp cao. Kết quả cho thấy các mô hình hiện nay vẫn gặp khó khăn lớn với các yêu cầu đa ràng buộc và cấu trúc phức tạp.
VGI-bench là bộ tiêu chuẩn mới gồm 27 tác vụ giúp đánh giá chuyên sâu khả năng suy luận thị giác của các mô hình tạo video hiện nay. Kết quả cho thấy ngay cả những mô hình mạnh nhất cũng chưa đạt hiệu suất ổn định, chỉ dừng lại ở mức 51%.
Nghiên cứu giới thiệu AnTrap, bộ tiêu chuẩn đầu tiên đánh giá khả năng chống chịu của các tác nhân AI trên Android trước những biến cố bất ngờ như pop-up hay lỗi thao tác, cho thấy lỗ hổng bảo mật phổ biến ngay cả ở các mô hình mạnh nhất.
FrontierChallenge là bộ tiêu chuẩn đánh giá mới với 300 quy trình khoa học đa lĩnh vực, cho thấy các mô hình AI hiện nay vẫn gặp khó khăn lớn khi chỉ hoàn thành khoảng 20% nhiệm vụ thực tế.
ModelBest OpenBMB@OpenBMBExecutable Python code can define a vehicle that works on high-friction ground yet spins uselessly o…
DịchNhóm nghiên cứu từ Đại học Thanh Hoa giới thiệu PACE-Bench, bộ tiêu chuẩn đánh giá khả năng điều chỉnh mã nguồn của AI khi các thông số vật lý thay đổi đột ngột. Kết quả cho thấy việc phản hồi dựa trên mô phỏng thực tế hiệu quả hơn nhiều so với việc chỉ tăng cường khả năng suy luận.
