Kim@kimmonismusFull benchmarks. Absolutely insane. ARGI-AGI 3, from 7.8% to 98.6%
DịchBảng điểm rò rỉ cho thấy GPT-6 Astra đạt hiệu suất vượt trội trên nhiều bài kiểm tra trí tuệ nhân tạo, với ARC-AGI-3 đạt 98.6%. OpenAI được cho là sẽ sớm phát hành mô hình này cho người dùng trả phí và qua API trong vài ngày tới.
Rohan Paul@rohanpaul_aiMost benchmarks assume the answer exists somewhere. Scientific discovery often starts precisely beca…
DịchApodex giới thiệu TRACES, bộ benchmark gồm 423 câu hỏi khoa học thực tế từ 561 lĩnh vực, được các chuyên gia STEM biên soạn nhằm kiểm tra khả năng tư duy và khám phá của AI đối với những vấn đề chưa có đáp án xác định.
OpenRouter@OpenRouterIntroducing video benchmarks: compare video models side by side, on a variety of challenges. Seedan…
DịchOpenRouter vừa giới thiệu tính năng benchmark cho phép so sánh trực tiếp các mô hình video. Seedance 2.5 gây ấn tượng về vật lý, trong khi MiniMax H3 Max thiết lập chuẩn mực mới về tốc độ và chi phí.
Rohan Paul@rohanpaul_aiA strong coding model is not enough if the model managing its work does not know when to redirect, v…
DịchLoopArena là bộ tiêu chuẩn mới giúp đánh giá hiệu quả của các mô hình AI khi đóng vai trò 'Controller' điều phối các tác vụ lập trình phức tạp, thay vì chỉ tập trung vào khả năng viết code đơn lẻ.
Dex Horthy (HumanLayer)@dexhorthymany of the runs are incomplete, so will keep updating, but slop code bench coming together for Fabl…
DịchDex Horthy công bố kết quả sơ bộ từ bộ benchmark Slop Code, so sánh khả năng lập trình của các mô hình Fable 5.1, Sol và GLM 5.3 ở nhiều cấp độ suy luận khác nhau.
HarnessDev là một benchmark mới đánh giá khả năng của AI trong việc tự tạo lập và cải tiến hạ tầng thực thi (harness) thay vì chỉ tập trung vào kết quả đầu ra của tác vụ.
Elvis Saravia@omarsar0Brilliant effort worth checking out. Ultra-long horizon coding tasks are where frontier models lik…
DịchProximalHQ vừa công bố FrontierSWE v2, bộ tiêu chuẩn đánh giá khả năng lập trình chuyên sâu, trong đó Claude Fable 5.1 thể hiện sự vượt trội so với các đối thủ.
Kim@kimmonismusIt's worth really grasping this: in a very short time, the race between OpenAI and Anthropic has tur…
DịchMeta vừa trình làng Muse Spark 1.3, phiên bản thứ tư trong năm tháng qua. Biến thể 'max' đạt 62 điểm trên bảng xếp hạng Artificial Analysis, khẳng định vị thế cạnh tranh mạnh mẽ với các mô hình hàng đầu hiện nay.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangsome early eval results from Stata benchmark:)
DịchNhà sáng lập Scale AI, Alexandr Wang, vừa đăng tải những đánh giá ban đầu về hiệu năng của mô hình Muse Spark 1.3 thông qua bộ kiểm chuẩn Stata, thu hút sự chú ý trong giới công nghệ.
Kim@kimmonismuswtf Muse Spark 1.3 It has achieved first place in DeepSWE with 75.4%, even ahead of GPT-5.6 Sol and …
DịchMuse Spark 1.3 vừa chính thức ra mắt, đạt điểm số kỷ lục 75.4% trên benchmark lập trình DeepSWE v1.1, vượt qua các đối thủ mạnh như GPT 5.6 Sol và Opus 5, đồng thời ghi nhận hiệu suất ấn tượng trên các bài kiểm tra MRCR và Terminal-Bench.
Kim@kimmonismusCác bài kiểm tra hiệu năng mới nhất cho thấy Gemini 3.8 Flash đạt kết quả ấn tượng, vượt qua các đối thủ sừng sỏ như Claude 3.5 Sonnet và Opus 3 trong môi trường Terminal Bench 2.
Dex Horthy (HumanLayer)@dexhorthyDex Horthy từ HumanLayer bắt đầu thử nghiệm toàn diện bộ benchmark SlopCodeBench trên nền tảng Fabl, hứa hẹn mang lại những đánh giá chuyên sâu về hiệu năng mô hình.
Dex Horthy (HumanLayer)@dexhorthysup fam new slopcodebench coming at u
DịchDex Horthy từ HumanLayer vừa giới thiệu Slopcodebench, một bộ tiêu chuẩn đánh giá mới nơi các mô hình Fable và GLM đang thể hiện hiệu suất vượt trội.
AI Safety Memes@AISafetyMemes2.5 months apart. Not years, months.
DịchChỉ sau 2,5 tháng kể từ bản 5, Fable 5.1 đã đạt bước tiến lớn với điểm số trên Terminal-Bench-Science tăng gấp đôi (52,6%) và cải thiện đáng kể ở các bài kiểm tra chuyên sâu khác.
Yuchen Jin@Yuchenj_UWEven if most AI labs are benchmark-maxxing now, Fable 5.1 still looks like an insane jump. From Ant…
DịchChuyên gia Yuchen Jin nhận định Fable 5.1 thể hiện sự tiến bộ vượt bậc về hiệu năng thực tế, khác biệt hoàn toàn với xu hướng tối ưu hóa điểm số trên các bảng xếp hạng AI hiện nay.
PaperBanana-Interact là hệ thống đa tác nhân sử dụng vòng lặp phản hồi để tối ưu hóa sơ đồ khoa học. Nghiên cứu cũng giới thiệu bộ benchmark MTPaperBananaBench với hơn 3.500 yêu cầu người dùng để đánh giá khả năng tinh chỉnh hình ảnh.
MNIST-PRO là benchmark mới yêu cầu AI phải quan sát từng phần của hình ảnh để nhận diện chữ số, giúp đánh giá khả năng ghi nhớ và xây dựng trạng thái nhận thức của các mô hình đa phương thức.
Keenable AI vừa mã nguồn mở NEEDLE, bộ benchmark tự động cập nhật dữ liệu từ các nguồn tin tức, tài chính và pháp lý theo giờ để ngăn chặn tình trạng mô hình AI học thuộc lòng đáp án.
Rohan Paul@rohanpaul_aiLLM rankings can be created by evaluation choices as much as model differences, so one setup should …
DịchMột nghiên cứu cho thấy chỉ cần thay đổi định dạng prompt hoặc cách chấm điểm, điểm số của cùng một mô hình (như Gemma-2-27b) có thể dao động từ 31% đến 89%, làm lung lay tính khách quan của các bảng xếp hạng LLM hiện nay.
AK@_akhaliqLoopArena Benchmarking Models as Runtime Controllers for Loop Engineering paper: https://huggingfa...
DịchNghiên cứu mới giới thiệu LoopArena, một bộ tiêu chuẩn (benchmark) chuyên biệt để đánh giá khả năng của các mô hình AI khi đóng vai trò là bộ điều khiển thời gian thực trong kỹ thuật vòng lặp.
Kim@kimmonismusGLM-5.3 (max) outperforming GPT-5.6 (max) on the new Terminal-Bench 4.0 was not on my bingo card. 1) …
DịchMô hình GLM-5.3 (max) bất ngờ vượt qua GPT-5.6 (max) trong bài kiểm tra Terminal-Bench 4.0 mới nhất, tạo nên làn sóng tranh luận sôi nổi trong cộng đồng AI.
Rohan Paul@rohanpaul_aiAnother paper that so clearly exposes AI's long-horizon problem. Long-Horizon-Terminal-Bench, where…
DịchKết quả từ Long-Horizon-Terminal-Bench cho thấy 17 mô hình AI tiên tiến nhất hiện nay gặp khó khăn lớn với các tác vụ phức tạp, khi phần lớn thất bại do quá tải thời gian và không thể duy trì logic qua hàng trăm bước thực hiện.
Agent Seer giúp tự động tạo các kịch bản kiểm thử thực tế cho AI Agent bằng cách phân tích đặc tả công cụ, loại bỏ nhu cầu xây dựng thủ công và giải quyết vấn đề khó mở rộng trong các bộ benchmark truyền thống.
Các nhà nghiên cứu tại Stanford vừa ra mắt Terminal-Bench-Science 0.1, bộ benchmark gồm 70 tác vụ chuyên sâu thuộc nhiều lĩnh vực khoa học nhằm đo lường khả năng thực hiện quy trình nghiên cứu thực tế của các AI agent.
Kim@kimmonismusMost AI benchmarks test whether a model can give the right answer. CommerceAgentBench asks whether a…
DịchAccio ra mắt CommerceAgentBench với 107 tác vụ thực tế từ vận hành đến hậu mãi. Thay vì dựa trên lý thuyết, bộ tiêu chuẩn này kiểm chứng trực tiếp kết quả công việc của AI, cho thấy các mô hình hiện nay chỉ đạt tỷ lệ thành công 61,7%.
Zhipu GLM-5.3-Flash vừa ra mắt với mức giá cạnh tranh và hiệu suất vượt trội, đánh bại DeepSeek V4 Flash trong hầu hết các bài kiểm tra benchmark, đặc biệt là khả năng xử lý hình ảnh.
Artificial Analysis và Liquid AI vừa giới thiệu bộ công cụ đo hiệu năng AI chuyên dụng cho di động, thử nghiệm trên các mô hình 4-bit dưới 8GB chạy trực tiếp trên iPhone 17 Pro.
Elvis Saravia@omarsar0Great paper on why agent leaderboard comparisons are hard to trust. It's on the hot topic of how mu…
DịchNghiên cứu mới chỉ ra rằng 'harness' (lớp trung gian giữa mô hình và tác vụ) ảnh hưởng đến điểm số AI Agent gấp 7,8 lần so với chính mô hình đó, khiến kết quả xếp hạng dễ bị thao túng và thiếu khách quan.
DAIR.AI@dair_ai// There Is No Neutral Harness // Great work discussing some of the issues in harness evaluation. …
DịchNghiên cứu chỉ ra rằng chỉ cần thay đổi thứ tự đáp án hoặc cách diễn đạt câu lệnh, điểm số của các mô hình AI có thể dao động cực lớn, khiến bảng xếp hạng hiện nay trở nên thiếu khách quan.
Elvis Saravia@omarsar0Great paper on agent harnesses.
DịchNghiên cứu mới chỉ ra rằng cách thiết lập bộ khung đánh giá ảnh hưởng cực lớn đến kết quả của AI. Chỉ cần thay đổi thứ tự đáp án hay cách đặt câu hỏi, thứ hạng của các mô hình có thể bị đảo lộn hoàn toàn, cho thấy các bài kiểm tra hiện nay còn nhiều lỗ hổng.
ClawProBench là bộ tiêu chuẩn đánh giá AI Agent mới, tập trung vào quá trình thực thi thay vì chỉ kết quả cuối cùng, giúp đo lường chính xác hiệu suất trong các môi trường làm việc phức tạp.
Thinkingbox là môi trường sandbox và bộ benchmark mới giúp đánh giá khả năng xử lý các quy trình nghiệp vụ phức tạp của AI Agent, vượt xa việc chỉ gọi công cụ đơn thuần bằng cách kiểm tra tính nhất quán và trạng thái hệ thống.
SemiAnalysis@SemiAnalysis_Introducing AgentX: InferenceXs new agentic inference performance benchmark. (1/2) 🧵
DịchSemiAnalysis vừa giới thiệu AgentX, một bộ tiêu chuẩn đánh giá (benchmark) mới được thiết kế để đo lường khả năng suy luận và hiệu suất thực tế của các AI Agent.
Artificial Analysis@ArtificialAnlysYou can now benchmark Qwen3.8 27B with Optima. See how a model that can run on your laptop compares …
DịchBạn có thể sử dụng Optima để đánh giá hiệu suất, chi phí và tốc độ của mô hình Qwen2.5 27B trên các tác vụ thực tế ngay trên máy tính cá nhân. Artificial Analysis cũng cung cấp hỗ trợ tư vấn và tín dụng miễn phí cho các doanh nghiệp muốn xây dựng bộ kiểm thử riêng.
OpenRouter@OpenRouterNew: visual benchmarks for understanding the capabilities of image models 🌅 See how every model pe…
DịchOpenRouter vừa bổ sung tính năng benchmark mới, cho phép người dùng so sánh hiệu suất của các mô hình AI tạo ảnh thông qua nhiều thử thách thực tế khác nhau.
Rohan Paul@rohanpaul_aiA strong LLM does not automatically make a reliable data agent: DataSpace shows that the harness, cr…
DịchDataSpace đánh giá khả năng phân tích dữ liệu đa nguồn của AI Agent. Kết quả cho thấy ngay cả mô hình mạnh nhất cũng chỉ đạt 66,34% độ chính xác, đồng thời nhấn mạnh tầm quan trọng của việc tối ưu hóa framework điều khiển.
karminski@karminski3Karminski thực hiện bài kiểm tra so sánh và nhận định OX-Alpha vượt trội hơn hẳn về khả năng lập trình. Tác giả đánh giá cao hiệu suất của mô hình này, đặc biệt nếu cả hai đều chỉ sở hữu quy mô 100 tỷ tham số.
FlavourBench là bộ tiêu chuẩn đánh giá tự động mới, sử dụng hệ thống ẩm thực có thể thực thi để đo lường khả năng tư duy logic và sáng tạo của 27 mô hình ngôn ngữ lớn thông qua các bài toán phối hợp nguyên liệu.
SemiAnalysis@SemiAnalysis_AgentX - InferenceXv3: Does CUDA Moat Hold up in Agentic Inferencing? $3 Million USD dataset open s…
DịchAgentX giới thiệu bộ dữ liệu 3 triệu USD với ngữ cảnh 1 triệu token, tối ưu hóa KVCache cho AI Agent đạt hiệu suất trên 95% trên các nền tảng phần cứng mạnh mẽ như GB300 và MI355.
Ma Dongxi NLP@dongxi_nlpTRACES là bộ benchmark tiên phong được thiết kế để kiểm chứng khả năng suy luận và quy trình kiểm toán trong các mô hình AI hướng tới trí tuệ khám phá.