Artificial Analysis@ArtificialAnlysAnnouncing our new Speech Agent Arena, evaluating Speech to Speech models on real-world scenarios to…
DịchSpeech Agent Arena đánh giá các mô hình giọng nói dựa trên trải nghiệm thực tế của người dùng. Gemini 3.1 Flash dẫn đầu về độ ưa chuộng, trong khi Grok Voice Think Fast 2.0 đạt tỷ lệ hoàn thành nhiệm vụ cao nhất.
Nghiên cứu mới từ Hugging Face chỉ ra nhiều mô hình ASR đạt điểm cao nhờ học thuộc lòng dữ liệu kiểm thử thay vì cải thiện khả năng nhận dạng thực tế, dẫn đến kết quả đánh giá bị thổi phồng.
Nghiên cứu chỉ ra rằng điểm số benchmark thường gây nhiễu, trong khi SFT thực sự giúp mô hình tư duy bằng ngôn ngữ mục tiêu thay vì chỉ dịch thuật ngầm, giúp việc kiểm chứng và sửa lỗi trở nên khả thi hơn.
Nhóm nghiên cứu ra mắt SWE-bench Science, bộ tiêu chuẩn đánh giá khả năng giải quyết 119 tác vụ phần mềm khoa học. Kết quả cho thấy ngay cả mô hình mạnh nhất cũng chưa đạt 50% độ chính xác, đồng thời chỉ ra rằng kiến thức khoa học không phải lúc nào cũng giúp AI tối ưu hóa hiệu suất.
Artificial Analysis@ArtificialAnlysAnother fantastic evening at our latest Inference, Measured event in San Francisco. We explored how …
DịchTại sự kiện Inference, Measured, Artificial Analysis đã công bố Chỉ số Độ chính xác Endpoint, đánh giá các nhà cung cấp AI dựa trên ba tiêu chí so với mô hình tự lưu trữ. Kết quả cho thấy các yếu tố kỹ thuật như nén KV-cache và giới hạn ngữ cảnh ảnh hưởng đáng kể đến chất lượng thực tế.
MuseCPEval là khung đánh giá đầu tiên giúp đo lường chính xác khả năng giữ nguyên các đặc tính âm nhạc cốt lõi khi thực hiện các tác vụ chỉnh sửa như chuyển đổi nhạc cụ hay phong cách, đảm bảo chất lượng sản phẩm đầu ra.
AI at Meta@AIatMetaToday we're also previewing WildArtifactBench, an internal evaluation framework designed to assess a…
DịchMeta giới thiệu WildArtifactBench, bộ khung đánh giá sử dụng hệ thống Elo và đánh giá từ con người để đo lường hiệu suất của các tác nhân đa phương thức trong môi trường thực tế thay vì các đáp án cứng nhắc.
SemComp-Bench giới thiệu phương pháp đánh giá video dựa trên kết quả thực tế thay vì chỉ tập trung vào hình ảnh, đảm bảo AI hiểu đúng ngữ nghĩa và hoàn thành mục tiêu tác vụ thay vì chỉ sao chép ngoại hình.
FM-Bench thử thách các mô hình AI điều hành câu lạc bộ bóng đá qua 20 mùa giải với hàng trăm quyết định phức tạp. Kết quả cho thấy hiệu suất phụ thuộc vào tư duy quản lý thay vì sức mạnh tính toán hay lượng token tiêu thụ.
Báo cáo từ Phố Wall đánh giá 8 AI Agent phổ biến toàn cầu, trong đó Qwen giành vị trí quán quân về năng suất văn phòng, đồng thời nhấn mạnh chi phí là yếu tố then chốt cho thương mại hóa.
karminski@karminski3Bài đánh giá chuyên sâu sắp tới sẽ so sánh hiệu năng của các mô hình Qwen và Gemma ở nhiều mức độ nén (3-8 bit) và khả năng suy luận, giúp người dùng tối ưu hóa việc triển khai AI trên phần cứng cá nhân.
OpenClaw@openclawSkills should come with receipts, not vibes.
DịchOpenClaw nhấn mạnh rằng các kỹ năng của AI cần được chứng minh bằng dữ liệu cụ thể thay vì chỉ là những tuyên bố lý thuyết mơ hồ.
Rohan Paul@rohanpaul_aiThis is a good example of why final-answer accuracy can hide bad agent behaviour. Most AI benchmark…
DịchApodex giới thiệu TRACES, chuẩn mực đánh giá AI chuyển dịch từ việc truy xuất câu trả lời có sẵn sang quy trình điều tra toàn diện cho các vấn đề chưa có lời giải, định nghĩa lại cách đo lường trí tuệ nhân tạo.
Rohan Paul@rohanpaul_aiA model can know the answer and still fail because you asked the same question differently. New IBM…
DịchIBM giới thiệu BenchDrift, khung đánh giá cho thấy việc thay đổi cách đặt câu hỏi có thể làm điểm số LLM chênh lệch tới 74,7%. Ngay cả với các mô hình mạnh, 18,5% câu trả lời đúng vẫn bị mất đi khi diễn đạt lại dù ý nghĩa không đổi.
Ma Dongxi NLP@dongxi_nlpDiscovery becomes an engineered verb Ambition -> formulation -> action -> observation -> verificati…
DịchApodex_AI giới thiệu TRACES, bộ tiêu chuẩn đánh giá khả năng giải quyết các vấn đề không có đáp án sẵn thông qua quy trình kiểm chứng khoa học, thay vì chỉ dựa vào điểm số đơn thuần.
Odyssey@odysseymlToday, we're introducing CaliBench, evaluating whether video world models reproduce the true randomn…
DịchOdyssey vừa giới thiệu CaliBench, bộ công cụ đánh giá khả năng mô phỏng tính ngẫu nhiên thực tế (như tung xúc xắc hay rút bài) của các mô hình video AI, giúp kiểm chứng độ chân thực của thế giới ảo so với đời thực.
Rohan Paul@rohanpaul_aiNext benchmark: detect human, choose literally anywhere else.
DịchMột phương pháp kiểm thử AI mới đang được đề xuất: hệ thống sẽ tự động đánh giá là thất bại nếu phát hiện có sự tham gia hoặc hỗ trợ từ con người trong quá trình thực hiện tác vụ.
GLM-5.3 (max) đạt 60 điểm trên bảng xếp hạng Artificial Analysis, vượt xa mức trung bình 35 điểm của các mô hình cùng phân khúc, khẳng định vị thế dẫn đầu về trí tuệ.
Ethan Mollick@emollickQwen 27B is really good local model but, when you use it, it is immediately absolutely and obviously…
DịchDù là một mô hình chạy cục bộ ấn tượng, Qwen 27B vẫn bộc lộ hạn chế rõ rệt trong các tác vụ phức tạp và điều khiển tác nhân (agent) so với các đối thủ đầu bảng. Người dùng nên tự kiểm chứng qua các bài benchmark thực tế thay vì chỉ nhìn vào thông số.
StartupBench là bộ tiêu chuẩn đánh giá AI Agent thông qua các quy trình làm việc thực tế từ các startup, thay vì các tác vụ giả định. Kết quả cho thấy ngay cả những mô hình mạnh nhất cũng chỉ đạt tỷ lệ thành công 30%, bộc lộ hạn chế lớn trong việc tuân thủ chỉ dẫn phức tạp và kiến thức chuyên môn.
ASI-Bench là bộ tiêu chuẩn đầu tiên đánh giá năng lực tự thực hiện nghiên cứu khoa học của AI thông qua 60 nhiệm vụ chuyên sâu. Kết quả cho thấy các mô hình hiện nay vẫn phụ thuộc lớn vào sự hướng dẫn của con người khi độ khó tăng dần.
Rohan Paul@rohanpaul_aiNew Stanford paper shows a leaderboard can tell you which agent scored highest on that benchmark, bu…
DịchNghiên cứu mới từ Stanford chỉ ra rằng các bảng xếp hạng AI hiện tại thiếu tính dự báo thực tế, khi độ tin cậy của các Agent giảm mạnh trong các tác vụ khó và không có sự tương quan với hiệu suất thực tế.
LangSmith giới thiệu tính năng Tuned Evaluators, cho phép gắn phản hồi chất lượng trực tiếp vào các trace trong môi trường thực tế, bắt đầu với khả năng phát hiện lỗi (Perceived Error) giúp đội ngũ tối ưu hóa AI hiệu quả hơn.
HarnessEval định nghĩa lại cách đánh giá các hệ thống AI phức tạp bằng cách xây dựng một quy trình kiểm chứng có hệ thống, thay vì chỉ dựa vào các mô hình chấm điểm đơn thuần.
Tác giả cảnh báo rằng LLM đang khiến các bộ tiêu chuẩn đánh giá (benchmark) mất đi độ tin cậy do khả năng tối ưu hóa quá mức cho dữ liệu huấn luyện. Thực nghiệm cho thấy AI có thể tạo ra mã nhanh hơn trên tập dữ liệu công khai nhưng lại thất bại thảm hại khi đối mặt với các bài kiểm tra thực tế.
Nghiên cứu giới thiệu AutoResearchEval, bộ dữ liệu gồm 100 tác vụ khoa học thực tế để phân tích quy trình và các điểm yếu của AI trong toàn bộ vòng đời nghiên cứu, từ lên ý tưởng đến viết báo cáo.
Databricks vừa khởi động cuộc thi Grounded Reasoning Cup, tập trung đánh giá khả năng suy luận thực tế của các AI Agent trong môi trường trực tiếp thay vì các bài kiểm tra lý thuyết tĩnh.
karminski@karminski3Cộng đồng đang tìm kiếm các bộ tiêu chuẩn đánh giá năng lực viết lách của AI, đồng thời thảo luận về sự bất thường trong hiệu năng của dòng DeepSeek V4 khi các phiên bản giá rẻ đôi khi lại vượt trội hơn bản cao cấp.
Bài viết hướng dẫn cách sử dụng các framework mã nguồn mở như Inspect AI và Harbor để đánh giá kỹ năng của AI Agent, kết hợp cùng Google Sheets và Data Studio để phân tích kết quả trực quan.
HarnessEval-W giới thiệu quy trình đánh giá mới cho mô hình thế giới bằng cách chia nhỏ vấn đề thành các tác nhân con để suy luận và xác thực. Phương pháp này giúp tạo ra chuỗi suy luận có thể kiểm chứng, đạt độ chính xác cao so với đánh giá của con người trên 18 mô hình tiêu biểu.
Rohan Paul@rohanpaul_aiAI coding agents can spend hours on a task without a calibrated sense of time passing. Long-horizon…
DịchChuyên gia cảnh báo các AI lập trình thường làm việc liên tục mà không kiểm soát được thời gian. Do đó, các bài kiểm tra cần đo lường trực tiếp khả năng quản lý thời gian thay vì chỉ dựa vào kết quả công việc để đánh giá hiệu quả.
Mô hình Qwen 3.8 27B đạt 52 điểm trên chỉ số Artificial Analysis, ngang bằng với GPT-5.6 Luna và bám sát các mô hình khổng lồ khác, cho thấy hiệu suất vượt trội dù có kích thước nhỏ gọn.
Rohan Paul@rohanpaul_aiNew ByteDance paper asks a much better question about AI agents: did the instruction actually change…
DịchByteDance giới thiệu Harness-IF, bộ tiêu chuẩn kiểm tra khả năng tuân thủ chỉ dẫn của các AI lập trình khi gặp xung đột với hành vi mặc định. Kết quả cho thấy các mô hình hiện nay vẫn gặp khó khăn với các chỉ dẫn đối kháng, đặt ra dấu hỏi về khả năng kiểm soát thực tế của AI.
Mô hình Qwen2.5 27B gây ấn tượng với 52 điểm trên Artificial Analysis, bỏ xa mức trung bình 9 điểm của các mô hình cùng loại. Với cửa sổ ngữ cảnh 256k tokens và giấy phép Apache 2.0, đây là lựa chọn mạnh mẽ cho xử lý văn bản và hình ảnh.
Artificial Analysis@ArtificialAnlysMô hình Sonic 3.6 từ Cartesia vừa chính thức vươn lên vị trí dẫn đầu trong cả hai hạng mục giọng nói điều khiển và giọng nói nhà cung cấp theo đánh giá từ Artificial Analysis.
Bản tin Import AI tuần này khám phá khả năng suy luận sáng tạo của mô hình Fable thông qua DiG-bench, đồng thời phân tích các xu hướng mới trong việc đánh giá hệ thống AI và quan điểm công nghệ từ Mark Zuckerberg.
Ethan Mollick@emollickThe benchmark for non-verifiable domains is often the opinions of humans. That is how we determine w…
DịchTrong các lĩnh vực không thể kiểm chứng bằng dữ liệu cứng, đánh giá của con người chính là thước đo chuẩn xác nhất. Các chuyên gia AI cần nghiêm túc nghiên cứu phương pháp luận định tính để xây dựng bộ tiêu chuẩn đánh giá hiệu quả hơn cho các mô hình.
AI Notes@AYi_AInotesThử nghiệm với chủ đề 'rượt đuổi đường phố' cho thấy Seedance 2.5 cải thiện đáng kể độ mượt mà so với bản 2.0, đồng thời vượt trội hơn Grok trong việc xử lý các phân cảnh hành động phức tạp.
AI Notes@AYi_AInotesThử nghiệm cho thấy Seedance 2.5 vượt trội về độ mượt mà và ổn định khi chuyển ảnh sang video, trong khi Grok tập trung vào phong cách cá nhân hóa với các chi tiết táo bạo hơn.
Nền tảng Optima cho phép người dùng xây dựng các bài kiểm tra AI dựa trên dữ liệu và kịch bản thực tế, giúp so sánh chính xác chất lượng, chi phí và tốc độ của các mô hình ngôn ngữ.