APort Vault là bộ benchmark kiểm thử khả năng ủy quyền thanh toán của AI Agent thông qua 4.371 kịch bản tấn công thực tế, giúp đánh giá hiệu quả của giao thức Open Agent Passport trong việc ngăn chặn các lỗ hổng bảo mật.
Peter Steinberger@steipeteNew benchmark dropped https://bw.swerdlow.dev/report
DịchPeter Steinberger vừa chia sẻ bộ tiêu chuẩn đánh giá hiệu năng mới, cung cấp cái nhìn sâu sắc về khả năng xử lý của các hệ thống AI hiện nay.
Rohan Paul@rohanpaul_aiA new benchmark called JevBench just dropped. for models whose output is a bounded software decisio…
DịchJevBench là bộ tiêu chuẩn mới đánh giá khả năng đưa ra quyết định phần mềm có giới hạn thay vì văn bản tự do. Điểm số được tính dựa trên sự cân bằng giữa độ chính xác, tốc độ và chi phí, giúp tối ưu hóa hiệu suất thực tế cho các ứng dụng AI chuyên biệt.
SemiAnalysis@SemiAnalysis_Many Google TPU customers are already asking Google for SemiAnalysis AgentX performance results, as …
DịchTrước nhu cầu lớn từ các khách hàng sử dụng Google TPU, SemiAnalysis xác nhận sẽ sớm công bố bộ tiêu chuẩn đánh giá AgentX, hứa hẹn trở thành thước đo chuẩn mực cho hiệu năng suy luận của các tác nhân AI (AI agents).
RiskChainBench là bộ dữ liệu mới giúp AI giải mã các thông điệp lừa đảo tinh vi (dùng emoji, từ đồng âm) và tự động điều tra, thu thập bằng chứng từ các trang web độc hại một cách chính xác.
Karina Nguyen@karinanguyenGreat initiative to eval the evals. It incentivizes the industry to build genuinely high-quality ben…
DịchEpoch AI vừa công bố sáng kiến Benchmark Reviews nhằm đánh giá độ tin cậy của các bộ tiêu chuẩn AI, với kết quả ban đầu cho thấy 4 bộ đạt chuẩn, 9 bộ bị lỗi và 2 bộ chưa đủ dữ liệu. Động thái này được kỳ vọng sẽ thúc đẩy ngành công nghiệp xây dựng các tiêu chuẩn đánh giá AI chất lượng hơn.
Ethan Mollick@emollickEpoch continues to do some of the best public benchmarking work on AI. This is helpful (and tells us…
DịchEpoch AI vừa khởi động dự án Benchmark Reviews nhằm kiểm định độ tin cậy của các bộ tiêu chuẩn AI hiện nay. Kết quả ban đầu cho thấy trong 15 bộ tiêu chuẩn được kiểm tra, chỉ có 4 bộ đạt yêu cầu, trong khi 9 bộ khác bị đánh giá là có khiếm khuyết.
Thêm 1 nguồn khác đưa tinX: Karina Nguyen (@karinanguyen)
Epoch AI@EpochAIResearchIntroducing Benchmark Reviews: our new initiative to audit AI benchmarks. We are launching with 15 b…
DịchEpoch AI vừa ra mắt chương trình 'Benchmark Reviews' nhằm kiểm định chất lượng các bộ tiêu chuẩn đo lường AI. Trong đợt đầu, họ đã đánh giá 15 bộ tiêu chuẩn, kết quả cho thấy 4 cái đạt chuẩn, 9 cái có khiếm khuyết và 2 cái chưa đủ dữ liệu.
ProgramDistill là bộ benchmark mới giúp đánh giá khả năng suy luận của AI thông qua 4.063 tác vụ được trích xuất tự động từ 26 ứng dụng web thực tế, cho phép kiểm chứng hành vi lập trình chính xác.
Haider@haider1GPT-6 Astra brutally mogged Fable 5.1 on a benchmark testing research-level math problems from recen…
DịchGPT-6 Astra đạt 88,6% trên các bộ tiêu chuẩn toán học, đánh bại Fable 5.1 (87,7%) với chi phí mỗi câu hỏi chỉ 3,63 USD, thấp hơn đáng kể so với mức 12,77 USD của đối thủ.
Tibo@thsottiauxAstra ✅ Fast ✅ Frontier ✅ Efficient ✅ For everyone
DịchMô hình GPT-6 Astra vừa chính thức vượt qua các đối thủ để dẫn đầu trên hai bộ tiêu chuẩn đánh giá năng lực toán học và nghiên cứu khoa học là BrokenArXiv và ArXivMath.
Ethan Mollick@emollickThe state of public AI benchmarking is dire and is undermining our ability to understand how good AI…
DịchCác bộ tiêu chuẩn đánh giá AI công khai đang trở nên lỗi thời và thiếu chính xác, khiến việc đo lường năng lực thực tế của các mô hình AI trở nên khó khăn và dễ gây hiểu lầm.
AI Notes@AYi_AInotesAssistantBenchmark đánh giá 71 trợ lý AI qua 15 tình huống thực tế như đặt phòng hay xử lý bảo hiểm. Kết quả cho thấy nhiều mô hình lớn thất bại khi thực hiện tác vụ thực tế do thiếu khả năng xử lý lỗi và duy trì trạng thái đăng nhập.
karminski@karminski3Cộng đồng đang tranh luận về việc sử dụng tham số 'reasoning_effort' trong benchmark. Nhiều ý kiến cho rằng việc ép dùng 'max' là chiêu trò marketing, đẩy rủi ro chi phí và hiệu năng cho người dùng thay vì tìm điểm cân bằng tối ưu tại 'high'.
BVB (Blender-VideoBench) là bộ tiêu chuẩn mới yêu cầu AI tái tạo video thực thành hoạt cảnh Blender. Kết quả cho thấy dù mô hình có thể mô phỏng hình ảnh tốt, chúng vẫn gặp khó khăn lớn trong việc duy trì tính chính xác của các sự kiện theo thời gian.
karminski@karminski3Người dùng chỉ trích các hãng AI vì dùng cấu hình 'Max' để đạt điểm cao trên bảng xếp hạng, nhưng lại khuyến nghị người dùng phổ thông sử dụng cấu hình 'High' vì hiệu năng thực tế tốt hơn, cho thấy sự thiếu hụt trong quá trình hậu huấn luyện.
Artificial Analysis@ArtificialAnlysAnnouncing Artificial Analysis Capability Indices v1.1, updated with stronger domain tuning, combini…
DịchArtificial Analysis cập nhật chỉ số năng lực v1.1, kết hợp dữ liệu O*NET để đo lường hiệu suất AI trong 6 lĩnh vực chuyên môn như tài chính, luật và y tế dựa trên Intelligence Index v4.3.
Eric Zakariasson@ericzakariassonhas anyone built a benchmark yet for bots/ai workers? measuring grok bot, muse, hermes, openclaw etc…
DịchCộng đồng đang tìm kiếm các bộ tiêu chuẩn đánh giá hiệu năng cho các tác nhân AI như Grok, Muse, Hermes và OpenClaw để so sánh khả năng thực tế.
Nghiên cứu giới thiệu IdeaAMBIG, bộ dữ liệu gồm 660 trường hợp nhằm kiểm tra khả năng chuyển đổi từ ý tưởng nghiên cứu sang mã nguồn thực tế, giúp xác định các thiếu sót trong tài liệu kỹ thuật mà các nhà phát triển thường gặp phải.
Lee Robinson@leerobWe just rolled out CursorBench 4.0! It includes new tasks for how well models follow instructions, …
DịchCursorBench 4.0 vừa được phát hành với các bài kiểm tra khắt khe hơn về khả năng tuân thủ chỉ dẫn và xử lý các dự án phức tạp dài hạn, khiến điểm số của mọi mô hình AI đều giảm đáng kể.
WearableQA là bộ benchmark mới gồm 4.084 câu hỏi trắc nghiệm, giúp đánh giá khả năng của AI trong việc phân tích dữ liệu sinh lý và hành vi dài hạn từ người dùng thực tế, vượt qua các hạn chế của dữ liệu giả lập.
Nghiên cứu giới thiệu StudyBench, một bộ tiêu chuẩn đánh giá khả năng tự học của AI từ tài liệu thô. Kết quả cho thấy việc học thuộc lòng sách giáo khoa không đảm bảo khả năng giải quyết các bài toán Olympic khó.
EVOHARNESSBENCH là bộ tiêu chuẩn mới đánh giá khả năng thích nghi của AI Agent khi các công cụ, kỹ năng và hệ thống hỗ trợ liên tục thay đổi theo thời gian, thay vì chỉ tập trung vào các tác vụ cố định.
Perplexity@perplexity_aiWe're introducing Q2D-Web (Query2Doc-Web), a benchmark and public leaderboard for evaluating retriev…
DịchPerplexity giới thiệu Q2D-Web, bộ tiêu chuẩn và bảng xếp hạng công khai nhằm đánh giá hiệu suất của các mô hình nhúng (embedding) khi thực hiện tìm kiếm web dựa trên truy vấn được tái cấu trúc bởi AI.
Artificial Analysis@ArtificialAnlysYou can test GPT-6 Astra on your own custom benchmarks in Optima Head to https://artificialanalysis...
DịchNgười dùng hiện có thể thiết lập và thực thi các bộ tiêu chuẩn đánh giá (benchmark) riêng cho mô hình GPT-6 Astra thông qua nền tảng Optima tại artificialanalysis.ai/optima.
RoboSPA là bộ dữ liệu và chuẩn đánh giá mới giúp kiểm tra khả năng suy luận không gian và lập kế hoạch dài hạn của các mô hình VLA trong lĩnh vực robot, vượt xa các bài kiểm tra cơ bản hiện nay.
Sierra vừa công bố hyper-τ-bench, bộ benchmark tiên phong đánh giá năng lực của các AI Agent trong việc tự thiết kế và xây dựng các Agent khác, mở ra tiêu chuẩn mới cho sự phát triển của hệ thống tự hành dài hạn.
Rohan Paul@rohanpaul_aiI usually scroll past benchmark posts because they're self-reported. This one isn't: Voice Arena mea…
DịchVoice Arena vừa thực hiện kiểm thử thực tế trên 10 mô hình TTS, trong đó Gradium đạt tốc độ phản hồi nhanh nhất với độ trễ p50 là 231ms. Kết quả này được đánh giá cao nhờ tính minh bạch và dữ liệu thực tế thay vì chỉ dựa trên thông số công bố từ nhà phát triển.
Bài viết thử nghiệm hiệu năng của các phiên bản nén GGUF (Unsloth) trên mô hình Qwen3.8 27B qua các bộ benchmark GPQA Diamond, IFBench và Terminal-Bench 2.1.
SemiAnalysis@SemiAnalysis_Gemini 3.8 Flash and Muse Spark 1.3 are two of the most clearly benchmaxxed models we've seen yet. D…
DịchGemini 3.8 Flash và Muse Spark 1.3 đang gây tranh cãi khi cho thấy dấu hiệu tối ưu hóa quá mức trên các bài kiểm tra chuẩn, dẫn đến sự sụt giảm hiệu suất đáng kể khi chuyển từ Terminal Bench 2.1 sang 4.0.
Nghiên cứu giới thiệu OR-Clarify, bộ tiêu chuẩn đánh giá khả năng đặt câu hỏi làm rõ của AI trước khi xây dựng mô hình tối ưu hóa, giúp khắc phục tình trạng thiếu hụt thông tin trong các yêu cầu thực tế.
Theo Fortune, OpenAI đã liên tục thay đổi số liệu đánh giá GPT-6 Astra kể từ khi công bố, bao gồm việc điều chỉnh tỷ lệ ảo tưởng từ 4,2% xuống 2% rồi lại thay đổi ngược lại, làm dấy lên nghi vấn về tính minh bạch.
Artificial Analysis vừa ra mắt Intelligence Index v4.2 nhằm điều chỉnh lại các tiêu chuẩn đánh giá, sau khi điểm số của GPT-6 Astra gây ra nhiều tranh cãi so với các kết quả từ Epoch AI và ARC-AGI-3.
Artificial Analysis ra mắt bản cập nhật v4.2, bổ sung AA-Briefcase cho tác vụ trí tuệ nhân tạo và GDP.pdf để kiểm tra khả năng suy luận trên tài liệu dài, đồng thời loại bỏ các bài kiểm tra đã bão hòa.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangupdated artificial analysis index-muse spark 1.3 max still performs quite well! the efficient front…
DịchBản cập nhật v4.2 bổ sung các bài kiểm tra chuyên sâu về tác vụ trí tuệ và khả năng suy luận tài liệu dài, đồng thời tăng trọng số bộ dữ liệu kiểm thử kín để ngăn chặn tình trạng tối ưu hóa điểm số ảo.
Artificial Analysis@ArtificialAnlysAnnouncing Artificial Analysis Intelligence Index v4.2. We are accelerating elements of our upcoming…
DịchArtificial Analysis ra mắt bản cập nhật v4.2 với trọng số kiểm thử riêng tăng gấp đôi, bổ sung các bài đánh giá mới như AA-Briefcase và GDP.pdf, đồng thời loại bỏ bộ dữ liệu GPQA Diamond đã bão hòa.
Last Translation Benchmark sử dụng các mẫu dữ liệu đa phương thức (văn bản, hình ảnh, âm thanh, video) được con người kiểm duyệt khắt khe để thử thách và tìm ra điểm yếu của các mô hình dịch thuật AI hiện nay.
DAIR.AI@dair_aiVery important paper accelerating research around AI discovery. https://x.com/omarsar0/status/20958...
DịchTRACES là bộ benchmark mới giúp đo lường năng lực suy luận và khám phá khoa học của các mô hình AI khi đối mặt với những vấn đề chưa được xác thực trong thực tế.
Cùng sự kiện, bài đại diện «Apodex ra mắt TRACES: Bộ tiêu chuẩn đánh giá khả năng giải quyết các bài toán khoa học chưa có lời giải»
Kim@kimmonismusYou can quote me on this: OpenAI crushed Anthropic's IPO. They put the newly released, state-of-the…
DịchGPT-6 Astra vừa ra mắt đã gây sốc với hiệu suất vượt trội trong các bài kiểm tra năng lực tư duy phức tạp, đạt điểm tuyệt đối ở ExploitBench và bỏ xa đối thủ Claude Fable 5.1 trong nhiều tiêu chuẩn đánh giá quan trọng.
Testing Catalog@testingcatalogOPENAI 🔥: GPT-6 Astra scored 98.6% on ARC-AGI-3 and topped most of the other benchmarks. > 74.%…
DịchCác dữ liệu rò rỉ cho thấy mô hình GPT-6 Astra đã đạt kết quả ấn tượng 98,6% trong bài kiểm tra ARC-AGI-3, đánh dấu bước tiến lớn về khả năng suy luận của AI.
