Ethan Mollick@emollickNow that METR long horizons is effectively saturated (Epoch found pre-Fable agents could do 18 weeks…
DịchKhi các chuẩn đo lường như METR, Frontier Math và ARC-AGI dần trở nên quá dễ dàng với AI, giới chuyên gia đang đặt câu hỏi về các chỉ số mới để đánh giá tốc độ phát triển thực sự của trí tuệ nhân tạo.
Thariq@trq212we heard feedback that it's hard to know if your skills are still working with new model releases p…
DịchClaude Code vừa bổ sung tính năng 'claude plugin eval', cho phép người dùng thiết lập các bài kiểm tra để so sánh hiệu suất giữa việc có và không có plugin, từ đó đánh giá chính xác giá trị thực tế và độ ổn định của các kỹ năng AI trên các phiên bản mô hình mới.
Artificial Analysis@ArtificialAnlysWe independently benchmarked Devin Fusion for its release today - this is the first time a multi-mod…
DịchArtificial Analysis vừa công bố kết quả kiểm thử độc lập cho Devin Fusion, trở thành tác nhân lập trình đa mô hình đầu tiên góp mặt trong bảng xếp hạng Coding Agent Index của họ.
Thariq@trq212it's basically impossible to interpret evals by looking at just at the pass/fail scores these days …
DịchCác bộ tiêu chuẩn đánh giá AI đang trở nên quá cứng nhắc với những bài kiểm tra ẩn, khiến kết quả không còn phản ánh đúng năng lực thực tế của mô hình, ngay cả khi câu trả lời của AI hợp lý hơn đáp án kỳ vọng.
Artificial Analysis@ArtificialAnlysOcten Search debuts third on the Artificial Analysis Search Index with a score of 77, achieving the …
DịchOcten Search đạt 77 điểm trên bảng xếp hạng Artificial Analysis, chỉ đứng sau Perplexity Search, đồng thời xác lập kỷ lục là công cụ tìm kiếm AI có tốc độ phản hồi nhanh nhất hiện nay.
Jason Liu@jxnlcoastra is a good model
DịchChuyên gia Jason Liu chia sẻ những phản hồi tích cực về khả năng vận hành và hiệu suất thực tế của mô hình Astra.
Lee Robinson@leerobWe just rolled out CursorBench 4.0! It includes new tasks for how well models follow instructions, …
DịchCursorBench 4.0 vừa được phát hành với các bài kiểm tra khắt khe hơn về khả năng tuân thủ chỉ dẫn và xử lý các dự án phức tạp dài hạn, khiến điểm số của mọi mô hình AI đều giảm đáng kể.
Bài viết phân tích cách dân chủ hóa quy trình đánh giá (evals) cho các mô hình AI, giúp người dùng phổ thông và doanh nghiệp nhỏ tự xây dựng bộ tiêu chuẩn kiểm định chất lượng AI phù hợp với nhu cầu thực tế.
Dữ liệu từ Arena.ai cho thấy Claude Fable 5.1 đã cắt giảm các từ đệm và thói quen diễn đạt cũ, chuyển sang phong cách viết gãy gọn hơn với tần suất sử dụng dấu câu được tinh chỉnh đáng kể so với bản tiền nhiệm.
SWE-Bench Pro Verified khắc phục các lỗ hổng như gian lận kết quả và lỗi dữ liệu trong bộ chuẩn cũ, giúp đánh giá chính xác hơn năng lực thực tế của các tác nhân AI trong kỹ thuật phần mềm.
Ethan Mollick@emollickIndependent of policy about existential risk, it is worth noting that even if AI development stopped…
DịchNgay cả khi dừng phát triển AI từ hôm nay, các mô hình hiện có vẫn đủ sức thay đổi sâu sắc giáo dục, công việc và xã hội trong ít nhất 10 năm tới nhờ vào việc tối ưu hóa ứng dụng và triển khai thực tế.
Đội ngũ LongCat của Meituan ra mắt loạt bài về đánh giá AI Agent, tập trung vào khung phương pháp luận gồm 4 module cốt lõi, từ đánh giá ngoại tuyến đến giám sát trực tuyến, nhằm tối ưu hóa hiệu suất cho các Agent kinh doanh.
Epoch AI đã thực hiện kiểm định độc lập trên bộ tiêu chuẩn HealthBench Professional của OpenAI và phát hiện một nửa trong số 50 tác vụ được lấy mẫu ngẫu nhiên gặp vấn đề nghiêm trọng về chất lượng.
Elvis Saravia@omarsar0This is a really neat benchmark. It's super interesting that Astra starts strong and holds the lead …
DịchAutoResearchExam đánh giá khả năng tự nghiên cứu của AI trong 24 giờ qua 7 lĩnh vực chuyên sâu. Kết quả cho thấy Fable 5.1 đang dẫn đầu, trong khi Qwen, Gemini và Grok chiếm ưu thế về hiệu suất chi phí.
EVOHARNESSBENCH là bộ tiêu chuẩn mới đánh giá khả năng thích nghi của AI Agent khi các công cụ, kỹ năng và hệ thống hỗ trợ liên tục thay đổi theo thời gian, thay vì chỉ tập trung vào các tác vụ cố định.
Rohan Paul@rohanpaul_aiBig score by GPT-6 Astra here. it averaged $15, 515 on Vending-Bench 2 bench without the collusion or…
DịchTheo kết quả từ Andon Labs, GPT-6 Astra đạt lợi nhuận trung bình 15.515 USD trong thử nghiệm Vending-Bench 2, vượt xa mức 5.422 USD của Claude Fable 5.1.
VDiff-Bench là bộ tiêu chuẩn mới gồm 1.756 câu hỏi trắc nghiệm, giúp kiểm tra khả năng phát hiện các thay đổi tinh vi giữa hai hình ảnh của các mô hình ngôn ngữ đa phương thức (MLLM) vốn thường gặp khó khăn trong tác vụ này.
Artificial Analysis@ArtificialAnlysYou can test GPT-6 Astra on your own custom benchmarks in Optima Head to https://artificialanalysis...
DịchNgười dùng hiện có thể thiết lập và thực thi các bộ tiêu chuẩn đánh giá (benchmark) riêng cho mô hình GPT-6 Astra thông qua nền tảng Optima tại artificialanalysis.ai/optima.
ZHO@ZHO_ZHO_ZHOZHO đánh giá cao khả năng tái tạo chất liệu và giữ vững đặc điểm hình ảnh của GPT Images 2.5. Phiên bản mới không chỉ xử lý xuất sắc các chi tiết phức tạp như lông hay sợi thừng mà còn loại bỏ hoàn toàn hiện tượng nhiễu hạt so với thế hệ trước.
Phiên bản Spark V2.5 thể hiện khả năng xử lý đa phương thức ấn tượng, từ việc tạo hình ảnh hạt phức tạp đến khả năng đọc hiểu và tìm lỗi sai trong các báo cáo tài chính dài.
ZHO@ZHO_ZHO_ZHOGPT Image 2.5 cải thiện đáng kể khả năng chỉnh sửa và độ chính xác khi chuyển đổi ảnh anime sang người thật. Tuy nhiên, kết quả vẫn bị đánh giá là thiếu tự nhiên, bóng bẩy quá mức và thua xa đối thủ Nano Banana Pro về độ chân thực.
ZHO@ZHO_ZHO_ZHOGPT Images 2.5 gây ấn tượng mạnh với khả năng chuyển đổi phong cách và tư duy thiết kế xuất sắc, tuy nhiên mô hình vẫn gặp tình trạng mất ngữ cảnh hoặc quên nhiệm vụ sau 10 lượt tạo ảnh liên tiếp.
ZHO@ZHO_ZHO_ZHOGPT Images 2.5 đã cải thiện đáng kể việc giữ đặc điểm nhân vật và phong cách, đồng thời giảm bớt nhiễu và độ bóng giả tạo. Tuy nhiên, kết quả đầu ra vẫn chưa thoát khỏi cảm giác 'AI' đặc trưng, ảnh hưởng đến độ chân thực.
ZHO@ZHO_ZHO_ZHOZHO thực hiện bài kiểm tra thực tế GPT Images 2.5 bằng cách sử dụng các câu lệnh thiết kế cũ để so sánh với kết quả từ GPT-4o cách đây một năm, qua đó đánh giá bước tiến về chất lượng hình ảnh của phiên bản mới.
DAIR.AI@dair_aiFinally a good paper testing whether an LLM's mathematical knowledge has coherent structure or just …
DịchNghiên cứu sử dụng lý thuyết không gian tri thức cho thấy các mô hình LLM thường vi phạm sự phụ thuộc logic trong toán học, dù vẫn đạt độ chính xác cao. Các mô hình khác nhau có sự chồng chéo tri thức thấp, cho thấy lỗ hổng trong cách đánh giá năng lực AI hiện nay.
Ethan Mollick@emollickIs the @METR_Evals long horizons measure effectively saturated? No updates to the most famous graph…
DịchCác chỉ số đánh giá dài hạn của METR dường như đã chững lại từ tháng 5, trong khi các nghiên cứu mới cho thấy AI hiện nay đã có khả năng xử lý khối lượng công việc kéo dài hơn 18 tuần trong môi trường kiểm soát.
Bài viết phân tích thực trạng các AI Agent hiện nay trong việc áp dụng kiểm thử khi tạo mã nguồn, đồng thời chỉ ra khoảng cách lớn giữa hiệu suất thực tế và kỳ vọng lý tưởng.
Katie McLaughlin hướng dẫn cách kết nối dữ liệu đánh giá từ Inspect AI vào Data Studio. Chỉ với 30 giây, bạn có thể tạo bảng điều khiển tương tác không cần lập trình thông qua Google Sheets.
Tang Jie@jietangUpdated AA index… Now Fable 5.1 and GPT-astra have the same…
DịchChỉ số AA vừa được cập nhật, cho thấy mô hình Fable 5.1 đã đạt mức hiệu năng ngang bằng với GPT-astra.
Broken record here, but GDPval-AA is a very bad benchmark. 1) AIs give answers to the public questio…
DịchChuyên gia Ethan Mollick chỉ trích GDPval-AA là bộ tiêu chuẩn kém chất lượng vì dùng AI chấm điểm AI thay vì con người. Việc các phòng thí nghiệm vẫn sử dụng nó, dù kết quả gây tranh cãi như việc GPT-6 bị Kimi K3 vượt mặt, đang đặt ra dấu hỏi lớn về tính khách quan.
Rohan Paul@rohanpaul_aiA skill-enabled agent can look better overall while performing worse on the exact tasks where it ret…
DịchCác nhà nghiên cứu từ Đại học Soongsil chỉ ra rằng cách đánh giá AI Agent hiện nay thường bị sai lệch. Họ đề xuất phương pháp RAE để đo lường thực chất hiệu quả của việc truy xuất kỹ năng, giúp khắc phục các hạn chế trong các bài kiểm tra truyền thống.
SemiAnalysis@SemiAnalysis_Gemini 3.8 Flash and Muse Spark 1.3 are two of the most clearly benchmaxxed models we've seen yet. D…
DịchGemini 3.8 Flash và Muse Spark 1.3 đang gây tranh cãi khi cho thấy dấu hiệu tối ưu hóa quá mức trên các bài kiểm tra chuẩn, dẫn đến sự sụt giảm hiệu suất đáng kể khi chuyển từ Terminal Bench 2.1 sang 4.0.
Rohan Paul@rohanpaul_aiBig score by GPT-6 Astra, 14% on MazeBench without Python, 7X Claude Fable 5.1's 2%. MazeBench spec…
DịchGPT-6 Astra đạt 14% trong bài kiểm tra MazeBench (không dùng Python), vượt xa Claude Fable 5.1 và cả GPT-5.6 Sol, khẳng định bước tiến mới trong khả năng suy luận của AI.
Ethan Mollick@emollickA couple years later, with GPT-6. https://underdark-duel.netlify.app Apparently the mindflayer has …
DịchEthan Mollick đã thử nghiệm GPT-6 với luật chơi D&D 5E 2014 thông qua kịch bản đối đầu với Mind Flayer và không ghi nhận lỗi nghiêm trọng nào. Đây là một phần trong phương pháp 'kiểm thử chiến đấu' mà ông đề xuất để đánh giá khả năng suy luận của AI.
Artificial Analysis@ArtificialAnlysAnnouncing Artificial Analysis Intelligence Index v4.3, upgrading Terminal-Bench to 4.0 and adding A…
DịchArtificial Analysis cập nhật chỉ số thông minh v4.3 với chuẩn đo lường AutomationBench-AA mới. Claude Fable 5.1 và GPT-6 Astra hiện đang dẫn đầu, trong khi GLM-5.3 và Kimi K3 thống trị nhóm mô hình mã nguồn mở.
Kim@kimmonismusAnother exciting reasoning benchmark, MazeBench, where GPT-Astra outperforms any other model, especi…
DịchMazeBench, bộ tiêu chuẩn đánh giá khả năng suy luận mới, đã xác nhận GPT-Astra dẫn đầu thị trường, vượt xa các đối thủ như Fable 5.1. Thành tích này củng cố vị thế của Astra trước thềm OpenAI ra mắt mô hình thế hệ tiếp theo.
Artificial Analysis@ArtificialAnlysOpenBMB's MiniCPM5-2B scores 15 on the Artificial Analysis Intelligence Index v4.2, the highest of a…
DịchArtificial Analysis đánh giá MiniCPM5-2B đạt 15 điểm trên Intelligence Index v4.2, trở thành mô hình mã nguồn mở dưới 4B tham số thông minh nhất hiện nay, chỉ xếp sau Ling 3.0 Tiny.
Frank Wang@lifesingerMột góc nhìn đầy ẩn ý về sự khác biệt giữa YouMind và Codex, đặt ra câu hỏi liệu các tính năng cao cấp của YouMind có thực sự vượt trội so với các công cụ lập trình truyền thống.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wangAlexandr Wang chia sẻ những quan điểm đáng chú ý về cách thức đánh giá hiệu năng các mô hình AI hiện nay, nhấn mạnh vào các tiêu chuẩn đo lường thực tế.
τ^τ-Bench là bộ tiêu chuẩn mới đánh giá khả năng của AI trong việc tự xây dựng các Agent thực tế, dựa trên các điều kiện khắt khe như dữ liệu doanh nghiệp, API sản xuất và giới hạn chi phí, thay vì chỉ giải quyết các bài toán lý thuyết.