Phân tích hiệu năng và giá thành của mô hình MiMo-V2.6-Pro

IntelligenceUpdated (Trí tuệ đã cập nhật)

Chỉ số Trí tuệ Artificial Analysis

Artificial Analysis Intelligence Index v4.3.2 kết hợp 10 đánh giá: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1

Artificial Analysis Intelligence Index v4.3.2 bao gồm: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Xem phương pháp luận của Intelligence Index để biết thêm chi tiết, bao gồm phân tích từng đánh giá và cách chúng tôi thực hiện chúng.

Chỉ số Trí tuệ Artificial Analysis theo Trọng số mở / Độc quyền

Artificial Analysis Intelligence Index v4.3.2 kết hợp 10 đánh giá: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1

Artificial Analysis Intelligence Index v4.3.2 bao gồm: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Xem phương pháp luận của Intelligence Index để biết thêm chi tiết, bao gồm phân tích từng đánh giá và cách chúng tôi thực hiện chúng.

Cho biết liệu trọng số của mô hình có sẵn hay không. Các mô hình được dán nhãn 'Commercial Use Restricted' (Hạn chế sử dụng thương mại) nếu việc sử dụng thương mại bị giới hạn bởi các điều kiện, và 'Non-commercial' (Phi thương mại) nếu giấy phép cấm sử dụng thương mại.

Các chỉ số năng lực

Đo lường hiệu suất của các mô hình trên các năng lực và ngành cụ thể

Các đánh giá trí tuệ

Các đánh giá trí tuệ được đo lường độc lập bởi Artificial Analysis · Chỉ số càng cao càng tốt

Công việc tri thức mang tính tác nhân (Agentic), (Elo-500)/2000

Các tác vụ công việc thực tế mang tính tác nhân (Agentic), (Elo-500)/2000

Quy trình làm việc SaaS mang tính tác nhân (Agentic)

Lập trình & sử dụng terminal mang tính tác nhân (Agentic)

Suy luận tài liệu chuyên môn, All-pass (Đạt tất cả)

Suy luận ngữ cảnh dài trong y tế

Mặc dù trí tuệ của mô hình thường có thể áp dụng trên nhiều trường hợp sử dụng, các đánh giá cụ thể có thể phù hợp hơn với một số trường hợp sử dụng nhất định.

Artificial Analysis Intelligence Index v4.3.2 bao gồm: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Xem phương pháp luận của Intelligence Index để biết thêm chi tiết, bao gồm phân tích từng đánh giá và cách chúng tôi thực hiện chúng.

AA-Briefcase v1.1Updated (Đã cập nhật)

AA-Briefcase Elo

AA-Briefcase v1.1 là một tiêu chuẩn đánh giá công việc tri thức mang tính tác nhân (agentic) do Artificial Analysis phát triển. AA-Briefcase Elo là một chỉ số kết hợp tổng hợp tỷ lệ đạt tiêu chí, Elo chất lượng phân tích và Elo trình bày · Chỉ số càng cao càng tốt

AA-Briefcase Elo là một chỉ số kết hợp tổng hợp Elo chất lượng phân tích, Elo trình bày và tỷ lệ đạt tiêu chí, với hiệu suất tiêu chí được chuyển đổi thành Elo thông qua các trận đấu đối kháng tổng hợp. Elo và khoảng tin cậy 95% được giới hạn ở mức 0.

AA-Omniscience

Chỉ số AA-Omniscience

Chỉ số AA-Omniscience (càng cao càng tốt) đo lường độ tin cậy của kiến thức và hiện tượng ảo giác (hallucination). Chỉ số này thưởng cho các câu trả lời đúng, phạt các câu trả lời ảo giác và không phạt việc từ chối trả lời. Điểm số dao động từ -100 đến 100, trong đó 0 nghĩa là số câu trả lời đúng bằng số câu trả lời sai, và điểm âm nghĩa là số câu trả lời sai nhiều hơn đúng.

Chỉ số AA-Omniscience (càng cao càng tốt) đo lường độ tin cậy của kiến thức và hiện tượng ảo giác. Chỉ số này thưởng cho các câu trả lời đúng, phạt các câu trả lời ảo giác và không phạt việc từ chối trả lời. Điểm số dao động từ -100 đến 100, trong đó 0 nghĩa là số câu trả lời đúng bằng số câu trả lời sai, và điểm âm nghĩa là số câu trả lời sai nhiều hơn đúng.

Chỉ số độ mở (Openness Index)

Chỉ số độ mở Artificial Analysis: Điểm số

Chỉ số độ mở đánh giá mức độ mở của mô hình trên thang đo chuẩn hóa từ 0 đến 100 (càng cao càng mở)

So sánh các chỉ số trí tuệ

Chỉ số trí tuệ so với Chi phí cho mỗi tác vụ chỉ số trí tuệ

Chỉ số trí tuệ Artificial Analysis · Chi phí trung bình có trọng số (USD) cho mỗi tác vụ Chỉ số trí tuệ Artificial Analysis

Góc phần tư hấp dẫn nhất

Đường Pareto

Chi phí trung bình có trọng số cho mỗi tác vụ Chỉ số trí tuệ. Chi phí của mỗi đánh giá được tính từ giá của token đầu vào, cache hit, cache write, suy luận và câu trả lời, chia cho số lượng tác vụ và được tính trọng số theo trọng số của Chỉ số trí tuệ đó.

Artificial Analysis Intelligence Index v4.3.2 bao gồm: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1. Xem phương pháp luận của Intelligence Index để biết thêm chi tiết, bao gồm phân tích từng đánh giá và cách chúng tôi thực hiện chúng.

Sử dụng Token