Trực quan hóa đánh giá AI bằng bản đồ nhiệt: Giải pháp cho các bên liên quan

Trực quan hóa các đánh giá AI với Inspect Viz

Chào mừng bạn quay trở lại với loạt bài blog của chúng tôi về cách chạy, phân tích và trực quan hóa các đánh giá AI. Lần trước, chúng ta đã thảo luận về cách thiết kế và chạy các đánh giá để phân tích và trực quan hóa bằng cách sử dụng inspect eval và inspect view. Nhiều phương pháp trong số này, chẳng hạn như sắp xếp lại các cột trên bảng điều khiển và phân loại dựa trên chúng để xác định sự khác biệt giữa mô hình với mô hình và kỹ năng với không kỹ năng trong các chỉ số, có thể cung cấp cho bạn cái nhìn tổng quan rộng rãi về lĩnh vực này. Mặc dù điều này có thể truyền cảm hứng cho việc tìm hiểu sâu hơn, nhưng nó lại gặp vấn đề về khả năng dự đoán và cách truyền đạt các phát hiện cho người khác. Hãy tưởng tượng tình huống sau:

Bế tắc với 40 bản ghi (log)

Hãy tưởng tượng một trưởng nhóm khoa học dữ liệu cần trình bày bảng phân tích hiệu suất của bốn ứng viên LLM trên mười công cụ nội bộ trong một cuộc họp trực tiếp quan trọng và gấp rút về thời gian. Việc sắp xếp lại và lọc các đánh giá trên nhiều chiều rất khó đọc trên màn hình trình chiếu và đòi hỏi phải tính nhẩm trước mặt khán giả: một công việc đầy thú vị mà chắc chắn họ sẽ không bao giờ buồn ngủ khi nghe.

Sẽ thế nào nếu thay vào đó, bạn có một công cụ cho phép tự động hóa việc hiển thị so sánh các cấu hình khác nhau một cách dễ dàng? Sẽ thế nào nếu việc sắp xếp chúng theo mô hình hoặc theo kỹ năng cho thấy các mô hình rõ ràng và dễ đọc?

Vâng, hãy để tôi giới thiệu với bạn về bản đồ nhiệt (heatmap)! Bản đồ nhiệt là một ma trận trực quan 2D, trong đó cường độ màu sắc đại diện cho độ lớn của các con số—trong trường hợp của chúng ta là điểm số độ chính xác đường cong bậc hai. Bằng cách tận dụng khả năng tự nhiên của mắt người trong việc phân biệt các dải màu, bản đồ nhiệt tiết lộ ngay lập tức phổ hiệu suất chỉ trong một cái nhìn. Điều này làm cho các xu hướng trên các biến phụ thuộc và độc lập trở nên rõ ràng, trực quan và dễ đọc.

Mặc dù bạn có thể chỉ cần đọc và tìm hiểu về cách sử dụng inspect viz để tạo bản đồ nhiệt cho các đánh giá inspect AI, nhưng nếu bạn định làm theo và tạo lại các biểu đồ, vui lòng bắt đầu bằng cách thực hiện lại các bước trong bài viết đầu tiên rồi quay lại sau.

Lưu ý: Loạt bài blog này chứa các sơ đồ do AI tạo ra cùng với ảnh chụp màn hình thực tế và các chỉnh sửa vẽ tay của cả hai. AI cũng hỗ trợ biên tập nội dung ở mức độ nhỏ.

Yêu cầu để thực hành theo

Đối với những ai đang thực hành tại nhà, để thực hiện các bước sau, bạn sẽ cần cài đặt thư viện inspect_viz trong môi trường của mình (cùng với inspect_ai và pandas).

Từ đó, hãy xem qua tập lệnh heatmap. Mặc dù tập lệnh có một số chi tiết phức tạp (chẳng hạn như thiết lập CLI API của nó), nhưng tập lệnh chủ yếu bao bọc scores_heatmap(viz_data, orientation="horizontal",...) và điều phối dữ liệu của chúng ta để lắp ghép thành một bản đồ nhiệt.

Nếu bạn chạy tập lệnh

Vào chế độ toàn màn hình Thoát chế độ toàn màn hình

bạn sẽ nhận được một hình ảnh trực quan trông giống như sau.

Bản đồ nhiệt này có hai trục, một là mô hình (chiều dọc) cho phép bạn phân tích trực quan các phần bổ sung kỹ năng cho cùng một mô hình, trục còn lại là các kỹ năng (chiều ngang) và việc đi xuống theo hàng cho phép bạn chứng minh cách các thay đổi đối với mô hình ảnh hưởng đến quá trình đánh giá.

Các bên liên quan (như nhà đầu tư hoặc sếp của bạn) giờ đây có thể phát hiện mức tăng kỹ năng và giới hạn của mô hình trong nháy mắt mà không cần đọc từng dòng giá trị log. Một số điểm rút ra nhanh:

Chú thích: Bản đồ nhiệt inspect viz chiếu Ma trận Đánh giá đầy đủ của chúng ta xuống mặt phẳng 2D bằng cách thu gọn các mẫu tác vụ và kỷ nguyên riêng lẻ thành các ô độ chính xác tổng hợp dọc theo các trục Mô hình và Kỹ năng.

Gánh nặng nhận thức và bước đệm đến phân tích BI

Mặc dù bảng điểm ma trận cung cấp khả năng hiển thị nhanh về sự khác biệt độ chính xác giữa các mô hình, nhưng các bản đồ nhiệt thô vẫn gặp phải những hạn chế chính:

Để kết nối các log CLI với báo cáo tương tác, đa chiều và chuyên sâu, chúng ta cần một quy trình xuất các chỉ số đo lường từ xa thô sang bảng tính và bảng điều khiển BI.

Trong Phần 3, chúng ta sẽ xây dựng một tập lệnh python để chuyển đổi dữ liệu đầu ra nhằm xử lý trước trong Google Sheets và cuối cùng là Data Studio!