Hướng dẫn Google AI: Xuất nhật ký đánh giá Inspect AI sang Google Sheets bằng Pandas

Chào mừng bạn đến với phần ba trong loạt bài của chúng tôi về thiết kế, phân tích và trực quan hóa AI Evals! Cũng như các bài trước, bạn có thể thoải mái đọc phần khám phá của tôi, hoặc nếu bạn muốn thử thách bản thân, hãy cứ tự mình thực hiện theo nhé.

Lưu ý: Loạt bài blog này chứa các sơ đồ do AI tạo ra cùng với ảnh chụp màn hình thực tế và các chỉnh sửa vẽ tay trên cả hai loại hình đó. AI cũng hỗ trợ trong việc biên tập nội dung ở mức độ nhỏ.

Các điều kiện tiên quyết để triển khai

Nếu bạn dự định (tái) triển khai hướng dẫn này, tất cả những gì bạn cần làm ngay bây giờ là hoàn thành Phần 1 (Thiết kế AI Evals: Sự rõ ràng là ưu tiên hàng đầu và Trực quan hóa là bước tiếp theo) và sau đó cài đặt pandas; Phần 2 (AI Evals trong nháy mắt: Bản đồ nhiệt cho các bên liên quan) mang tính minh họa và sẽ giúp bạn hiểu sâu hơn về AI evals cũng như lý do tại sao những nội dung sau đây lại hữu ích, nhưng đó là phần tùy chọn hơn là bắt buộc.

Quay trở lại với chủ đề chính

Trong khi các đội ngũ kỹ thuật có thể đánh giá các tác nhân (agents) bằng cách sử dụng tự động hóa kiểm thử, thì các bên liên quan không chuyên về kỹ thuật (quản lý sản phẩm, lãnh đạo doanh nghiệp hoặc nhà tài trợ điều hành) thường sử dụng bảng tính như một ngôn ngữ chung. Do đó, việc giao tiếp với họ theo cách mà họ chắc chắn hiểu được là rất hợp lý, đồng thời cho phép tất cả các bạn cùng nhau tạo ra các hình ảnh trực quan để lan tỏa thông tin hiệu quả hơn.

Để biến điều này thành hiện thực, hôm nay chúng ta sẽ sử dụng một đường ống (pipeline) pandas để chuyển đổi nhật ký đánh giá Inspect AI thô thành một tệp CSV phong phú được tối ưu hóa cho Google Sheets, cho phép bạn hoặc bất kỳ ai trong nhóm có kiến thức cơ bản về bảng tính đều có thể tạo ra các hình ảnh trực quan sẵn sàng cho các buổi họp hội đồng quản trị.

Tiếp tục dựa trên các bài blog trước, các đánh giá (evals) mà chúng ta đang thực hiện có ba chiều: model x skill x sample [và epoch] giao nhau để tạo thành ma trận sau:

Trong Phần 2, chúng ta đã tạo một bản đồ nhiệt đơn giản hóa phản ánh một lát cắt phẳng của không gian này sau khi đã giảm bớt chiều sample. Mặc dù cuối cùng chúng ta sẽ làm điều tương tự trong một bài blog tương lai bằng cách sử dụng Data Studio, nhưng hiện tại chúng ta muốn giữ riêng biệt tất cả 32 tổ hợp và trích xuất thêm các số liệu thống kê cơ bản từ các tệp inspect eval, sau đó suy luận thêm thông tin bằng pandas. Thông tin này sẽ được xuất dưới dạng tệp csv phẳng để chúng ta có thể nhập và xem trong Google Sheets.

Bộ trích xuất tocsv.py

Tập lệnh này được sử dụng để phân tích cú pháp các nhật ký đánh giá bằng giao diện python pandas của Inspect AI. Tập lệnh này khá dễ hiểu, và bạn có thể đọc thêm về pandas cũng như IO csv của pandas nếu bạn chưa quen.

Xử lý nặng trong Python: Các cột đo từ xa (telemetry) tùy chỉnh

Trong khi hầu hết tập lệnh xử lý việc ánh xạ các số liệu vô hướng (scalar metrics) mà chúng ta đã thảo luận, có hai số liệu hoàn toàn mang tính logic/boolean. Chúng đại diện cho các trường hợp thống kê cụ thể mà chúng ta sẽ cho phép người dùng cuối phân vùng tập dữ liệu để phân tích sau này. Các điều kiện boolean này được suy luận ra, và vì chúng ta muốn loại bỏ thông tin thừa để không phải cung cấp toàn bộ tệp đánh giá cho Google Sheets, tocsv.py sẽ thực hiện các công việc nặng nhọc ở phía thượng nguồn trong quá trình tiếp nhận nhật ký.

Nó tính toán trước hai cột boolean chính để đơn giản hóa việc lọc trên bảng điều khiển (dashboard) ở hạ nguồn:

Trong Google Sheets hoặc Data Studio, các bên liên quan không chuyên về kỹ thuật có thể dễ dàng lọc/bật tắt các khóa boolean được tính toán trước này để cô lập hiệu suất sạch, hiệu suất hoạt động (hoặc các trạng thái khác) ngay lập tức.

Xuất sang Google Sheets

Để thực thi đường ống này, tôi đã gọi:

Vào chế độ toàn màn hình Thoát chế độ toàn màn hình

Tệp đầu ra data_mega_export.csv là một tệp giá trị phân tách bằng dấu phẩy tiêu chuẩn, nơi mỗi ô được bao quanh bởi dấu phẩy. Bạn có thể xem trước nội dung thô và chưa định dạng trong một trình soạn thảo văn bản tiêu chuẩn. Mặc dù hầu hết đây là dữ liệu bảng tính thông thường như chuỗi và số nguyên, bạn cũng sẽ thấy các công thức Google Sheets khá phức tạp phát sinh từ việc nội suy các số liệu đánh giá vào các mẫu công thức.

Ví dụ, công thức trên sẽ được chuyển đổi thành biểu đồ thanh được chuẩn hóa theo phạm vi giá trị trong cùng cột với dữ liệu nguồn và được phân tầng thành các màu theo phân vị (tertile).

Làm thế nào để bạn lấy văn bản này và hiển thị nó? Tất nhiên là bằng cách mở sheets.new và nhập tệp data_mega_export.csv. Khi hộp thoại nhập xuất hiện, hãy chọn Chuyển đổi văn bản thành số, ngày tháng và công thức.

Khi nhấp vào Nhập dữ liệu, Google Sheets sẽ hiển thị ngay các ô tiêu chuẩn và hiển thị các biểu đồ đường nhỏ (sparklines) trực quan, có mã màu ngay bên trong các ô dữ liệu!

Bạn có thể rút ra kết luận gì từ những gì bạn thấy? Một kết luận rõ ràng trong ví dụ này là mối tương quan giữa điểm số và độ trễ (thời gian một tác nhân mất bao lâu để trả lời một câu hỏi) có thể không quá chặt chẽ. Nhưng nếu bạn muốn tìm hiểu sâu hơn thì sao?

Chà, vì đây là bảng tính, bạn hoàn toàn có thể tạo bảng tổng hợp (pivot tables), các hàm tùy chỉnh hoặc sắp xếp trên nhiều khóa... bạn biết đấy, toàn bộ "bí kíp" của kế toán. Tuy nhiên, giả sử bạn muốn có các chế độ xem tùy chỉnh về dữ liệu thay vì thay đổi vĩnh viễn dữ liệu đó. Bạn sẽ làm thế nào?

Google Sheets, không giống như inspect view và bản đồ nhiệt inspect viz, cho phép bạn sắp xếp VÀ lọc động trên nhiều hơn một khóa. Không chỉ vậy, bạn có thể sắp xếp trên BẤT KỲ khóa nào, vì vậy tôi đã chọn làm điều đó với các trường điểm số và độ trễ vốn trước đây không có sẵn. Như hình trên, hãy sử dụng Dữ liệu > Tạo chế độ xem bộ lọc, thao tác này sẽ cung cấp cho bạn một bộ điều khiển mới ở phía trên các cột chính.

Lưu ý: Chế độ xem bộ lọc không làm thay đổi hoặc sửa đổi nội dung cơ bản của trang tính; thay vào đó, chúng là các cấu hình (có thể đặt tên và chia sẻ) để hạn chế những hàng nào được hiển thị và theo thứ tự nào.

Nếu như trong hình, bạn nhấp vào cột chi phí > Lọc theo điều kiện, chọn tùy chọn Nhỏ hơn và điền giá trị so sánh là 0.01, bạn có thể thu hẹp các hàng hiển thị chỉ còn những hàng có chi phí dưới một xu. Điều này có thể được sử dụng (ví dụ) để chỉ xem xét các mẫu có "chi phí thấp hơn" nhằm phân tích lý do tại sao.

Chế độ xem bộ lọc (bất chấp tên gọi của chúng) cũng cho phép bạn sắp xếp hiển thị dữ liệu. Vì các thao tác sắp xếp mang tính tích lũy, bộ lọc "chính" cần được áp dụng cuối cùng. Do đó, sau khi sắp xếp chế độ xem bộ lọc trước theo độ trễ và sau đó theo điểm số (cả hai đều 'Z đến A' hay còn gọi là giảm dần), chúng ta có kết quả sau:

Bạn có thể tùy chọn đặt tên và lưu chế độ xem bộ lọc này để bật/tắt cũng như chia sẻ với những người cộng tác khác. Để tìm hiểu thêm về Chế độ xem bộ lọc, bạn có thể đọc phần Sắp xếp & lọc dữ liệu của bạn.

Khả năng sắp xếp và lọc hiển thị trực tiếp mà không làm thay đổi thông tin cơ bản giúp việc trình bày dữ liệu và phân tích trong các cuộc thảo luận với đồng nghiệp trở nên dễ dàng và nhanh chóng hơn đáng kể.

Tại sao phải rời khỏi "cái nôi"?

Tuy nhiên, bất chấp sự linh hoạt to lớn này, bảng tính vẫn có một số nhược điểm như là công cụ trực quan hóa:

Vậy làm thế nào để chúng ta đưa điều này lên một tầm cao mới và vượt qua những vấn đề đó? Còn về một môi trường, nơi vẫn cung cấp cho bạn khả năng viết kịch bản tùy chỉnh cho bất cứ thứ gì bạn cần, đi kèm với rất nhiều hình ảnh trực quan và biểu đồ có thể điều khiển theo kiểu WYSIWYG, cho phép bạn làm cho dữ liệu trở nên sống động hơn mà không cần mã nguồn? Tốt hơn nữa, nếu môi trường đó đi kèm với các hình ảnh trực quan tích hợp cho 3 chiều trở lên và có khả năng tương thích rộng rãi với nhiều loại nguồn dữ liệu thì sao?

Trong Phần 4, chúng ta sẽ kết nối Google Sheet này trực tiếp với Data Studio để xây dựng một bảng điều khiển tóm tắt dành cho điều hành mà không cần mã nguồn, đồng thời có thể hiển thị các phát hiện của chúng ta một cách nhanh chóng và trực quan!