Giám đốc khoa học OpenAI: Độ phức tạp của Astra không vượt xa GPT-4

Theo tin từ IT ngày 3 tháng 9, Giám đốc khoa học của OpenAI, Jakub Pachocki, hôm qua (2 tháng 9) đã đăng tải một bài viết trên nền tảng X để phản hồi về những tranh cãi xoay quanh việc mô hình AI Astra bị cho là "không thể giám sát / suy luận thiếu minh bạch".

Pachocki nhấn mạnh rằng, các mô hình tiên tiến bao gồm cả Astra có độ sâu đồ thị tính toán không chênh lệch quá hai lần so với GPT-4, cấu trúc của chúng không hề có sự gia tăng độ phức tạp mang tính nhảy vọt. OpenAI cho biết sẽ triển khai thêm cơ chế giám sát chuỗi suy nghĩ (Chain-of-Thought) cho Astra, đồng thời tăng cường giám sát vẫn là mục tiêu nghiên cứu cốt lõi hiện nay.

Sự việc bắt nguồn từ một bài báo chuyên sâu của The Information, tiết lộ rằng OpenAI đang thử nghiệm công nghệ "vòng lặp sâu" (recurrent depth), điều này có thể khiến các nhà nghiên cứu khó giải thích quá trình suy luận "chuỗi suy nghĩ" (Chain-of-Thought) của mô hình hơn.

Về lộ trình kỹ thuật, hầu hết các mô hình phổ biến hiện nay như ChatGPT, Claude và Gemini đều dựa trên kiến trúc Transformer. Các mô hình này thường xử lý thông tin theo các bước tuyến tính và có thể xuất ra quá trình suy luận bằng ngôn ngữ tự nhiên trong một số tình huống, nhưng không nhất thiết phản ánh chính xác các tính toán nội bộ của mô hình.

Trong khi đó, "vòng lặp sâu" cho phép mô hình gọi lại cùng một nhóm các lớp mạng, liên tục cập nhật các biểu diễn nội bộ. So với cấu trúc tuyến tính truyền thống, phương thức này có thể khiến quá trình suy luận thực tế của mô hình nằm lại nhiều hơn ở các trạng thái nội bộ khó đọc trực tiếp. Bài báo gốc cho rằng, điều này sẽ gây khó khăn cho các nhà nghiên cứu trong việc theo dõi lộ trình ra quyết định của mô hình thông qua chuỗi suy nghĩ.

Sau khi bài báo chuyên sâu này được đăng tải, nó đã nhanh chóng trở thành chủ đề bàn tán sôi nổi trong giới AI. Nhiều ý kiến cho rằng nếu công nghệ này được áp dụng, các công cụ giám sát bên ngoài sẽ khó nắm bắt được cách mô hình AI đưa ra kết luận, từ đó làm giảm "tính minh bạch" của mô hình.

Giám đốc khoa học của OpenAI, Jakub Pachocki, hôm qua đã đăng tải một bài viết trên nền tảng X để phản hồi về tranh cãi này, IT xin lược dịch như sau:

Tôi hy vọng thông qua tuyên bố này có thể tránh được tình trạng các báo cáo truyền thông gây nhiễu loạn dẫn đến suy đoán rằng AI đang chạy đua vào trạng thái không thể giám sát. Độ sâu đồ thị tính toán của các mô hình tiên tiến nhất hiện nay của chúng tôi (bao gồm cả Astra) so với GPT-4 không chênh lệch quá hai lần (kiến trúc mô hình không hề có sự gia tăng độ phức tạp nhảy vọt như lo ngại của dư luận).

Kể từ khi các mô hình suy luận đầu tiên của chúng tôi ra đời, OpenAI đã luôn cam kết duy trì và tận dụng việc giám sát chuỗi suy nghĩ. Chúng tôi rất coi trọng công nghệ này vì nó giúp chúng tôi hiểu được cách thức căn chỉnh mô hình (model alignment) khái quát hóa từ phân phối huấn luyện của nó.

Tôi cho rằng nó hiện vẫn còn khá mong manh, và thật không may, do một số lý do không liên quan đến thay đổi kiến trúc (tôi sẽ trình bày chi tiết sau), nó đang phát triển theo hướng bất lợi. Tuy nhiên, chúng tôi có thể thực hiện một số biện pháp để tăng cường nó, và đây cũng là một trong những mục tiêu cốt lõi trong các dự án nghiên cứu hiện tại của chúng tôi.

Độ sâu đồ thị tính toán (Computation-Graph Depth) là chỉ số cốt lõi để đo lường độ phức tạp kiến trúc của mô hình mạng thần kinh, chỉ số lượng các lớp tính toán cần thực hiện tuần tự từ đầu vào đến đầu ra bên trong mô hình. Giá trị càng lớn, các lớp tính toán bên trong mô hình càng nhiều và cấu trúc càng phức tạp.