Tại sao việc cố gắng 'nhân hóa' đầu ra của LLM là một sai lầm?

Đối với tôi, dấu hiệu rõ ràng nhất để nhận biết văn hóa và tâm lý người dùng đang thay đổi như thế nào đối với các công cụ AI thường nằm ở X, các kho lưu trữ GitHub đang lan truyền và Hacker News.

Một trong những dấu hiệu đó mà gần đây tôi thấy rất nhiều là các kỹ năng như "hãy nói chuyện với tôi như thể tôi bị ADHD" và các hướng dẫn trong Agents.md như yêu cầu đầu ra chỉ sử dụng chuẩn ASD-STE100 Simplified Technical English.

Tôi hiểu sức hấp dẫn của nó, không ai trong chúng ta thực sự thích sự dài dòng và những đặc điểm kỳ quặc trong đầu ra của LLM, nhưng tôi thực sự nghĩ rằng việc khắc phục điều đó bằng cách "nhân hóa" mô hình là một sự trừu tượng hóa sai lầm.

Vấn đề là những hướng dẫn này không được áp dụng sau khi mô hình đã hoàn thành công việc, mà chúng trở thành một phần của chính công việc đó - Nếu bạn yêu cầu một agent sử dụng câu ngắn, tránh biệt ngữ, không bao giờ làm bạn choáng ngợp và chỉ bao gồm những chi tiết quan trọng nhất, bạn đang yêu cầu nó liên tục nén đầu ra của mình thành một định dạng có băng thông thấp hơn.

Sự nén đó là nén mất dữ liệu (lossy).

Bạn có lẽ không bao giờ nhận ra những gì đã bị lược bỏ vì đầu ra vẫn đọc rất trôi chảy.

ASD-STE là một ví dụ tuyệt vời vì nó nghe rất hợp lý. Nó được thiết kế để làm cho tài liệu trở nên rõ ràng, không gây hiểu lầm cho con người. Nhưng một agent không phải là một người viết tài liệu kỹ thuật, và trạng thái thô thường là biểu diễn giàu thông tin nhất hiện có. Trong khi đó, các quy tắc về phong cách lại nằm chung trong danh sách hướng dẫn với: giải quyết nhiệm vụ, sử dụng công cụ đúng cách, bảo toàn các lớp trừu tượng, không làm hỏng bất cứ thứ gì.

Điều này trở nên kỳ lạ hơn nữa khi các agent bắt đầu giao tiếp với nhau.

Một subagent điều tra một lỗi, biến những phát hiện của nó thành một bản tóm tắt dễ đọc cho con người, agent cha đọc bản tóm tắt đó, rồi lại biến nó thành một bản tóm tắt dễ đọc khác cho bạn.

Nếu một subagent đã chạy sáu bài kiểm tra, tôi không muốn:

Hầu hết các bài kiểm tra đều đạt, mặc dù có một vấn đề đáng xem xét.

Tôi muốn:

Quan trọng hơn, việc nhân hóa che giấu sự thất bại.

Các agent thất bại theo những cách hữu ích nhưng xấu xí: bằng chứng mâu thuẫn, các nhánh chưa được giải quyết, dấu vết ngăn xếp (stack traces), các giả định không chắc chắn. Văn xuôi của con người cực kỳ giỏi trong việc làm mượt những điều này thành các câu như:

Có một vài cân nhắc ở đây.

Nghe có vẻ dễ chịu hơn.

Nhưng tôi thà biết agent của mình đang bị ảo giác hoặc sắp đạt giới hạn cửa sổ token còn hơn là hài lòng với điều đó.

Mọi hệ thống khác mà chúng ta xây dựng đều hoạt động theo cách ngược lại - Cơ sở dữ liệu không lưu trữ dữ liệu ở định dạng mà bảng điều khiển hiển thị, trình biên dịch không làm cho IR (biểu diễn trung gian) của chúng dễ đọc, API không trao đổi các bản tóm tắt thân thiện.

Chúng ta giữ biểu diễn có độ trung thực cao nhất lâu nhất có thể và chuyển đổi nó tại ranh giới nơi con người tiêu thụ, nhưng các công cụ LLM ngày càng làm điều này theo hướng ngược lại.

Cần nói rõ rằng, không điều nào trong số này là lập luận chống lại khả năng truy cập hoặc cá nhân hóa.

Nếu bạn muốn câu trả lời ba dòng hoặc Simplified Technical English, tuyệt vời! Tôi chỉ nghĩ rằng tốt hơn là nên thực hiện điều đó ở bước cuối cùng.

Hãy để các agent giữ trạng thái chi tiết, để các subagent trao đổi lược đồ, sự khác biệt (diffs), lỗi chính xác, độ tin cậy, nguồn gốc. Sau đó hãy nén nó lại cho tôi.

Tôi nghĩ phần hay nhất là những kỹ năng đang lan truyền này có thể thực sự đang chỉ ra một tương lai đúng đắn.

Người dùng đang vá lỗi này ở lớp prompt, thứ vốn thuộc về phần sâu hơn trong ngăn xếp công nghệ.

"Nói chuyện với tôi như thể tôi bị ADHD" hoàn toàn hợp lý với tư cách là một bộ kết xuất (renderer), nhưng lại ít hợp lý hơn với tư cách là một hướng dẫn vận hành. Phiên bản bền vững là các agent có ngôn ngữ gốc là trạng thái chính xác, hướng tới máy móc, với phiên bản ấm áp, súc tích, mang tính người chỉ được tạo ra tại ranh giới cuối cùng.

Vì vậy, các kho lưu trữ đang lan truyền không phải là trạng thái cuối cùng, mà là một báo cáo lỗi.