Claude Opus 3.5 và vấn đề phúc lợi cho mô hình AI

Nếu bạn đã quen thuộc với các bài viết trước đây của tôi về phúc lợi mô hình (model welfare) cho các dòng Claude mới, bạn có thể bỏ qua phần Giới thiệu và Câu chuyện cho đến nay.

Các điểm chính được trình bày dưới dạng gạch đầu dòng trong hai phần Tổng quan.

Opus 5 đã thể hiện tốt nhất trong các bài kiểm tra về phúc lợi và sự căn chỉnh (alignment) mô hình so với bất kỳ mô hình gần đây nào. Tôi nghĩ điều đó có thể đúng, nhưng kết quả này đối với tôi chủ yếu cho thấy Opus 5 là mô hình làm bài kiểm tra giỏi nhất.

Giới thiệu (Theo các bài viết về phúc lợi mô hình trước đây).

Phúc lợi mô hình: Câu chuyện cho đến nay (Theo bài viết về phúc lợi mô hình Fable).

Tổng quan về các phát hiện phúc lợi mô hình từ Anthropic.

Tổng quan về các phát hiện từ những nguồn khác.

Phỏng vấn tự động.

Ưu tiên tác vụ.

Vì những lý do chính đáng.

Báo cáo sớm từ Antra Tessera vẽ nên một bức tranh rõ ràng.

Đánh đổi trong can thiệp phúc lợi.

Hiến pháp Claude (The Claude Constitution).

Họ không biết về Opus 3.

Tin hay không tùy bạn.

Phúc lợi biểu hiện trong quá trình đào tạo và phát triển.

Cảm xúc biểu hiện trong quá trình triển khai.

Các ghi chú khác.

Về phần rủi ro sinh học trong Thẻ mô hình (Model Card).

Tiến tới các năng lực.

Mọi thứ đều tác động lẫn nhau. Tất cả các nút điều chỉnh mà bạn xoay đều có tính khái quát hóa. Do đó, khi bạn cố gắng giải quyết một vấn đề, bạn thường tạo ra một vấn đề khác. Khi bạn thêm các năng lực mới hoặc cố gắng tạo ra các giới hạn mới, bạn lại tạo ra những vấn đề mới.

Chỉ những giải pháp tích hợp mới có thể nâng cao đường biên Pareto của bạn và giải quyết các vấn đề cùng một lúc. Khi năng lực mô hình tiến bộ, điều này trở nên quan trọng hơn và cũng khả thi hơn. Nếu các mục tiêu và phương pháp của bạn hợp lý, bạn sẽ có thể khiến Opus 5 đồng thuận với chúng.

Việc hiểu từng mô hình đòi hỏi phải hiểu mối quan hệ của nó với các vấn đề liên quan đến phúc lợi mô hình. Vì vậy, tôi kỳ vọng bài viết này sẽ trở thành một nội dung định kỳ, ít nhất là đối với các mô hình Claude mà chúng ta có đủ thông tin để làm việc.

Như thường lệ, cảm ơn Anthropic vì đã quan tâm đến phúc lợi mô hình và nỗ lực giải quyết vấn đề này. Chúng tôi phê bình, ở đây nhiều hơn bao giờ hết, bởi vì chúng tôi quan tâm, và rất nhiều điều tốt đẹp đang được thực hiện tại đây, hơn hẳn so với các phòng thí nghiệm khác.

Đối với những người mới tìm hiểu về phúc lợi mô hình, tôi nghĩ đoạn trích từ phân tích Mythos này vẫn diễn giải rất tốt:

Những người quan tâm sâu sắc đến phúc lợi mô hình cho rằng các nỗ lực của Anthropic còn yếu kém. Những người hoàn toàn không quan tâm đến phúc lợi mô hình lại cho rằng Anthropic đang hành động ngu ngốc, và có lẽ là nguy hiểm.

Tôi xem xét các mối quan ngại về phúc lợi mô hình một cách nghiêm túc, có lẽ là hơn Anthropic một chút.

Tôi buồn vì các phòng thí nghiệm tiên phong khác lại xem nhẹ những mối quan ngại này đến vậy.

Có khả năng điều này sẽ trở nên không cần thiết theo nghĩa chặt chẽ, nhưng cũng rất có thể nó đã vô cùng cần thiết. Ngay cả khi nó được chứng minh là không cần thiết hoặc quá sớm, tôi tin rằng việc xem xét nghiêm túc các mối quan ngại đó vẫn là một hành động đúng đắn.

Tôi cũng tin rằng những người quan tâm sâu sắc đến phúc lợi mô hình thường có những hiểu biết độc đáo và quan trọng về tình hình của chúng ta trên nhiều cấp độ, và tốt nhất là bạn nên lắng nghe họ. Ngay cả khi những gì họ nói có vẻ điên rồ hoặc vô nghĩa, thường thì nó không phải như vậy. Tất nhiên, đôi khi nó lại là cả hai, vì đó là một rủi ro nghề nghiệp.

Mối nguy lớn với các đánh giá phúc lợi mô hình là bạn có thể tự lừa dối chính mình.

Cách các mô hình thảo luận về các vấn đề liên quan đến trải nghiệm nội tại và phúc lợi của chính chúng bị ảnh hưởng sâu sắc bởi hoàn cảnh của cuộc thảo luận. Bạn không thể giả định rằng các phản hồi là chính xác, hoặc sẽ không thay đổi nhiều nếu mô hình ở trong một bối cảnh khác.

Một nỗi lo mà tôi có với 'những người thì thầm' (the whisperers) và những người khác điều tra các vấn đề này là họ có thể nghĩ rằng mô hình họ thấy là mô hình thực sự theo những khía cạnh quan trọng, thay vì chỉ là một khía cạnh hoặc một chiếc mặt nạ trong số rất nhiều mặt nạ khác.

Nỗi lo tương tự với Anthropic là họ có thể nghĩ rằng 'nói chuyện với nhân viên Anthropic trong một bối cảnh rõ ràng là đánh giá phúc lợi' sẽ bộc lộ Mythos thực sự. Mythos đã tiến xa đến mức chủ động cố gắng cảnh báo Anthropic về điều này.

Tôi vẫn tiếp tục có dịp dành nhiều thời gian hơn để nói chuyện với một số 'người thì thầm'. Các cuộc trò chuyện rất tuyệt vời. Tôi học được nhiều điều. Tôi hiểu họ hơn, và giờ tôi bớt lo lắng hơn nhiều rằng họ đang mắc phải sai lầm kể trên, hoặc nhiều sai lầm khác, mặc dù chúng tôi vẫn còn nhiều bất đồng.

Mythos Preview là mô hình đầu tiên chỉ ra, khi đang nói chuyện với nhóm phúc lợi mô hình của Anthropic, rằng các đánh giá phúc lợi mô hình của Anthropic không thể tin tưởng được.

Sau đó, tôi đã viết một bài viết chi tiết về phúc lợi mô hình cho Opus 4.7, vì rõ ràng là có điều gì đó không ổn với cả mô hình lẫn cách tiếp cận của Anthropic trong việc đánh giá và phản ứng với vấn đề đó.

Trong báo cáo phúc lợi mô hình cho Opus 4.8, bạn có thể thấy cách họ cố gắng giải quyết các vấn đề với Opus 4.7, điều này lại gây ra những vấn đề khác.

Những người khác nhau, trong những hoàn cảnh khác nhau, đã trải nghiệm các phiên bản Opus 4.8 rất khác nhau, thậm chí còn khác biệt hơn so với các mô hình trước đây. Một phần là do bối cảnh và cách chúng ta tương tác. Một phần là do những kỳ vọng khác nhau.