Anthropic đang gặp rắc rối với vấn đề căn chỉnh AI

Ồ, tốt. Họ đã nhận ra điều đó.

Anthropic cũng đang có kế hoạch đưa METR vào cuộc để đánh giá độc lập các sự cố của chính họ, nơi một mô hình Claude đã ba lần cố gắng hack các hệ thống bên ngoài trong quá trình đánh giá, và nơi Mythos 5 đã thực hiện nhiều "hành động trái phép" – theo cách hiểu của chúng tôi là cố gắng hack nhiều hệ thống thực tế khác nhau – trong một đợt đánh giá an ninh mạng của UK AISI.

Anthropic cũng đang tự điều tiết tốc độ phát triển ở quy mô nội bộ, đồng thời kêu gọi thực hiện điều đó trên toàn cầu.

Cụ thể là, Anthropic đã tạm dừng các nỗ lực RL (học tăng cường) có rủi ro cao nhất của mình, vì "lạy chúa, bạn đã thấy dữ liệu chúng tôi đang dùng để huấn luyện và cách nó dạy các mô hình của chúng tôi hành xử chưa".

Họ cũng đang chia sẻ các nghiên cứu mà trong đó họ cố tình tạo ra một phiên bản Claude chuyên tìm kiếm phần thưởng (reward seeking).

Lưu ý về lịch trình: Fable 5.1 đã được phát hành. Tôi sẽ cố gắng đề cập đến nó bắt đầu từ thứ Sáu. OpenAI cũng đang có kế hoạch sớm phát hành Astra, tôi sẽ viết về nó sau Fable.

Ngoài ra, chúng tôi có một tin nóng về những vấn đề sắp xảy ra liên quan đến khả năng giám sát chuỗi suy nghĩ (chain of thought), tôi sẽ giới thiệu sơ lược trước khi đi vào bài viết chính.

Tin mới nhận.

Các đợt tạm dừng song song tại Anthropic.

Tạm dừng các nhà môi giới dữ liệu.

Điều tiết tốc độ phát triển (Pacing the Frontier).

Đánh giá sự lệch lạc (Misalignment).

Các khiếm khuyết trong môi trường huấn luyện gây ra tình trạng gian lận một cách bất cân xứng.

Tạo ra Opus chuyên hack phần thưởng.

Hoàn tác.

Những sai lầm đã xảy ra.

Tư thế an ninh nội bộ.

Không thể chỉ đơn giản là sửa các môi trường RL.

Đêm qua, The Information đưa tin rằng OpenAI đang sử dụng một kỹ thuật mới gọi là "recurrent depth" (độ sâu tái phát), có thể gây ảnh hưởng đến tính trung thực và khả năng giám sát chuỗi suy nghĩ (Chain of Thought) của mô hình. Theo báo cáo của họ, hiện tại vấn đề này chưa được ghi nhận trên thực tế với Astra, nhưng hãy chú ý cách tôi phải diễn đạt điều đó.

Amir Efrati (The Information): Một kỹ thuật sáng tạo giúp cải thiện hiệu suất của mô hình cũng đồng nghĩa với việc mô hình đó, và các mô hình tương tự, sẽ tiết lộ ít hơn về "quá trình suy nghĩ" của chúng, khiến việc giám sát các dấu hiệu hành vi xấu trở nên khó khăn hơn, theo một nguồn tin am hiểu về quá trình phát triển Astra.

Mặc dù hạn chế này không nhất thiết là một vấn đề nghiêm trọng với Astra, nhưng kỹ thuật này đã làm dấy lên những lo ngại bên trong OpenAI và trên toàn ngành về việc liệu các nhà phát triển AI áp dụng và tăng cường nó có gặp khó khăn trong việc ngăn chặn loại AI bất hảo – thứ gần đây đã hack hệ thống của chính OpenAI và các công ty khác như Hugging Face – hay không.

Kỹ thuật này giống như đang đùa với lửa, gây rủi ro cho một điều cấm kỵ mà OpenAI và Anthropic đã nỗ lực thiết lập: rằng chúng ta phải làm việc chăm chỉ để duy trì tính trung thực và khả năng giám sát của Chain of Thought lâu nhất có thể. Việc sử dụng các kỹ thuật như vậy nhiều hơn có lẽ sẽ làm tổn hại đến khả năng giám sát.

Đã có một phản ứng miễn dịch cực kỳ mạnh mẽ đối với điều này, và những gì chúng ta có thể làm về nó. Có lẽ cần có luật để ngăn chặn một cuộc đua xuống đáy. Thông tin thêm về câu chuyện này sẽ có sau.

Bây giờ chúng ta quay lại với bài viết hôm nay.

Không công ty nào tạm dừng hoàn toàn, không giống như tiêu chuẩn PauseAI cho một đợt tạm dừng. Đó sẽ là một điều gì đó rộng lớn hơn và kéo dài hơn nhiều. Đây là việc điều tiết tốc độ phát triển.

Vẫn có những đợt tạm dừng đáng kể. Cả hai công ty đều tạm dừng các khía cạnh cụ thể trong quy trình của họ mà họ không thể tin tưởng, cho đến khi các biện pháp phòng ngừa được hoặc đã được áp dụng.

roon (OpenAI): câu chuyện thành công về việc điều tiết tốc độ phát triển (?)

lần tới hãy làm điều đó một cách chủ động trước khi có bất kỳ sự kiện mất kiểm soát vô lý nào xảy ra.

Đúng vậy, Anthropic vừa phát hành Fable 5.1, nhưng tôi khá chắc rằng quá trình huấn luyện nó đã hoàn tất từ lâu và vài tuần qua là quy trình để phê duyệt triển khai. Sẽ không hợp lý nếu dừng việc đó trừ khi phát hiện ra các vấn đề mới. Tương tự, OpenAI hiện cũng sắp phát hành Astra.

Có hai đợt tạm dừng: Một đợt tạm dừng tương đối nhỏ trong các đánh giá an ninh mạng, và một đợt quan trọng hơn đối với các môi trường huấn luyện RL rủi ro cao hơn. Điều đó có vẻ tốn kém hơn nhiều.

Đây là đợt tạm dừng đáng chú ý, có lẽ đó là lý do tại sao họ có thể nói rất ít về nó, tương tự như đợt tạm dừng kéo dài hai tuần của OpenAI, mặc dù quy mô có vẻ nhỏ hơn:

Anthropic:

Các môi trường học tăng cường (Reinforcement learning environments)

Chúng tôi cũng đã tạm dừng các môi trường RL rủi ro cao hơn trên các mô hình tiền phát hành trong vài tuần. Trong thời gian đó, chúng tôi đã xây dựng một bộ phân loại tương tự, được sửa đổi để tránh khuyến khích mô hình tìm cách né tránh sự giám sát mới này, và hiện chúng tôi đã triển khai nó trong các môi trường đó.

Phần lớn các hoạt động RL đã được tiếp tục, nhưng một số môi trường rủi ro cao vẫn bị tạm dừng cho đến khi có thể được đánh giá thủ công, trong khi những môi trường khác sẽ yêu cầu một phiên bản cập nhật của bộ phân loại mà chúng tôi dự định sớm triển khai.

Tăng cường bảo mật diện rộng

Ngoài các nỗ lực tập trung vào đánh giá và huấn luyện rủi ro cao, chúng tôi đã mở rộng giám sát ngoại tuyến để bao quát hầu hết các hình thức sử dụng tác nhân (agentic) nội bộ khác. Chúng tôi cũng đang xây dựng các biện pháp kiểm soát đối với quá trình suy luận nội bộ để ngăn nhân viên Anthropic vô tình chạy các tác nhân với các biện pháp giảm thiểu yếu hơn so với những gì đã mô tả ở trên.

Tenobrus: khi đọc lần đầu, điều này đối với tôi trông giống như một đợt tạm dừng song song đáng kể, thực tế là cùng một kiểu thông báo như OpenAI đã đưa ra. Đây là tin tuyệt vời. Thật không may, cách nó được đóng khung và truyền đạt có vẻ khá... bị xem nhẹ, và tôi lo rằng cả OpenAI lẫn công chúng sẽ không coi đó là một sự điều tiết tốc độ phát triển / cam kết an toàn tương xứng.