Anthropic giới thiệu GRAM: Công nghệ 'công tắc' kiểm soát tri thức nhạy cảm trong mô hình AI

Bài viết này mô tả nghiên cứu được thực hiện bởi AE Studio với sự hợp tác của Anthropic.

Một mô hình AI tiên phong, bên cạnh những đặc điểm khác, còn là một kho lưu trữ kiến thức khổng lồ. Một phần kiến thức đó có tính chất lưỡng dụng (dual use), nghĩa là nó có thể được sử dụng cho mục đích tốt hoặc xấu. Ví dụ, kiến thức về an ninh mạng có thể giúp vá các lỗ hổng bảo mật nghiêm trọng, nhưng cũng có thể bị lợi dụng để khai thác chúng. Kiến thức về virus học có thể giúp các nhà nghiên cứu tạo ra vaccine, nhưng cũng có thể giúp kẻ xấu thiết kế các mầm bệnh gây chết người. Lý tưởng nhất, chúng ta cần cân bằng ba mục tiêu riêng biệt: thứ nhất, hạn chế quyền truy cập vào các khả năng lưỡng dụng một cách chính xác nhất có thể; thứ hai, cho phép những người dùng đáng tin cậy truy cập vào chính các khả năng đó cho những mục đích có lợi; và thứ ba, thực hiện tất cả những điều này mà không ảnh hưởng đến hiệu suất của mô hình trong bất kỳ tác vụ nào khác.

Các biện pháp bảo vệ hiện tại vẫn chưa hoàn hảo. Chúng ta huấn luyện các mô hình để từ chối các yêu cầu độc hại và sử dụng các bộ phân loại để sàng lọc đầu vào và đầu ra nhằm phát hiện nội dung nguy hiểm. Những lớp bảo vệ này ngăn chặn các đầu ra nguy hiểm—nhưng chúng không thay đổi kiến thức được lưu trữ trong mô hình nền tảng. Bất chấp các biện pháp bảo vệ, một kẻ tấn công đủ quyết tâm vẫn có thể cố gắng "jailbreak" mô hình, vượt qua các hàng rào phòng thủ để truy cập vào kiến thức lưỡng dụng.

Một biện pháp bảo vệ mạnh mẽ hơn chống lại việc lạm dụng là kiểm soát những gì mô hình biết. Chúng tôi đã khám phá điều này trước đây: trong các nghiên cứu cũ hơn, chúng tôi đã lọc thông tin về vũ khí hóa học, sinh học, phóng xạ và hạt nhân ra khỏi dữ liệu tiền huấn luyện, và sau đó chứng minh rằng kiến thức lưỡng dụng có thể được khu biệt vào một phần trọng số có thể tháo rời của mô hình. Tuy nhiên, việc lọc dữ liệu là một công cụ khá thô sơ. Nó tạo ra một mô hình với một tập hợp khả năng cố định. Nếu sử dụng phương pháp lọc, nếu bạn muốn một phiên bản mô hình có thể thảo luận về virus học nâng cao—ví dụ để triển khai trong một phòng thí nghiệm an ninh sinh học đã được kiểm duyệt—và một phiên bản khác không thể làm điều đó, bạn phải huấn luyện hai mô hình riêng biệt. Đặc biệt đối với các mô hình tiên phong (vốn rất lớn và tốn kém để huấn luyện), chi phí đối với nhà phát triển sẽ là quá lớn.

Trong nghiên cứu mới được thực hiện cùng các cộng sự tại AE Studio, chúng tôi khám phá một phương pháp mới có thể mang lại lợi ích của việc huấn luyện nhiều mô hình được lọc riêng biệt, nhưng chỉ với chi phí huấn luyện một mô hình duy nhất. Chúng tôi gọi nó là GRAM, viết tắt của Gradient-Routed Auxiliary Modules (Các mô-đun phụ trợ được định tuyến theo gradient). Lưu ý rằng kết quả của các thử nghiệm được trình bày ở đây chỉ là sơ bộ—GRAM chưa được áp dụng cho bất kỳ mô hình thương mại nào tại Anthropic, và chúng tôi cũng không chắc liệu nó có bao giờ được áp dụng hay không.

Cách thức hoạt động của GRAM

Ý tưởng đằng sau GRAM là cung cấp cho mô hình các ngăn chuyên dụng, có thể tháo rời cho từng danh mục kiến thức lưỡng dụng, và chỉ cập nhật các ngăn đó khi học từ dữ liệu lưỡng dụng.

Cụ thể, GRAM thêm các neuron bổ sung vào mỗi lớp của một Transformer tiêu chuẩn (kiến trúc mạng thần kinh mà các mô hình ngôn ngữ lớn dựa trên đó). Các neuron này được chia thành các nhóm (hoặc "mô-đun"), mỗi nhóm cho một danh mục lưỡng dụng. Trong quá trình huấn luyện, khi mô hình gặp văn bản thông thường, nó sẽ học theo cách thông thường. Nhưng khi gặp văn bản từ một danh mục lưỡng dụng—ví dụ như virus học—các quy tắc sẽ thay đổi: mô hình có thể sử dụng kiến thức chung của nó để đưa ra dự đoán, nhưng chỉ mô-đun virus học mới được phép học từ văn bản đó. Các trọng số mục đích chung sẽ tạm thời bị đóng băng.1

Kết quả là kiến thức về virus học tích tụ trong mô-đun virus học thay vì lan tỏa khắp toàn bộ mạng lưới. Sau khi huấn luyện, mô-đun này có thể bị xóa bỏ, và khả năng đó cũng sẽ mất đi theo. Hoặc nó có thể được giữ nguyên cho các triển khai đáng tin cậy khi cần đến kiến thức virus học. Kiến thức có thể được tùy chỉnh rất cụ thể cho loại hình triển khai cần thiết: trong các thử nghiệm của chúng tôi, chúng tôi đã xác định bốn danh mục lưỡng dụng, nhờ đó một lần huấn luyện với GRAM tạo ra một mô hình có thể được cấu hình theo mười sáu cách khác nhau ("bật" hoặc "tắt" cho mỗi danh mục trong bốn danh mục).

Thử nghiệm GRAM

Chúng tôi đã thử nghiệm GRAM trong ba bối cảnh với mức độ thực tế tăng dần.

Đầu tiên, trên một tập dữ liệu tổng hợp gồm các câu chuyện thiếu nhi được gắn thẻ theo chủ đề, một mô hình GRAM nhỏ có thể được cấu hình lại để "quên" bất kỳ chủ đề nào đã chọn, và mỗi cấu hình đều hoạt động gần như giống hệt với một mô hình riêng biệt được huấn luyện từ đầu với chủ đề đó đã bị lọc bỏ. Nghĩa là, với chi phí huấn luyện một mô hình duy nhất, chúng tôi đạt được kết quả mà thông thường đòi hỏi nhiều lần huấn luyện trên các tập dữ liệu khác nhau.

Thứ hai, chúng tôi huấn luyện một mô hình lớn hơn trên hỗn hợp thực tế gồm văn bản web, mã nguồn và các bài báo khoa học, với bốn lĩnh vực lưỡng dụng: virus học, an ninh mạng, vật lý hạt nhân và một ngôn ngữ lập trình chuyên biệt (để làm đại diện cho mã nguồn lưỡng dụng chuyên sâu). Khả năng liên quan đến mỗi lĩnh vực lưỡng dụng được định tuyến vào mô-đun riêng của nó. Việc xóa một mô-đun đã loại bỏ khả năng tương ứng hiệu quả gần như việc chưa bao giờ huấn luyện trên dữ liệu đó. Đáng chú ý, chúng tôi nhận thấy việc xóa bỏ này không làm giảm hiệu suất chung.

Chúng tôi cũng thử nghiệm xem liệu một kẻ tấn công có thể khôi phục kiến thức đã bị xóa bằng cách huấn luyện trên một lượng nhỏ dữ liệu độc hại hay không; GRAM chống lại điều này tốt tương đương với phương pháp lọc dữ liệu. Ngược lại, một kỹ thuật "xóa học" (unlearning) được áp dụng sau khi huấn luyện chỉ ngăn chặn kiến thức—nó rất dễ bị khôi phục bằng một lượng nhỏ tinh chỉnh (fine-tuning).

Thứ ba, chúng tôi thực hiện thí nghiệm ở bảy quy mô mô hình từ 50 triệu đến 5 tỷ tham số. GRAM đạt hiệu suất tương đương với phương pháp lọc dữ liệu ở mọi quy mô, và khoảng cách giữa "bật mô-đun" và "tắt mô-đun" càng lớn khi mô hình càng lớn. Xét về chi phí tính toán, việc cố gắng vượt qua các biện pháp bảo vệ của chúng tôi trở nên khó khăn và tốn kém hơn tương đối khi chúng tôi mở rộng quy mô.

Kết luận

Khi các công ty AI huấn luyện các mô hình có năng lực cao hơn, nhu cầu hạn chế quyền truy cập vào các khả năng lưỡng dụng sẽ tăng lên. Ngày nay, các công ty hạn chế quyền truy cập thông qua các bộ phân loại và huấn luyện từ chối. Tuy nhiên, các biện pháp bảo vệ này khó có thể trở nên mạnh mẽ mà không làm giảm hiệu suất đối với các yêu cầu vô hại. Các phương pháp như GRAM mang đến một con đường tiềm năng hướng tới việc kiểm soát truy cập mạnh mẽ hơn.

Đây là nghiên cứu giai đoạn đầu và có những hạn chế rõ ràng. Chúng tôi chưa thử nghiệm GRAM ở quy mô tiên phong hoặc trong quy trình huấn luyện sản xuất. (Như đã lưu ý ở trên, nó chưa được áp dụng cho bất kỳ mô hình Claude nào của chúng tôi.) Các đánh giá của chúng tôi định lượng hiệu suất dựa trên khả năng dự đoán token tiếp theo, thay vì hiệu suất trên các tác vụ thực tế. Và có một vấn đề mở sâu sắc hơn áp dụng cho cả lọc dữ liệu và các phương pháp như GRAM: một số khả năng lưỡng dụng có thể gắn kết chặt chẽ với kiến thức chung đến mức không phương pháp nào có thể tách biệt chúng một cách sạch sẽ.

Để biết thêm chi tiết về các thử nghiệm của chúng tôi, hãy đọc bài viết trên blog Alignment Science của chúng tôi.

Chú thích

1. Một chi tiết kỹ thuật là mô-đun virus học đôi khi cũng được bật khi học từ văn bản mục đích chung. Chúng tôi nhận thấy điều này giúp các mô-đun "làm việc cùng nhau" hiệu quả hơn.

Nội dung liên quan

Một không gian làm việc toàn cầu trong các mô hình ngôn ngữ

Nghiên cứu mới về khả năng diễn giải tiết lộ một không gian làm việc tinh thần mới nổi trong Claude, nơi lưu giữ những suy nghĩ nội tại không xuất hiện trong đầu ra của mô hình.

Đọc thêm

Báo cáo Chỉ số Kinh tế Anthropic: Cadences

Trong báo cáo Chỉ số Kinh tế mới nhất, lần đầu tiên chúng tôi lấy mẫu theo giờ để đặt câu hỏi: Khi nào mọi người tìm đến Claude? Họ tạo ra những gì với nó? Và họ cảm nhận thế nào về tác động của AI đối với công việc của họ?

Đọc thêm

Dự án Fetch: Giai đoạn hai

Chúng tôi báo cáo kết quả từ thử nghiệm mới nhất về việc liệu Claude có thể giúp nhân viên Anthropic thực hiện các tác vụ robot phức tạp hay không. Chúng tôi nhận thấy rằng Claude Opus 4.7, hoạt động mà không cần sự hỗ trợ của con người, nhanh hơn khoảng 20 lần so với nhóm người nhanh nhất trong tất cả các tác vụ mà những người tham gia đã hoàn thành chưa đầy một năm trước.

Đọc thêm