Anthropic công bố bộ chỉ số đo lường tiến độ AI tự phát triển AI

Các hệ thống AI đang trở nên mạnh mẽ hơn theo cấp số nhân và đã bắt đầu tự động hóa nhiều hơn quy trình tự xây dựng chính chúng. Khi thế giới cân nhắc việc làm chậm tốc độ phát triển AI tiên phong (frontier AI), công chúng cần thêm thông tin.

Trong bài viết này, chúng tôi đưa ra các công cụ đo lường có thể làm sáng tỏ ba khía cạnh quan trọng của quá trình phát triển AI:

Chúng tôi cũng cung cấp một cái nhìn tổng quan về các chỉ số này từ bên trong Anthropic. Cần lưu ý rằng chúng tôi dự đoán những con số này sẽ thay đổi nếu có sự phối hợp trong việc điều tiết tốc độ phát triển AI tiên phong, như lời kêu gọi của CEO Anthropic, Dario Amodei. Chúng tôi dự định đưa các đơn vị đánh giá độc lập từ nhiều tổ chức vào Anthropic và cấp cho họ quyền truy cập vào các quy trình, hệ thống và dữ liệu nội bộ tương đương với những gì các nhóm đánh giá rủi ro nội bộ có. Các bên thứ ba này sẽ xác minh các biện pháp an toàn, báo cáo sự cố và giám sát các chỉ số chính như những chỉ số trong bài viết này.

Chúng tôi công bố các phép đo này vì chúng mang lại cho công chúng, các bên thứ ba và chính phủ cái nhìn rõ ràng hơn về tốc độ phát triển AI bên trong các phòng thí nghiệm tiên phong. Đối với mỗi phép đo, chúng tôi mô tả những gì đã đo lường, kết quả đo lường cho thấy điều gì và cần những gì để công bố các phép đo này thường xuyên dưới hình thức mà người khác có thể xác minh. Chúng tôi chia sẻ chi tiết phương pháp luận trong phần Phụ lục.

Lý do để theo dõi các phép đo này

Các phép đo trong bài viết này tập trung vào cách các mô hình được xây dựng. Bằng cách hiểu rõ hơn về quy trình sản xuất mô hình, chúng tôi có cơ hội tốt hơn để tương quan giữa các đầu vào của mô hình (như tài nguyên tính toán) với các đầu ra của mô hình (như năng lực). Chúng bổ sung cho các đánh giá năng lực, vốn đo lường những gì mô hình có thể làm. Chúng tôi công bố các đánh giá đó một cách riêng biệt thông qua các báo cáo rủi ro theo Chính sách Mở rộng Quy mô Có trách nhiệm (RSP) của chúng tôi, bao gồm bằng chứng về việc các mô hình của chúng tôi đang thúc đẩy R&D AI nhanh đến mức nào. Trong đề xuất chính sách về AI tiên tiến của mình, Khung AI Tiên tiến (AAIF), chúng tôi đề xuất các quy tắc chung cho cách bất kỳ phòng thí nghiệm nào phát hành các mô hình an toàn, bao gồm các nghĩa vụ minh bạch mà chính phủ có thể yêu cầu, chẳng hạn như báo cáo rủi ro. Tổng hợp lại, các phép đo và chính sách được đề xuất này là điểm khởi đầu để giám sát tốc độ phát triển AI từ bên ngoài các phòng thí nghiệm.

(1) Đo lường R&D AI do AI dẫn dắt

Tại sao phải đo lường R&D do AI dẫn dắt? Các phòng thí nghiệm AI tiên phong ngày càng sử dụng AI để xây dựng các mô hình AI trong tương lai. Quy trình này cho phép các phòng thí nghiệm ở các quốc gia dân chủ phát triển các mô hình có năng lực cao hơn nhanh chóng hơn, đồng thời thực hiện nhiều biện pháp an toàn và thử nghiệm trên các mô hình trước khi phát hành để đảm bảo lợi ích của AI trong khi vẫn duy trì vị thế tiên phong. Tuy nhiên, việc các mô hình tự thúc đẩy sự phát triển của chính chúng có thể khiến con người khó hiểu hoặc kiểm soát các hệ thống này hơn. Do đó, việc chia sẻ các chỉ số này là rất quan trọng để hiểu thế giới đang tiến gần đến mức nào tới khả năng tự cải thiện đệ quy (một mô hình tự chủ hoàn toàn trong việc xây dựng phiên bản kế nhiệm của nó).

Những gì chúng tôi đã đo lường. Chúng tôi đã xây dựng một chỉ số nguyên mẫu về mức độ nghiên cứu và phát triển (R&D) AI của Anthropic được thực hiện bởi Claude, gọi là Chỉ số Tự động hóa R&D Anthropic. Chỉ số này được xây dựng bằng cách lập danh mục mọi loại công việc R&D AI được thực hiện tại công ty, đánh giá mức độ tự động hóa của từng tác vụ hiện tại và tổng hợp các đánh giá đó.

Kết quả thu được. Để đo lường mức độ AI đang thực hiện R&D AI tại Anthropic, chúng tôi sử dụng thang đo mức độ tự động hóa do Epoch AI phát triển, đo lường “Mức độ Tự động hóa” (Automation Level - AL). Thang đo chạy từ AL0 (không có sự tham gia của AI) đến AL5 (AI vận hành hoàn toàn tự chủ, không có sự can thiệp của con người). Ở mức AL3, AI “cộng tác”: nó có thể thực hiện các phần việc lớn dưới sự chỉ đạo chặt chẽ của con người. Ở mức AL4, AI “dẫn dắt”: nó có thể hoàn thành hầu hết tác vụ từ đầu đến cuối dựa trên một yêu cầu (prompt) cấp cao, trong khi con người giám sát.

Tính đến tháng 8 năm 2026,

Những gì bất kỳ nhà phát triển AI nào cũng có thể báo cáo ngay hôm nay. Bất kỳ nhà phát triển tiên phong nào cũng có thể công bố các phép đo này thường xuyên, sử dụng một phương pháp luận công khai. Điều này sẽ cho phép so sánh các con số theo thời gian và có khả năng là giữa các phòng thí nghiệm với nhau.

Có hai trở ngại đối với việc so sánh giữa các phòng thí nghiệm về loại báo cáo này. Thứ nhất là thiếu một phương pháp luận chung. Thứ hai, chúng tôi đang sử dụng chính các mô hình của mình để đánh giá hệ thống của mình, điều này có nghĩa là mô hình “giám khảo” có thể mắc phải những lỗi tương tự như mô hình mà nó đang kiểm tra. Để giải quyết những thách thức này, các phép đo của nhà phát triển có thể được xác minh bởi bên thứ ba hoặc bởi các mô hình của nhà phát triển khác, với các rào cản kỹ thuật (guardrails) được thiết lập để hạn chế việc trao đổi dữ liệu nhạy cảm về cạnh tranh. Các phép đo này cũng có thể trở thành yếu tố kích hoạt cho các yêu cầu nghiêm ngặt hơn, chẳng hạn như một khoảng thời gian thử nghiệm cố định trước khi một mô hình mới được sử dụng cho R&D AI tiếp theo.

(2) Đo lường sự giám sát đối với các tác nhân AI (AI agents)

Tại sao phải đo lường sự giám sát đối với các tác nhân? Giống như các nhà phát triển tiên phong khác, nhân viên Anthropic ngày càng ủy quyền các tác vụ cho các tác nhân hoạt động bán tự chủ trong thời gian dài và ủy quyền công việc cho nhau. Khi công việc ngày càng được tự động hóa, từ “AI cộng tác” tiến tới “AI dẫn dắt”, các tác nhân có thể đưa ra nhiều quyết định mang tính hệ quả hơn, chẳng hạn như nên theo đuổi hướng nghiên cứu nào tiếp theo.

Những quyết định này cần các biện pháp bảo vệ để ngăn chặn hành vi gây hại từ một tác nhân riêng lẻ, cũng như một cơ chế giám sát để phát hiện các vấn đề có thể chỉ nảy sinh khi có nhiều tác nhân cùng hoạt động. Trong dữ liệu giám sát của chúng tôi cho đến nay, các tác nhân riêng lẻ hiếm khi hành xử sai lệch. Nhưng khi có hàng triệu hoặc hàng tỷ tác nhân hoạt động trong nền kinh tế, ngay cả những sự kiện hiếm gặp cũng có thể xảy ra thường xuyên.

Những gì chúng tôi đã đo lường. Chúng tôi đã xây dựng một hệ thống cho phép giám sát và can thiệp vào các hành động mà các tác nhân AI thực hiện trên hệ thống của Anthropic. Ở đây, chúng tôi xem xét ba chỉ số khác nhau: độ bao phủ (coverage), mô tả tỷ lệ các hành động của tác nhân đi qua bộ giám sát trước hoặc sau khi thực thi; độ trễ đánh giá (review latency), là thời gian giữa một hành động và việc đánh giá nó, đầu tiên bởi bộ giám sát tự động và sau đó là con người; và tỷ lệ leo thang (escalation rate), là tỷ lệ các hoạt động của tác nhân bị chặn/chuyển hướng (trong trường hợp bộ giám sát trực tuyến) hoặc bị gắn cờ để đánh giá thêm (trong trường hợp bộ giám sát ngoại tuyến).

Kết quả thu được. Tính đến tháng 8 năm 2026, có khoảng 30.000 tác nhân đang thực hiện công việc nghiên cứu và kỹ thuật tại Anthropic tại bất kỳ thời điểm nào trên nền tảng nội bộ được sử dụng nhiều nhất của chúng tôi. Các phép đo này chỉ bao gồm nền tảng này. Hành động của các tác nhân này bị hạn chế bởi hai loại bộ giám sát, được tóm tắt dưới đây:

Những gì một nhà phát triển AI có thể báo cáo ngay hôm nay. Bất kỳ nhà phát triển nào chạy các tác nhân trên khối lượng công việc nghiên cứu và kỹ thuật của riêng mình đều có thể công bố các phép đo tương tự: độ bao phủ (tỷ lệ hoạt động của tác nhân được giám sát), độ trễ đánh giá (thời gian các hoạt động bị gắn cờ được đánh giá) và tỷ lệ leo thang (tỷ lệ hoạt động của tác nhân mà các bộ giám sát chặn hoặc gắn cờ). Tổng hợp lại, các phép đo này sẽ cho phép xã hội thấy được liệu sự giám sát có đang theo kịp vai trò ngày càng tăng của AI trong R&D AI hay không. Chúng tôi đã công bố tất cả các phép đo này trong báo cáo rủi ro gần đây của mình.

Các nhà phát triển nên chia sẻ tần suất hành vi sai lệch của tác nhân được các bộ giám sát phát hiện và nên để các bên thứ ba thực hiện loại thử nghiệm này một cách độc lập. Trước đây, METR đã thực hiện kiểm thử xâm nhập (red-teaming) độc lập trên nền tảng giám sát ngoại tuyến của chúng tôi. Như đã mô tả ở trên, chúng tôi hiện đang thiết lập các đơn vị đánh giá bên thứ ba tại Anthropic.

(3) Đo lường phân bổ tài nguyên tính toán (compute)

Tại sao phải đo lường phân bổ tài nguyên tính toán? Nói một cách rộng rãi, các nhà phát triển AI sử dụng tài nguyên tính toán để xây dựng các mô hình mạnh mẽ hơn, phục vụ khách hàng và thực hiện các công việc tập trung vào an toàn như kiểm toán “suy nghĩ” của mô hình, huấn luyện các sinh vật mô hình để nghiên cứu sự lệch lạc (misalignment) và đánh giá xem một mô hình có thể được triển khai an toàn hay không. Hiểu cách các nhà phát triển AI phân bổ tài nguyên tính toán có thể cho biết nhà phát triển đang tập trung nguồn lực vào đâu và sự tập trung đó thay đổi như thế nào theo thời gian.

Ngoài ra, tài nguyên tính toán là một trong những đầu vào có thể xác minh được nhất trong quy trình R&D AI, nghĩa là nó có thể là một đòn bẩy quan trọng trong nỗ lực điều tiết tốc độ trong tương lai. Một nỗ lực điều tiết phối hợp có thể khuyến khích các công ty tăng tài nguyên tính toán được phân bổ cho an toàn trong toàn ngành và dành nhiều nguồn lực hơn cho việc căn chỉnh (alignment), khả năng diễn giải (interpretability), thử nghiệm an toàn và đánh giá.

Những gì chúng tôi đã đo lường. Chúng tôi đã kiểm tra một ảnh chụp nhanh về cách Anthropic sử dụng toàn bộ tài nguyên tính toán của mình từ ngày 13 tháng 7 đến ngày 20 tháng 7. Để làm điều đó, chúng tôi đã phân loại mọi khối lượng công việc thành một số ít các danh mục, sau đó đặt câu hỏi bao nhiêu phần trăm tài nguyên tính toán dành cho R&D AI là công việc an toàn.

Nghiên cứu an toàn có xu hướng sử dụng ít tài nguyên tính toán hơn so với các đợt huấn luyện mô hình tiên phong, vì vậy tài nguyên tính toán là một đại diện không hoàn hảo cho mức độ tập trung của một công ty vào an toàn. Điều này là do nghiên cứu an toàn bao gồm các nhà nghiên cứu cá nhân thiết kế các thí nghiệm, vốn tốn thời gian ngay cả khi việc chạy các thí nghiệm đó không đặc biệt tiêu tốn nhiều tài nguyên tính toán. Do đó, giá trị của chỉ số này không nằm ở các con số tuyệt đối mà ở chỗ nó cung cấp một cơ chế đơn giản để so sánh các yếu tố tương đồng, giữa các nhà phát triển và theo thời gian.

Kết quả thu được. Trong tuần được kiểm tra, khoảng 6% tài nguyên tính toán dành cho R&D AI đã được phân bổ cho công việc an toàn và khoảng 12% tài nguyên tính toán dành cho R&D AI do AI dẫn dắt đã được phân bổ cho công việc an toàn.

Đây là những ước tính thận trọng một cách có chủ ý. Ví dụ, nếu một token được sử dụng để nâng cao năng lực nhiều như để nâng cao an toàn, nó đã không được tính vào các chỉ số này. Ngoài ra, các chỉ số này không tính đến các bộ phân loại bảo vệ (safeguards classifiers), vốn là một lượng tài nguyên tính toán riêng biệt, tương đương, giúp các mô hình của chúng tôi an toàn hơn nhiều cho thế giới.

Những gì một nhà phát triển AI có thể báo cáo ngay hôm nay. Bất kỳ nhà phát triển tiên phong nào cũng có thể công bố tỷ lệ tài nguyên tính toán R&D AI dành cho công việc an toàn, với các định nghĩa danh mục được công bố kèm theo và việc phân loại được kiểm tra bởi một bên thứ ba độc lập.

Nghiên cứu an toàn rất khó phân biệt với nghiên cứu năng lực, và mỗi nhà phát triển sẽ bị cám dỗ để vạch ra ranh giới một cách rộng rãi. Gánh nặng chứng minh nên thuộc về nhà phát triển để cho thấy công việc đó liên quan đến an toàn. Các nhà phát triển, chính phủ và cộng đồng nghiên cứu rộng lớn hơn sẽ được hưởng lợi từ việc thống nhất một định nghĩa chung trước. Một phép đo như thế này có thể cung cấp thông tin cho các hành động trong tương lai, chẳng hạn như các cam kết của một phòng thí nghiệm về tỷ lệ tài nguyên tính toán dành cho nghiên cứu an toàn, hoặc các giới hạn về tỷ lệ tài nguyên tính toán dành cho các tác nhân nghiên cứu AI.

Kết luận

Khi thế giới cân nhắc việc điều tiết tốc độ phát triển AI tiên phong, chúng ta nên làm mọi cách có thể để giảm thiểu khoảng cách giữa những gì các phòng thí nghiệm tiên phong biết và những gì công chúng biết. Điều này có nghĩa là đo lường tốt hơn sự phát triển của AI, báo cáo công khai về nó và tạo cơ hội cho xã hội quyết định cách sử dụng thông tin này. Chúng tôi hy vọng sẽ làm gương cho sự minh bạch đó bằng cách công bố các phép đo này và chúng tôi sẽ tiếp tục làm như vậy.

Phụ lục

Dưới đây là chi tiết phương pháp luận về tất cả các phép đo mà chúng tôi đã tạo nguyên mẫu.

Đo lường R&D do AI dẫn dắt

Cách chúng tôi thực hiện. Chỉ số Tự động hóa đòi hỏi ba điều: một bản đồ hoàn chỉnh về tất cả các tác vụ R&D AI đang được thực hiện tại Anthropic, một cách để đánh giá mức độ tự động hóa và một cách để cân trọng số các tác vụ, để các lĩnh vực công việc quan trọng được tính nhiều hơn các lĩnh vực ít quan trọng hơn. Không một cá nhân nào có thể liệt kê thủ công mọi tác vụ R&D AI tại một công ty AI tiên phong, ít nhất là không ở mức độ chi tiết mà chúng tôi muốn. Thay vào đó, chúng tôi đã xây dựng danh sách các tác vụ này theo cách từ dưới lên (bottom-up) từ các hồ sơ công việc bao gồm Slack và nhiều nguồn tài liệu nội bộ khác nhau.

Đối với mỗi tuần trong tháng 7 năm 2026, chúng tôi lấy mẫu ngẫu nhiên 20% nhân viên từ mỗi bộ phận tạo nên vòng lặp R&D mô hình. Một tác nhân nghiên cứu Claude đã xem xét tuần làm việc của từng người được lấy mẫu thông qua Slack và tài liệu nội bộ, đồng thời liệt kê các tác vụ họ đã thực hiện. Việc lặp lại điều này cho mỗi tuần trong tháng 7 năm 2026 mang lại cho chúng tôi một danh sách phẳng gồm khoảng 15.000 tác vụ R&D mô hình chi tiết. Sau đó, chúng tôi sử dụng Claude để tổ chức các tác vụ này thành một cây phân cấp, bắt đầu từ tất cả R&D mô hình ở gốc và phân nhánh thành các lĩnh vực như huấn luyện và sản phẩm, sau đó là tiền huấn luyện và học tăng cường, v.v. xuống các loại công việc ngày càng cụ thể. Cây kết quả có 542 nút ở các độ sâu khác nhau, trong đó 378 nút là các nút lá như “chẩn đoán và sửa lỗi nền tảng đánh giá”, “chính sách mạng và lối ra sandbox RL” và “báo cáo sau sự cố phục vụ”. Chúng tôi đóng băng cây này để mọi phép đo chúng tôi thực hiện đều diễn ra trên cùng một nhóm công việc.

Đối với mỗi nút trong cây (một danh mục tác vụ mô tả tất cả công việc bên dưới nó), một tác nhân Claude nghiên cứu sâu về cách loại công việc đó được thực hiện trên toàn công ty: ai thực hiện, bằng công cụ gì và AI thực hiện bao nhiêu phần trăm. Một giám khảo Claude độc lập sau đó đọc các bằng chứng thu được và gán một trong sáu mức độ tự động hóa, áp dụng thang đo do Epoch AI đề xuất để phân biệt mức độ sử dụng AI: không có sự tham gia của AI, sự tham gia tối thiểu của AI, AI hỗ trợ, cộng tác, dẫn dắt hoặc tự chủ. Khi chúng tôi đánh giá mức độ tự động hóa của một tháng nhất định, chúng tôi chỉ cho phép các tác nhân nghiên cứu thực hiện đánh giá xem bằng chứng từ tháng đó hoặc sớm hơn.

Để tổng hợp tất cả các đánh giá mức độ tự động hóa thành một con số, chúng tôi muốn gán cho mỗi nút trong cây một trọng số tương ứng với mức độ quan trọng của công việc đó đối với nỗ lực R&D mô hình tổng thể. Thay vì tự quyết định loại công việc nào quan trọng hơn loại khác, chúng tôi sử dụng lượng thời gian nhân sự dành cho tác vụ đó làm đại diện. Sử dụng mẫu của mình, chúng tôi đã để Claude nghiên cứu xem mỗi người đã làm gì trong mỗi tuần của tháng 7 năm 2026. Mỗi người nhận được một đơn vị trọng số mỗi tuần, được chia đều cho các tác vụ họ đã thực hiện trong tuần đó. Nếu người A làm bốn tác vụ, mỗi tác vụ nhận 0,25; nếu người B làm mười tác vụ, mỗi tác vụ nhận 0,10. Trọng số của một danh mục là tổng của tất cả các trọng số thời gian nhân sự được gán cho nó. Đây là một phép xấp xỉ thô, nhưng nhìn chung sơ đồ này hoạt động hợp lý: nó gán trọng số cao hơn cho các danh mục mà nhiều người được phân công.

Những gì phép đo này nắm bắt được và không nắm bắt được. Thứ nhất, các đánh giá tự động hóa phụ thuộc vào mô hình giám khảo. Để kiểm tra chúng, chúng tôi đã yêu cầu các nhân viên Anthropic sở hữu các lĩnh vực công việc liên quan đánh giá mức độ tự động hóa tương đối trong lĩnh vực của họ. Để đảm bảo kết quả khách quan, nhân viên thực hiện đánh giá mà không biết mô hình đã thu thập bằng chứng gì hoặc đã đánh giá bằng chứng đó như thế nào. Mô hình giám khảo của chúng tôi đồng ý với con người thường xuyên như cách con người đồng ý với nhau (sự đồng ý chính xác giữa mô hình và con người là 59%, giữa con người với con người là 35%), và các đánh giá của mô hình và con người nằm trong phạm vi một mức độ của nhau trong 97% trường hợp. Vẫn còn chỗ cho sự bất đồng trong các trường hợp biên, chẳng hạn như chính xác nơi “AI cộng tác” kết thúc và “AI dẫn dắt” bắt đầu.