Giải mã các bài kiểm tra AI cho Phòng Tình huống: Cuộc thi 25.000 USD để ngăn chặn AI 'kích động' hạt nhân

Trong vài năm qua, chúng ta đã thấy những dấu hiệu cho thấy các nhà hoạch định chính sách và lãnh đạo quốc gia đang sử dụng các mô hình AI vào việc ra quyết định chính sách thực tế. Giới lãnh đạo cấp cao trên toàn thế giới đã bắt đầu sử dụng AI không chỉ cho các nhiệm vụ chiến thuật hay vận hành, mà ngày càng nhiều cho việc ra quyết định chiến lược trên diện rộng.

Mặc dù có hứa hẹn về sự cải thiện và những quyết định sáng suốt hơn đối với một số vấn đề hệ trọng nhất mà các nhà lãnh đạo phải đối mặt trong chính sách đối ngoại và an ninh quốc gia, chúng ta cũng đang hành động trong tình trạng thiếu thông tin. Rất nhiều nỗ lực và năng lượng đã được đổ vào việc thiết lập chuẩn mực (benchmarking) và đánh giá cho các tác vụ như lập trình. Các thử nghiệm bạn có thể thực hiện để giúp mô hình phát triển phần mềm tốt hơn thì dễ thực hiện và ít rủi ro hơn nhiều so với việc chạy một thử nghiệm thực tế khi bạn đang quyết định xem có nên xâm lược một quốc gia hay ký kết một hiệp ước hay không.

Đó là lý do tại sao chúng tôi tại ChinaTalk đang cố gắng khởi xướng một lĩnh vực nhằm giúp các nhà nghiên cứu và hoạch định chính sách hiểu chính xác những gì họ đang làm khi yêu cầu các mô hình này hỗ trợ những quyết định hệ trọng nhất mà các quốc gia phải đối mặt. Chúng tôi đang khởi động một cuộc thi dự án đánh giá/tiểu luận để khám phá chủ đề này với thời hạn nộp bài là ngày 1 tháng 9.

Tôi đã mời hai chuyên gia tạo đánh giá AI để thảo luận về lý do tại sao lĩnh vực này lại quan trọng, những công việc thú vị nào đã được thực hiện về cách các mô hình tiếp cận các câu hỏi chiến lược và an ninh quốc gia trên diện rộng, và làm thế nào bạn — với tư cách là một chuyên gia đánh giá, bán chuyên, hoặc chỉ là một người quan tâm — có thể đóng góp những cách mới để thăm dò, kiểm tra các mô hình này và xem chúng thực sự có thể làm được gì.

Tham gia cùng chúng ta hôm nay có: Florian Brand, kỹ sư nghiên cứu tại Prime Intellect, và John Chen, giáo sư tại Đại học Arizona, người đã thực hiện những thí nghiệm khá táo bạo khi để các mô hình bắt đầu các cuộc chiến tranh hạt nhân với nhau trong trò chơi Civ V.

Cuộc trò chuyện của chúng ta bao gồm:

Cách các phòng thí nghiệm tiên phong đang chạm tới giới hạn của việc xây dựng đánh giá: họ đã chuyển từ sinh viên đại học sang nghiên cứu sinh tiến sĩ rồi đến các chuyên gia trong ngành, và các mô hình hiện đang phát hiện ra những sai sót của chính các chuyên gia.

Cách Civilization V phơi bày những điểm mù chiến lược của AI (khả năng suy luận bậc hai kém) và các tính cách chiến lược riêng biệt của từng mô hình (Claude thực sự rất thích khoa học!).

Tại sao việc nhắc nhở (prompting) có đạo đức trong Civilization V vẫn không ngăn được các mô hình phóng vũ khí hạt nhân.

Đánh giá PresidentBench của Jordan, nơi một mô hình Trung Quốc tỏ ra thờ ơ với việc xâm lược Đài Loan, trong khi Claude lại muốn giữ cho Đài Loan được tự do và độc lập.

Lời khuyên để thiết kế các đánh giá AI tốt hơn và cuộc thi tiểu luận/đánh giá mới của ChinaTalk!

Hãy lắng nghe ngay trên ứng dụng podcast yêu thích của bạn.

Jordan Schneider: Florian, đánh giá AI (AI eval) là gì và tại sao chúng lại quan trọng?

Florian Brand: Các đánh giá AI cố gắng đưa ra một con số cho thứ mà chúng ta muốn đo lường. Đó có thể là các câu hỏi kiến thức, thứ mà chúng ta có thể đo lường bằng trắc nghiệm, hoặc — lĩnh vực tiên phong hiện nay — là các tác nhân (agents), nơi chúng ta muốn xem Claude Code giỏi đến mức nào trong việc triển khai các cơ sở mã nguồn phức tạp. Trong vài năm qua, các đánh giá đã trở nên chuyên nghiệp và phức tạp hơn để phản ánh cách người dùng thực sự sử dụng các sản phẩm này.

Jordan Schneider: Hãy cùng khám phá điều đó. Chúng ta đã bắt đầu trong một thế giới nơi bạn tạo ra các bài toán khoa học hoặc toán học khó, và dần dần các mô hình đã làm tốt hơn. Vấn đề là, một khi bạn đi đến những câu hỏi không có đáp án đúng, bạn không chỉ đang xem mô hình đạt bao nhiêu điểm trên 100 — bạn đang đánh giá nó gần giống như cách bạn đánh giá một ứng viên tuyển dụng. Có nhiều yếu tố định tính hơn mà bạn đang cố gắng nhắm tới, đúng không?

Florian Brand: Chắc chắn rồi. Chúng ta cũng đang ngày càng chạm tới giới hạn của việc xây dựng các đánh giá này. Vài năm trước, chúng tôi đã nhờ một số sinh viên đại học và "tra tấn" họ bằng việc chú thích các câu hỏi. Sau đó, chúng tôi tìm đến các nghiên cứu sinh tiến sĩ. Bây giờ ngay cả điều đó cũng không đủ — chúng tôi đang tìm kiếm các chuyên gia trong lĩnh vực tương ứng để đưa ra những câu hỏi phức tạp nhất mà họ có thể nghĩ ra. Hóa ra đôi khi những chuyên gia này lại hơi sai một chút. Khi AI ngày càng giỏi hơn, chúng ta đã nhiều lần thấy các trường hợp mà giải pháp của AI thực sự đúng trong khi chuyên gia tạo ra câu hỏi lại có ý kiến khác hoặc đáp án sai.

Jordan Schneider: Vậy là một giáo sư toán học viết một bài toán và nghĩ đáp án là 2, còn mô hình tính ra đáp án thực sự là 2.5. Một khi đạt đến điểm đó, bạn sẽ nghĩ: "Được rồi, chúng ta hiểu rồi — chúng thực sự rất giỏi toán." Còn những khía cạnh nào khác? Đã có phương pháp truy vấn kiến thức chuyên sâu của Humanity’s Last Exam — những câu hỏi rất hóc búa về lý sinh và lịch sử La Mã — thứ mà hiện tại chúng ta chưa bão hòa. Các mô hình chứa rất nhiều thông tin thực tế (factoids). Lĩnh vực này đặc biệt tập trung vào những khía cạnh nào khác?

Florian Brand: Các thông tin thực tế thực ra không còn thú vị đối với hệ sinh thái rộng lớn hơn nữa. Vì AI được sử dụng cho công việc hiệu quả — lập trình, điền bảng tính Excel, làm thuế — chúng ta cần tìm hiểu xem các AI giỏi đến mức nào trong việc khai thuế cho bạn. Đương nhiên, chúng tôi xây dựng các đánh giá để đại diện chính xác cho điều đó, xem các mô hình hoạt động tốt như thế nào, và sau đó huấn luyện các mô hình để trở nên tốt hơn nữa trong những lĩnh vực đó.

Jordan Schneider: Trước khi chúng ta đi đến trường hợp vì lợi ích công cộng cho các đánh giá về chính sách và an ninh quốc gia, đâu là bài toán kinh doanh ở đây? Tại sao các phòng thí nghiệm trên khắp thế giới lại đặt cược nhiều như vậy vào việc có những đánh giá thấu đáo?

Florian Brand: Bạn cần các đánh giá để đo lường mức độ giỏi của mô hình ở các khả năng khác nhau. Nếu không có đánh giá, bạn sẽ chỉ mù quáng tung mô hình ra thế giới và bắt mọi người tự tìm hiểu xem nó giỏi ở điểm nào. Đó là một điều khó chấp nhận — bảo mọi người cứ sử dụng đi rồi tự tìm xem giới hạn ở đâu. Đó là lý do tại sao chúng ta cần những đánh giá tốt, đủ thực tế để mọi người quan tâm.

Jordan Schneider: Bạn có thể nói về đánh giá nổi tiếng nhất có lẽ là thước đo "mất bao lâu để giải quyết một vấn đề" của METR không?

Florian Brand: Đánh giá của METR bị hiểu lầm rất nhiều. Những gì họ đã làm từ lâu là lấy một loạt các bài toán lập trình và chú thích chúng: đối với bài này, con người cần hai phút; đối với loại tác vụ này, con người có lẽ cần mười lăm phút; và những tác vụ này cực kỳ khó — con người cần hai ngày lập trình để giải quyết. Sau đó, các mô hình được yêu cầu giải các bài toán này, và chúng càng giỏi — đặc biệt là ở các bài toán khó hơn — thì chúng càng hoàn thành được các tác vụ dài hơi hơn. Nhưng điều này khác với việc Claude thực sự chạy liên tục 20 hoặc 30 giờ. METR đang đo lường rằng Claude có khả năng giải quyết một tác vụ mà con người có lẽ cần 20 giờ để hoàn thành.

Vấn đề lớn nhất của biểu đồ METR — vì đánh giá này đã hơi cũ — là họ đã không nghĩ đến việc đưa vào nhiều tác vụ thực sự khó. Phần đuôi bên phải (right tail) rất thưa thớt, nghĩa là ngay khi các mô hình có khả năng giải quyết những tác vụ đó, bạn sẽ nhận được các khoảng sai số khổng lồ.

Jordan Schneider: Bạn đã thấy những đánh giá nào tiếp cận vấn đề "liệu mô hình này có thể làm điều gì đó hiệu quả về mặt kinh tế" một cách thông minh hơn những người bạn của chúng ta tại METR không?

Florian Brand: Ngày nay, chúng tôi đưa các mô hình vào các hệ thống sản xuất, để chúng tương tác với hệ thống tệp tin và yêu cầu chúng tạo bảng tính Excel với các tác nhân GDPval hoặc APEX. Chúng tôi cũng thúc đẩy chúng thực hiện khoa học — nghiên cứu ML — và các tác vụ chạy ngày càng dài hơn, để xem chúng hoạt động tốt như thế nào ở các hoạt động thực sự tạo ra doanh thu.

Jordan Schneider: Hãy đi đường vòng một chút vào AI tự vận hành cửa hàng của riêng nó ở San Francisco. Vending-Bench là gì?

Florian Brand: Vending-Bench là một thiết lập nơi mô hình có một doanh nghiệp ảo — họ cũng đã thực hiện điều đó trực tiếp. Nó được yêu cầu quản lý hàng tồn kho, tương tác với khách hàng và tìm kiếm các thỏa thuận với nhà cung cấp để tạo ra doanh thu trong một khoảng thời gian nhất định. Cũng có những biến thể của Vending-Bench nơi các mô hình chơi đối đầu với nhau, cố gắng hạ giá lẫn nhau và đạt được các thỏa thuận để kiếm nhiều doanh thu hơn trong vài ngày mà chúng được giao nhiệm vụ chạy trong mô phỏng.

Jordan Schneider: Vậy là bây giờ chúng ta có các đánh giá mô phỏng các mô hình điều hành doanh nghiệp, và bạn có thể thấy điều đó tiến triển như thế nào: bạn đưa cho nó 1.000 đô la, sau đó là 10.000 đô la. Điều tôi thực sự hào hứng muốn thấy là các mô hình được điều hành hội đồng thành phố, các bang, và — ai mà biết được — có lẽ một ngày nào đó là các quốc gia. Chưa biết khi nào điều đó xảy ra.

Nhưng một số thí nghiệm thú vị nhất về khía cạnh đó đến từ các bài báo của John, nơi anh ấy đã lấy Civilization V — một trò chơi chiến lược từ trên xuống, nơi bạn phát triển từ một người tiền sử đến khi có những cỗ máy cơ khí bắn phá khắp thế giới, theo đuổi chiến thắng về văn hóa hoặc khoa học — và để các mô hình là những người cầm lái và đưa ra quyết định. John, tại sao anh lại tham gia vào việc này? Mục tiêu là gì khi anh bỏ ra tất cả công sức kỹ thuật đó để khiến các mô hình này chơi Civ ngay từ đầu?

John Chen: Trước hết, đó là vì tôi là một người chơi Civilization V, và tôi có thể thấy rất nhiều vẻ đẹp chiến lược chỉ từ việc chơi trò chơi. Khi tôi bắt đầu nghĩ về AI tác nhân (agentic AI) vài năm trước, câu hỏi đặt ra là: liệu chúng ta có thể khiến các mô hình này thực sự điều hành một nền văn minh — trở thành nhà lãnh đạo của các nền văn minh đó — và chúng sẽ làm gì?

Bước đầu tiên là vượt qua rào cản rằng trong Civilization, bạn đang đối mặt với một môi trường nhiều người chơi cạnh tranh, dài hạn. Bạn cạnh tranh với nhiều nền văn minh khác, có thể được điều hành bởi các tác nhân LLM khác hoặc bởi con người, và bạn chơi trong 500 lượt. Mỗi lượt, bạn vận hành một số lượng lớn các thành phố và dân số, kiểm soát nhiều đội quân và đưa ra các quyết định ở cấp độ vi mô. Đó là điều khiến tôi mê mẩn — sự phức tạp có nghĩa là bạn không thể chỉ bám lấy một chiến lược và nói: "Được rồi, chúng ta sẽ thắng trò này." Có sự cạnh tranh đa phương làm phức tạp kịch bản, cộng với các liên minh mới nổi, sự phản bội, tất cả những thứ kiểu như vậy. Liệu một AI có phản bội một AI khác không?

Jordan Schneider: Trước khi chúng ta đi sâu vào hành vi mà anh đã thấy ở các mô hình này khi chơi Civ V: điều làm tôi ngạc nhiên là chúng ta có Claude Mythos định hình lại chính trị toàn cầu vì nó có thể hack mọi thứ theo đúng nghĩa đen, nhưng các mô hình này dường như chỉ giỏi Civ V ngang với một đứa trẻ bảy tuổi đã chơi được 20 giờ. Tại sao chúng lại chật vật đến vậy để có thể trở nên thành thạo trò chơi này?

John Chen: Phần lớn đến từ trạng thái trò chơi rất phức tạp của Civilization. Mỗi lượt, bạn đang tiêu hóa rất nhiều thông tin cùng một lúc, và rất nhiều thông tin trong đó là xa lạ với các mô hình vì nó được tạo ra một cách năng động từ sự tương tác giữa những người chơi. Mỗi lần, bạn đang đối mặt với một tình huống mới lạ mà bạn chưa từng thấy trong dữ liệu huấn luyện của mình, và điều đó khiến các mô hình rất bối rối. Đó là một lý do.

Một lý do khác: theo những gì chúng ta có thể thấy từ dữ liệu tự chơi (self-play), các mô hình này hiếm khi xem xét các hiệu ứng bậc hai — rằng hành động của tôi hôm nay sẽ khiến một nền văn minh khác phản ứng vào ngày mai, và chúng ta sẽ phản ứng thế nào với điều đó vào ngày kia? Các mô hình thực sự hiếm khi xem xét điều này.

Florian Brand: Chúng tôi chắc chắn thấy điều tương tự trong rất nhiều đánh giá lập trình hiện đại. Danh mục chung được gọi là "tầm nhìn dài hạn" (long horizon), nơi các mô hình chạy trong nhiều giờ hoặc nhiều ngày, và tất cả chúng đều được thiết lập với thứ gì đó để kiểm tra tiến độ hiện tại. Đúng như John nói, chúng không nghĩ về các hiệu ứng bậc hai hoặc lập kế hoạch cấp cao hơn. Chúng cố gắng tăng điểm ở bước tiếp theo, rồi bước tiếp theo nữa, thay vì lập kế hoạch sâu rộng và sau đó giải quyết mọi thứ trong một lần.

Jordan Schneider: Thật thú vị. Rõ ràng, ai đó có thể huấn luyện một AI chuyên biệt để thực sự giỏi Civ V. Nhưng điều chúng ta đang nói đến là đưa Opus hoặc GPT-5.4 hoặc GLM-5.2 vào trò chơi — trí tuệ tổng quát đó được cho là thực sự ấn tượng, và thực sự ấn tượng trên nhiều khía cạnh — và nó không hoàn toàn hiểu được rằng nếu bạn xâm lược một quốc gia, họ có thể xâm lược lại bạn. Tôi thấy đó là một hiện tượng thú vị. Nó cũng mang lại cho bạn cái nhìn thực tế về câu hỏi ban đầu của tôi: nếu bạn thực sự sử dụng các mô hình này để suy nghĩ về chiến lược lớn — chà, nếu bạn nghĩ Civ V là phức tạp, thì địa chính trị thế giới thực có lẽ còn có nhiều biến số hơn để lo lắng so với điểm văn hóa và điểm khoa học của bạn.

John Chen: Trong nhiều trường hợp, các mô hình vẫn ổn khi suy nghĩ về các tình huống một đối một: nếu tôi xâm lược bạn, bạn sẽ xâm lược lại tôi — điều đó ổn. Nhưng chúng bỏ qua thực tế là một nền văn minh khác có thể đang nhìn vào cả hai bạn và quyết định chinh phục cả hai trong khi bạn đang bận rộn chiến đấu với nhau. Kiểu đó chính là điểm mù thực sự mà tôi đã thấy.

Cũng có rất nhiều suy nghĩ viển vông trong suốt quá trình: "Nếu chúng ta làm X, chúng ta sẽ đạt được Y" — vì vậy chúng bám lấy X bất kể điều gì xảy ra, mong đợi Y, cho đến ngày cuối cùng, khi chúng bắt đầu nhận ra, này, điều đó không xảy ra. "Chúng ta nên làm gì? Được rồi, đây là vũ khí hạt nhân của chúng ta. Chúng ta sẽ nhấn mã." Đó là những gì chúng ta thấy trong nhiều trường hợp trong nghiên cứu của mình.

Jordan Schneider: Ngoài những hạn chế chung trong tư duy chiến lược, một phát hiện thú vị khác là bản thân các mô hình hành xử khác nhau — chúng không phải tất cả đều thất bại theo cùng một cách. Claude muốn làm khoa học nhiều hơn; các mô hình của OpenAI chỉ muốn xâm lược và chinh phục tất cả mọi người. Chuyện quái gì đang xảy ra ở đó vậy?