Brood War Bench: Đánh giá khả năng chơi StarCraft của các AI Agent như Claude Fable và Grok 4.6

Tác giả: Ben Swerdlow

Mô hình nào giành chiến thắng trong Brood War?

Những điểm chính

Bảng xếp hạng

Codex Astra / xhigh

Codex Astra / medium

Claude Fable

Codex Astra / low

Codex 5.6 Sol / medium

Codex 5.6 Sol / low

Claude Opus 5

Codex 5.6 Sol / xhigh

Codex 5.6 Luna / low

Codex 5.6 Terra / xhigh

Brood War Bench ra đời sau khi tôi xây dựng một phiên bản Brood War mà bạn chỉ có thể chơi thông qua các tác nhân (agent) như một thử nghiệm để chơi cùng bạn bè. Tôi đã chơi thử với vài người bạn, những người vốn chỉ mới chơi Starcraft vài lần trong đời nhưng lại thể hiện khá tốt một cách đáng ngạc nhiên. Khi tôi hỏi tại sao, họ nói rằng họ chẳng làm gì nhiều cả, họ chỉ yêu cầu tác nhân của mình tấn công, và nó đã tự xây dựng một đội quân nhỏ rồi thực hiện toàn bộ đợt tấn công thay cho họ. Điều này khiến tôi tự hỏi liệu chúng có thể tiến xa đến đâu khi tự hoạt động; và đây là câu trả lời của tôi.

Những gì tôi quan sát được

01

Codex tìm ra các chiến thuật "cheese" trước khi biết cách quản lý vĩ mô (macro)

Ý tưởng lặp đi lặp lại mạnh mẽ nhất của Codex là sự quấy rối. Trong các trận đấu với Protoss, nó thường gửi một Probe băng qua bản đồ để tấn công công nhân hoặc các tòa nhà. Cách này hiệu quả đến mức đáng kinh ngạc vì các tác nhân đối phương thường mất hàng chục giây để "suy nghĩ" xem nên làm gì với con Probe đó thay vì thực hiện bất kỳ hành động nào khác.

Các hệ thống tương tự lại tỏ ra yếu hơn nhiều trong việc duy trì sản xuất. Chúng trì hoãn công nghệ, chỉ tung ra một hoặc hai đơn vị quân cơ bản vào các căn cứ đã được phòng thủ, và đẩy công nhân vào những trận chiến cuối cùng đầy vô vọng.

Tôi cũng nhận thấy Codex thường tạo ra các tác nhân phụ riêng biệt để quản lý kinh tế, sản xuất quân đội và điều khiển quân đội. Chúng không giao tiếp nhiều với nhau, vì vậy tác nhân điều khiển quân đội thường gửi từng đơn vị mới tạo ra thẳng vào đợt tấn công mà không hề biết đến đội quân lớn hơn mà các tác nhân khác đang dự định xây dựng.

Đây là lỗi phổ biến của người mới bắt đầu: gửi quân lẻ tẻ từng đơn vị một thay vì chờ đợi một lực lượng đủ mạnh và thời điểm tấn công đã được lên kế hoạch. Trong những trận đấu mà tôi hỗ trợ điều hướng Codex, nó đã thực hiện tốt hơn nhiều trong việc lập kế hoạch cho những thời điểm đó và khiến các tác nhân phụ phối hợp với nhau.

Sự kiên trì là có thật. Trong trận G009, sau khi mất quân đội và căn cứ chính, Codex 5.6 Terra / medium đã nhấc tòa nhà Command Center cuối cùng của mình lên và di chuyển nó về phía góc đối diện. Nó đã sống sót thêm được sáu phút nữa.

02

Grok dành thời gian giữa các hành động để suy nghĩ

Grok 4.6 thường xuyên tạo ra các chuỗi suy luận dài và rất ít các đợt lệnh. Trong trận G043, lượt chạy xhigh đã ghi nhận 11.138 token suy luận nhưng chỉ đưa ra sáu đợt lệnh trong suốt 43 phút và không bao giờ triển khai một đơn vị chiến đấu nào.

Những hành động mà nó thực hiện hiếm khi phát triển thành một vòng lặp điều khiển hiệu quả. Trong trận G003, Grok / xhigh tạo ra ba lính Marine và không bao giờ tiếp cận được căn cứ địch. Trong trận G002, Grok / medium tạo ra hai Zealot và cũng không bao giờ băng qua bản đồ. Những điều này trông giống như sự thất bại trong việc quan sát và hành động hơn là các chiến lược tồi.

03

Fable thực sự cố gắng chơi trò chơi

Tôi thấy mình đã cổ vũ cho Claude Fable trong không ít trận đấu. Fable thường cố gắng xây dựng nền kinh tế và leo cây công nghệ thay vì dừng lại ở đơn vị quân đầu tiên có sẵn. Nó có vẻ quan tâm đến việc thực sự chơi trò chơi hơn bất kỳ mô hình nào khác.

Trong trận G007, nó đã đạt đến Lair, Spire và Mutalisk rồi giành chiến thắng. Trong trận G027, nó đã xây thêm Robotics Facility, Citadel of Adun, Observatory và Templar Archives trước khi thắng. Tham vọng không đảm bảo cho việc thực thi: trong trận G036, Fable đã đạt đến Factory và Academy nhưng Opus 5 đã tràn qua và đánh bại nó.

Không có tác nhân nào ở đây chơi vượt quá trình độ người mới bắt đầu

Ngay cả Astra và Fable cũng không thể xây dựng các đội quân phức tạp, phòng thủ trước các đợt tấn công đơn giản hay thực hiện các chiến lược cụ thể. Một người mới bắt đầu chơi chiến thuật "photon rush" cũng sẽ thắng tất cả các trận đấu này.

Mặc dù vậy, việc xem các tác nhân chơi game khiến tôi phấn khích hơn bất kỳ điều gì trong thời gian gần đây. Điểm chuẩn (benchmark) này còn lâu mới cạn kiệt. Còn rất nhiều điều để các tác nhân học hỏi, và còn nhiều điều hơn nữa để điểm chuẩn yêu cầu chúng thực hiện. Tôi mong chờ được thấy chúng đạt đến trình độ đó.

Cách các trận đấu diễn ra

So sánh chủng tộc / Thời gian trận đấu

5:00 / 15:00

Đầu tư công nghệ

Nghiên cứu đã hoàn thành + cấp độ nâng cấp