Cognition tin tưởng giao việc cho Claude Fable 5: Đột phá khả năng làm việc xuyên đêm

Cognition còn rất trẻ, ngay cả theo tiêu chuẩn của Thung lũng Silicon. Họ đã xây dựng Devin, kỹ sư phần mềm AI tự hành của mình, vào đầu năm 2024, thời điểm mà các cơ chế cơ bản của một tác nhân (agent) vẫn còn rất sơ khai.

Devin đảm nhận những công việc mà các kỹ sư thường không có thời gian để làm: di chuyển codebase, xử lý danh sách lỗi tồn đọng và các tính năng cứ bị trì hoãn mãi. Với khách hàng trải dài từ các startup tăng trưởng cao đến các công ty thuộc danh sách Fortune 500, yêu cầu đặt ra là rất khắt khe. Mã nguồn do Devin viết phải đáng tin cậy và sẵn sàng để đưa vào môi trường thực tế (production-ready); một lỗi nhỏ được đưa vào âm thầm có thể gây ra những vấn đề thực sự ở các khâu sau đó.

Đội ngũ của Alberti huấn luyện và kiểm thử các mô hình đứng sau Devin, đồng thời đã vận hành gần như mọi thế hệ Claude kể từ khi bắt đầu. Anh cho rằng bước nhảy vọt thực sự đầu tiên là Claude 3.6 Sonnet vào cuối năm 2024. Đây là mô hình đầu tiên có thể liên kết các công cụ một cách đáng tin cậy và duy trì một tác vụ gồm nhiều bước. Khi đội ngũ tích hợp nó vào Devin, mức độ sử dụng nội bộ đã tăng gấp ba lần.

Chính lịch sử đó khiến anh khó bị ấn tượng. Cognition đã chứng kiến nhiều mô hình đạt điểm cao trong các bài kiểm tra (benchmark) nhưng lại "vỡ trận" ngay khi các kỹ sư của họ cố gắng sử dụng chúng. "Chúng tôi đã bị 'bỏng tay' như vậy rất nhiều lần," Alberti nói. Vì thế, đội ngũ tin tưởng vào các kỹ sư của chính mình hơn bất kỳ điểm số nào. Những lập trình viên có gu thẩm mỹ cao nhất của họ sẽ đưa mỗi mô hình mới vào một ngày làm việc thực tế, và tiêu chuẩn đặt ra là liệu mã nguồn đó có phải là thứ họ thực sự muốn giữ lại hay không.

Như cách Alberti diễn đạt: "chúng tôi không tin vào bất kỳ đánh giá (eval) nào."

Nơi các mô hình trước đây chạm ngưỡng giới hạn

Bất chấp mọi tiến bộ đó, vẫn còn một giới hạn: một tác nhân có thể chạy trong bao lâu trước khi mất dấu nhiệm vụ?

"Trước Fable, bạn có thể ủy quyền cho các tác nhân duy trì nhiệm vụ trong vài phút, có lẽ là một giờ," Alberti nói. Sau đó, các phiên làm việc bắt đầu chệch hướng. Nếu đưa cho một mô hình đời cũ năm ý tưởng để cân nhắc cùng lúc, nó sẽ mất dấu và trở nên bối rối. Trong một lần di chuyển cơ sở dữ liệu, một mô hình Opus trước đây về mặt kỹ thuật đã hoàn thành công việc nhưng lại tạo ra một loạt lỗi tinh vi trong quá trình thực hiện.

Việc phân loại sự cố (incident triage) cũng cho thấy tình trạng tương tự. Các mô hình trước đây có xu hướng chỉ dừng lại ở bề mặt của nhật ký (logs) thay vì đào sâu vào dòng mã liên quan, và chúng được huấn luyện để đưa ra câu trả lời bằng mọi giá—vì vậy chúng sẽ "tự tin khẳng định điều hợp lý đầu tiên mà chúng tìm thấy rồi dừng lại." Các kỹ sư đã học cách phớt lờ chúng.

Claude Fable 5 vượt qua tiêu chuẩn của riêng Cognition

Cognition chấm điểm các mô hình dựa trên Frontier Code, một bài kiểm tra mà họ tự xây dựng vì các bài kiểm tra hiện có cứ tiếp tục khen thưởng những mã nguồn vượt qua bài kiểm tra nhưng lại không thể tồn tại trong một codebase thực tế. Alberti gọi đó là tiêu chuẩn "chống rác" (anti-slop). Trên tập hợp con khó nhất, mô hình Opus trước đó chỉ đạt khoảng 10%. Claude Fable 5 đạt khoảng 30%.

Phản ứng đầu tiên của đội ngũ là nghi ngờ. "Có lỗi gì không? Điều này không thể là sự thật." Thông thường, một bước nhảy vọt về điểm số benchmark sẽ đi kèm với việc các kỹ sư tranh luận hàng tuần về việc liệu mô hình có thực sự tốt hơn trong thực tế hay không. Lần này, việc "tự ăn món mình nấu" (dogfooding) lại khớp với các con số. "Thành thật mà nói, đó là một cú sốc," Alberti nói.

"Điều lớn nhất chúng tôi nhận thấy là tầm nhìn xa, khả năng tự chủ trong bao lâu," anh nói. "Có những tác vụ mà tôi định đi ngủ và tôi đã nói: 'Được rồi, làm ơn cứ tiếp tục làm việc này và đừng dừng lại cho đến khi tôi thức dậy.' Và rồi tôi thức dậy, nó đã làm việc liên tục trong tám tiếng và thực sự đạt được tiến bộ rõ rệt. Tôi chưa từng thấy điều đó trước đây."

Tầm nhìn xa đó được duy trì vì Claude Fable 5 giữ được sự tỉnh táo trong bối cảnh lộn xộn. Đây là mô hình đầu tiên sử dụng đúng cách các công cụ gỡ lỗi nội bộ của Cognition, lật giở các nhật ký trong trình duyệt và đưa ra kết luận bất chấp những nhiễu loạn. Trong một lần di chuyển đã khiến các mô hình trước đó vấp ngã, nó đã nêu rõ các bất biến (invariants) mà nó sẽ tuân thủ, sau đó thực hiện dựa trên các bất biến đó. Về việc phân loại sự cố, nó đã xác định được nguyên nhân gốc rễ và nói rõ những gì nó chưa biết, điều mà Alberti cho rằng chính là thứ thực sự xây dựng lại niềm tin.

Anh xếp bước tiến này vào một nhóm nhỏ các thay đổi mang tính bước ngoặt thực sự, loại thay đổi thường chỉ xuất hiện khoảng một lần mỗi năm.

Điều gì tiếp theo

Canh bạc khởi đầu của Cognition là các tác nhân nên chạy trên đám mây trong nhiều giờ liền. Trong năm đầu tiên của công ty, các mô hình vẫn chưa đạt tới trình độ đó.

Alberti cho biết Claude Fable 5 làm cho phiên bản đầy đủ của canh bạc đó trở nên khả thi, và một phần trong đó đã có sẵn trong sản phẩm. Devin có thể theo dõi một kênh Slack và nhảy vào xử lý một vấn đề mà không cần được gắn thẻ, hoặc giám sát môi trường thực tế và tự mình phân loại các sự cố tăng đột biến. Khi nó thực hiện đúng một trong những việc đó, anh nói, cảm giác "giống như một kỹ sư thực thụ trong đội ngũ vậy."

Anh kỳ vọng điều này sẽ trở thành mặc định cho các đội ngũ kỹ thuật. Trong một hoặc hai năm nữa, anh nói, 90% các phiên làm việc của tác nhân sẽ là những phiên chủ động: tự tìm ra vấn đề, quét codebase và nhắn tin cho bạn kèm theo bản sửa lỗi.

"Rất nhiều thứ mà chúng tôi luôn muốn xây dựng tại công ty giờ đây đã trở nên khả thi," Alberti nói.

Bắt đầu với Claude Fable 5.