Claude, đừng cố ghi nhớ những đoạn hội thoại hỗn tạp nữa

Nội dung dịch chi tiết

Chúng tôi nhận thấy không có lợi ích hiệu suất nào trong các tác vụ kỹ thuật phần mềm (SWE) khi các tác nhân AI có quyền truy cập tìm kiếm vào các phiên làm việc trước đó, miễn là chúng đã có quyền truy cập vào các dạng ngữ cảnh khác. Việc tự động thu thập dữ liệu từ các bản ghi phiên làm việc để cải thiện ngữ cảnh cho AI cũng không mang lại nhiều giá trị nếu thiếu sự tham gia của con người.

Trước đây, tôi từng tin rằng "bản ghi phiên làm việc là nguồn dầu mỏ mới" và giá trị hơn cả mã nguồn. Nhiều công ty đã xây dựng hệ thống lưu trữ các bản ghi này vào cơ sở dữ liệu, sử dụng tìm kiếm vector hoặc SQL để cung cấp cho AI. Tuy nhiên, sau nhiều tháng thử nghiệm, chúng tôi nhận thấy việc này không những không giúp ích mà còn có thể làm giảm chất lượng phản hồi của mô hình, gây lãng phí token và làm tăng chi phí.

Thay vào đó, đội ngũ của chúng tôi tập trung vào các 'tạo tác' (artifacts) lập trình. Chúng tôi yêu cầu AI tạo ra các thông điệp commit, thông điệp PR và tài liệu kỹ thuật đầy đủ. Khi tác nhân AI làm việc trên một đoạn mã, nó được hướng dẫn đọc các tài liệu và PR trước đó. Bằng cách này, AI đã chắt lọc được những thông tin giá trị nhất thay vì phải đọc lại các bản ghi phiên làm việc hỗn độn, vốn chứa đầy những quyết định sai lầm hoặc thử nghiệm không cần thiết.

Một vấn đề lớn là các mô hình AI hiện nay không có khả năng tự "dọn dẹp" bộ nhớ. Chúng coi mọi thông tin trong cửa sổ ngữ cảnh là sự thật hiển nhiên, dẫn đến hiện tượng "trôi dạt ý định" (intent drift). Khi AI tự động xây dựng cơ sở dữ liệu từ các phiên làm việc cũ, nó vô tình tích lũy những sai sót từ các phiên trước đó, tạo ra một đống dữ liệu rác làm suy giảm chất lượng mô hình.

Cuối cùng, chúng tôi sử dụng các bot nội bộ để xem xét các thay đổi hàng tuần trên PR, Slack và Drive, sau đó đề xuất cập nhật cho các bộ kỹ năng của AI. Tuy nhiên, con người phải trực tiếp kiểm duyệt các thay đổi này. Chúng tôi từ chối hơn 80% các đề xuất tự động, cho thấy việc để AI tự cập nhật kiến thức mà không có sự kiểm soát của con người là một quy trình không bền vững.