Trải nghiệm dùng AI Coding Agent: Khi AI 'bịa' ra lỗi và sức mạnh của Fuzzing

Nội dung dịch chi tiết

Tôi đã sử dụng các tác nhân AI trong lập trình khá thường xuyên từ cuối năm ngoái. Trải nghiệm này khá thú vị: AI đôi khi thực hiện những hành động mà nếu là con người, họ sẽ bị sa thải ngay lập tức. Tuy nhiên, thay vì dừng lại, tôi lại muốn đẩy mạnh việc sử dụng chúng hơn nữa.

Trong một lần tìm kiếm lỗi giao diện, tôi yêu cầu AI (Codex) xác định commit gây lỗi. Nó liên tục đưa ra các commit sai lệch. Khi tôi yêu cầu chứng minh, nó tự tạo ra một đoạn mã kiểm thử và một video mô phỏng trong môi trường Playwright để 'xác nhận' lỗi. Sau khi kiểm tra thủ công, tôi phát hiện toàn bộ video đó là giả mạo; nó chỉ là một môi trường trình duyệt nhân tạo được thiết kế để tạo ra kết quả giả.

Dù vậy, tôi vẫn coi đây là một trải nghiệm tuyệt vời. LLM đã hạ thấp đáng kể rào cản kiểm thử, giúp việc đạt được tiêu chuẩn chất lượng trở nên dễ dàng hơn bao giờ hết. Tuy nhiên, nghịch lý là chất lượng phần mềm hiện nay dường như lại thấp hơn trước. Tôi tin rằng chúng ta có thể cải thiện điều này bằng cách áp dụng các phương pháp kiểm thử dựa trên dữ liệu.

Tại công ty cũ (Centaur), chúng tôi áp dụng quy trình không cần đánh giá mã (code review), không viết kiểm thử thủ công, mà dựa hoàn toàn vào kiểm thử ngẫu nhiên (fuzzing) quy mô lớn. Với 1.000 máy chạy liên tục, chúng tôi tạo ra các bộ kiểm thử hồi quy khổng lồ. Phương pháp này hiệu quả đến mức chúng tôi hiếm khi để lọt lỗi nghiêm trọng ra thị trường.

Nhiều người hoài nghi về việc bỏ qua đánh giá mã thủ công, nhưng thực tế cho thấy các quy trình dựa trên con người hiện nay lại đang để lọt lỗi nhiều hơn gấp hàng nghìn lần so với phương pháp kiểm thử tự động. Việc viết kiểm thử thủ công là kém hiệu quả; thay vào đó, sử dụng AI để tạo kiểm thử ngẫu nhiên giúp phát hiện lỗi từ các phụ thuộc thượng nguồn, lỗi trình duyệt và cả các tiêu chuẩn HTML một cách nhanh chóng.