Lỗ hổng trên AWS Bedrock khiến chi phí sử dụng Codex tăng vọt gấp 10 lần

Tóm tắt

Các yêu cầu từ Codex CLI gốc gửi đến Amazon Bedrock Mantle hiện không thể chọn sử dụng tính năng bộ nhớ đệm prompt (prompt caching) tường minh của GPT-5.6 Sol. Đối với khối lượng công việc lập trình theo tác nhân (agentic coding workload), điều này đã tạo ra một lượng lớn token ghi vào bộ nhớ đệm (cache-write tokens) và làm tăng chi phí đáng kể.

Vấn đề này có liên quan đến #35300, nhưng bổ sung thêm bằng chứng sử dụng thực tế độc lập từ nhà cung cấp amazon-bedrock gốc.

Môi trường

Sử dụng thực tế ghi nhận được

Đối với các ngày đã hoàn thành từ 2026-08-05 đến 2026-08-08, số liệu sử dụng từ Cost Explorer và bảng giá của Bedrock đã đưa ra ước tính có tính đến bộ nhớ đệm cho Sol như sau:

Các lượt ghi vào bộ nhớ đệm chiếm khoảng 85% chi phí ước tính của mô hình.

Một phiên Codex cục bộ cũng ghi nhận 76 yêu cầu Sol với 6,709 triệu cache_write_input_tokens, không có cache_input_tokens nào, và trung bình khoảng 88 nghìn token ghi vào bộ nhớ đệm mỗi yêu cầu. Không có lỗi phía máy khách nào trong các chỉ số CloudWatch tương ứng.

Đây là các ước tính dựa trên mức sử dụng, không phải số tiền cuối cùng trên hóa đơn AWS.

Điều tra

Codex đã phát ra một session-scoped prompt_cache_key, nhưng các loại yêu cầu cho cả phản hồi HTTP và WebSocket đều không bao gồm:

Nhà cung cấp Amazon Bedrock tích hợp sẵn chỉ hiển thị các cài đặt truyền tải/xác thực, không hỗ trợ chuyển đổi cấu trúc nội dung yêu cầu (request-body transformation), vì vậy vấn đề này không thể được cấu hình thông qua config.toml.

AWS tài liệu hóa chế độ bộ nhớ đệm tường minh cho GPT-5.6 trên Bedrock dành riêng cho các quy trình làm việc theo tác nhân với các chỉ dẫn/định nghĩa công cụ ổn định dài, theo sau là nội dung công cụ và người dùng thay đổi. Điều đó khớp với khối lượng công việc nêu trên.

Hành vi mong muốn

Phạm vi

Báo cáo này không khẳng định rằng mọi lượt ghi vào bộ nhớ đệm đều là lỗi. Các trường hợp khởi động lạnh (cold starts), các prompt thực sự khác biệt, các nhánh (forks) và quá trình nén (compaction) đều có thể yêu cầu ghi dữ liệu. Vấn đề nằm ở chỗ Codex trên Bedrock gốc hiện không có cách nào để sử dụng cơ chế bộ nhớ đệm tường minh đã được tài liệu hóa cho trường hợp tiền tố ổn định (stable-prefix).