Tối ưu chi phí vận hành Claude Fable 5 với mô hình Harness thông minh

Thiết kế "Harness hiệu quả về chi phí" cho Claude Fable 5

Thiết kế hiệu quả về chi phí này cũng áp dụng tương tự cho GPT-5.6 Sol, với tư duy cốt lõi là: nhu cầu trí tuệ của hầu hết các tác vụ là không đối xứng trên phương diện token — một số ít token cần khả năng phán đoán tiên tiến, trong khi đa số token chỉ cần thực thi giá rẻ. Giá trị của Harness nằm ở việc nhận diện sự bất đối xứng này để đưa trí tuệ tiên tiến vào đúng vị trí cần thiết.

Ba mô hình phân bổ: 1. Orchestrator (Người điều phối): Fable 5 đóng vai trò điều phối, ủy quyền cho các worker giá rẻ. Phù hợp với: Tác vụ lập kế hoạch giai đoạn đầu. 2. Advisor (Cố vấn): Fable 5 đóng vai trò cố vấn, được các thực thi viên cấp thấp tham vấn. Phù hợp với: Tác vụ đòi hỏi phán đoán xuyên suốt quy trình. 3. Verifier (Người xác thực): Fable 5 đóng vai trò kiểm tra đầu ra. Phù hợp với: Tác vụ kiểm duyệt cuối kỳ (như vòng lặp /goal).

Thí nghiệm 1: Parameter Golf. Fable 5 đóng vai trò cố vấn can thiệp ở giai đoạn đầu + 2 điểm kiểm tra, Sonnet 5 đóng vai trò thực thi chạy 20 vòng thiết kế thí nghiệm ML. Kết quả đạt được khoảng 90% lợi ích so với Fable-solo với chỉ 34% chi phí token. Điều phản trực giác: Lập kế hoạch trước không hiệu quả — thứ tự ban đầu của Fable có tương quan nghịch với hướng đi hiệu quả. Giá trị thực sự đến từ các điểm kiểm tra ở giai đoạn giữa: Sonnet 5 dễ rơi vào bẫy "hill-climbing" (leo đồi) với lợi ích biên, còn Fable cung cấp khả năng điều chỉnh hướng và sắp xếp lại. Kết luận: Trong các tác vụ mang tính khám phá, kết quả mỗi vòng đều định hình lại hướng đi tiếp theo, do đó khả năng phán đoán phải được phân bổ xuyên suốt toàn bộ quy trình thay vì chỉ tập trung một lần ở giai đoạn đầu.

Thí nghiệm 2: BrowseComp (Truy vấn Web đa ràng buộc), kiểm tra xem việc ủy quyền cho Sonnet worker thực sự tiết kiệm chi phí khi nào. Tập con dễ (~0,37M tokens/câu hỏi): Fable tự làm sẽ rẻ hơn, việc điều phối làm tăng giá 60% mà không mang lại lợi ích. Tập đầy đủ (~31M tokens/câu hỏi): Fable điều phối + Sonnet worker đạt 96% điểm số với 46% chi phí, cho thấy hiệu quả kinh tế rõ rệt. Hai nguồn chi phí điều phối chính: Trùng lặp biên (tính phí token ít nhất hai lần trên các mô hình) + Chồng chéo phân tán (các worker không giao tiếp với nhau, phạm vi nghiên cứu trùng lặp). Điều kiện tiên quyết: Lượng token mà worker hấp thụ phải đủ lớn để chi phí chuyển giao cố định được dàn trải. Hơn nữa, bản thân Fable có hiệu suất token cao, nên $/token thấp không đồng nghĩa với việc thực sự tiết kiệm — cần nhìn vào lợi nhuận ròng.

Bốn nguyên tắc thiết kế Harness: 1. Xem xét hình thái tác vụ — Phán đoán phân tán → Thực thi viên giá rẻ + Fable cố vấn; Phán đoán tập trung ở đầu/cuối → Fable điều phối hoặc xác thực. 2. Sử dụng heuristic ủy quyền — Cung cấp cho Claude các tiền đề sắp xếp về "gu" và "trí tuệ" của worker (như xếp hạng mô hình của theo), giúp harness quyết định linh hoạt khi nào gọi mô hình nào. 3. Đánh giá chi phí điều phối — Đảm bảo lượng token ủy quyền đủ lớn để dàn trải chi phí chuyển giao cố định; hiệu suất token của Fable 5 cao đồng nghĩa với việc "thay thế bằng mô hình rẻ hơn" chưa chắc đã thực sự rẻ. 4. Đảm bảo tỷ lệ trúng prompt cache — Các sub-agent nên tái sử dụng cùng một worker qua các lần gọi để tích lũy bộ nhớ đệm, tránh việc mỗi lần spawn worker mới lại phải trả phí ghi context. Tỷ lệ trúng cache thấp sẽ trực tiếp triệt tiêu lợi thế chi phí của $/token thấp.

Hướng đi cuối cùng: Fable 5 có thể tự viết harness ngay lập tức dựa trên tác vụ. Các phân tích về hình thái tác vụ, cân nhắc chi phí ủy quyền, quản lý cache... được cung cấp trong bài viết này chính là kiến thức nội tại cần thiết để Claude tự tạo ra các harness hiệu quả về chi phí, giúp "áp dụng trí tuệ tiên tiến một cách chọn lọc".

“Lance Martin: http://x.com/i/article/2075610072118702081”