Apple giới thiệu phương pháp LEAD: Giải mã nút thắt 'không thể phục hồi' trong suy luận dài hạn

Tác giả: Denys Pushkin†, Emmanuel Abbé†

Việc thực thi các tác vụ dài hạn trong các Mô hình Ngôn ngữ Lớn (LLMs) vẫn còn thiếu ổn định ngay cả khi đã được cung cấp các chiến lược cấp cao. Thông qua việc đánh giá trên các câu đố thuật toán có kiểm soát, chúng tôi chứng minh rằng mặc dù việc phân rã là yếu tố cần thiết để đạt được sự ổn định, nhưng việc phân rã quá mức lại tạo ra một "nút thắt không thể phục hồi" (no-recovery bottleneck). Chúng tôi chỉ ra rằng nút thắt này trở nên nghiêm trọng do sự phân bổ lỗi không đồng đều, nơi các lỗi nhất quán ở một vài bước "khó" trở nên không thể đảo ngược. Để giải quyết vấn đề này, chúng tôi đề xuất phương pháp Lookahead-Enhanced Atomic Decomposition (LEAD). Bằng cách kết hợp xác thực tương lai trong phạm vi ngắn và tổng hợp các kết quả thực thi chồng chéo, LEAD cung cấp đủ sự cô lập để duy trì tính ổn định, đồng thời giữ lại đủ ngữ cảnh cục bộ để sửa lỗi. Điều này cho phép mô hình o4-mini giải được bài toán Checkers Jumping với độ phức tạp lên tới n = 13, trong khi việc phân rã quá mức sẽ thất bại khi vượt quá n = 11.

Các bài đọc và cập nhật liên quan.

Các phương pháp gần đây đã chứng minh rằng các Mô hình Ngôn ngữ Lớn (LLMs) có thể giải quyết các tác vụ suy luận tốt hơn khi được khuyến khích giải quyết các tác vụ con của tác vụ chính trước. Trong bài báo này, chúng tôi thiết kế một chiến lược tương tự giúp chia nhỏ các tác vụ suy luận thành giai đoạn phân rã vấn đề và giai đoạn giải quyết vấn đề, đồng thời cho thấy chiến lược này có khả năng vượt trội hơn so với giải pháp một giai đoạn. Hơn nữa, chúng tôi đưa ra giả thuyết rằng việc phân rã nên dễ dàng hơn để…

Đọc thêm

Kết xuất ngược (Inverse rendering) là bài toán phân rã một hình ảnh thành các thành phần nội tại của nó, ví dụ như albedo, pháp tuyến và ánh sáng. Để giải quyết bài toán thiếu dữ kiện này từ một hình ảnh đơn lẻ, các phương pháp tiên tiến nhất trong lĩnh vực "shape from shading" chủ yếu dựa vào việc huấn luyện có giám sát trên tất cả các thành phần, sử dụng các tập dữ liệu tổng hợp hoặc thực tế. Tại đây, chúng tôi đề xuất một mô hình huấn luyện tự giám sát mới giúp 1) giảm bớt nhu cầu giám sát toàn diện đối với tác vụ phân rã và…

Đọc thêm