Liquid AI ra mắt Antidoom: Giải pháp FTPO giúp loại bỏ lỗi lặp vô tận trên các mô hình suy luận

Liquid AI vừa ra mắt Antidoom, một phương pháp mã nguồn mở nhắm vào một lỗi phổ biến trong các mô hình suy luận (reasoning models). Lỗi đó chính là "doom loop" (vòng lặp chết). Trong một vòng lặp chết, mô hình tạo ra một đoạn văn bản, sau đó lặp đi lặp lại đoạn đó nhiều lần. Đầu ra này tiếp tục cho đến khi cửa sổ ngữ cảnh (context window) bị cạn kiệt. Các mô hình suy luận nhỏ dễ gặp tình trạng này hơn, đặc biệt là khi xử lý các chuỗi suy luận dài và các bài toán khó.

Trên một checkpoint sớm của LFM2.5-2.6B, 10,2% các câu trả lời cho các câu lệnh toán học và lập trình khó đã tạo ra các vòng lặp lặp đi lặp lại. Sau khi huấn luyện với Antidoom, tỷ lệ đó giảm xuống còn 1,4%. Điểm đánh giá (eval scores) được cải thiện trên mọi phương diện, hoàn toàn nhờ vào việc giảm thiểu tình trạng lặp.

Tóm tắt (TL;DR)

Antidoom là gì?

Antidoom là một bản sửa lỗi có mục tiêu, không phải là thay đổi lấy mẫu (sampling) trên diện rộng. Nó tìm ra chính xác token bắt đầu một vòng lặp, sau đó huấn luyện mô hình ưu tiên các lựa chọn thay thế mạch lạc hơn tại vị trí đó. Phần còn lại của phân phối xác suất hầu như không bị ảnh hưởng.

Phương pháp này điều chỉnh từ Antislop. Nó huấn luyện trên các cặp được chọn/bị từ chối đại diện cho một token hoàn thiện duy nhất. Thuật toán huấn luyện là Final Token Preference Optimization (FTPO), tương tự như DPO.

Quá trình huấn luyện không dạy mô hình bất cứ điều gì mới về toán học hay mã nguồn. Nó chỉ loại bỏ tình trạng lặp vốn đang chặn các câu trả lời mà mô hình vốn đã có khả năng tạo ra.

Giải phẫu một vòng lặp chết (Doom Loop)

Đội ngũ Liquid AI cho rằng các vòng lặp chết xuất phát từ ba cơ chế hoạt động cùng nhau:

Cơ chế 1: Các token bị huấn luyện quá mức cộng với sự không chắc chắn. Một số token có xác suất được chọn cao hơn trong các trường hợp thông thường. Các ví dụ nổi tiếng trong thực tế bao gồm ‘delve’ và ‘testament’. Đội ngũ Liquid AI lưu ý rằng điều này có thể bắt nguồn từ dữ liệu tổng hợp (synthetic data) trong tập huấn luyện. Trong các chuỗi suy luận, các phần tiếp nối có ưu tiên cao thường bao gồm các từ nối diễn ngôn như ‘Wait’ (Đợi đã) hoặc ‘Alternatively’ (Thay vào đó). Những token này không hẳn là xấu; chúng có thể đánh dấu một sự thay đổi chiến lược hữu ích, một bước xác minh hoặc một nhánh suy luận. Tuy nhiên, khi mô hình không chắc chắn hoặc bị bế tắc, chúng lại trở thành các lựa chọn tiếp nối "dễ dãi" đầy hấp dẫn.

Đối với một checkpoint sớm của LFM2.5-2.6B, các token bắt đầu vòng lặp phổ biến nhất bao gồm:

Cơ chế 2: Ngữ cảnh trước đó củng cố vòng lặp. Mỗi lần lặp lại đẩy mọi token trong đoạn đó về phía xác suất cao hơn. Duan và cộng sự đã nghiên cứu điều này trong công trình về suy luận vòng (circular reasoning). Họ liên kết nó với mô hình chú ý (attention pattern) hình chữ "V" và nhận thấy rằng sự lặp lại về ngữ nghĩa xảy ra trước sự lặp lại về văn bản.

Cơ chế 3: Lấy mẫu tham lam (greedy sampling). Các mô hình suy luận thường chạy ở nhiệt độ thấp để có các chuỗi suy luận ổn định, có thể tái lập. Ở nhiệt độ 0, token có xác suất cao nhất luôn được chọn. Một vòng lặp được củng cố cục bộ khi đó sẽ không có lối thoát. Liquid AI báo cáo tình trạng lặp đáng kể ngay cả ở nhiệt độ 0.67. Nhiệt độ càng thấp càng làm trầm trọng thêm vấn đề.

Cách Antidoom xác định lỗi

Antidoom tạo ra các câu trả lời trên một tập hợp các câu lệnh (prompt mix) được thiết kế để kích thích vòng lặp ở nhiệt độ thấp. Tập hợp này được phát hành dưới dạng bộ dữ liệu LiquidAI/antidoom-mix-v1.0. Một vòng lặp được phát hiện khi một phần văn bản lặp lại ít nhất bốn lần, với độ dài ít nhất 60 ký tự.

Phương pháp này sau đó nhắm vào token đầu tiên của lần lặp lại đầu tiên. Tại vị trí đó, nó lấy các lựa chọn thay thế có log-prob cao nhất (top-k) của mô hình cơ sở. Nó lọc bỏ các nhiễu ngắn hoặc không phải chữ/số, đồng thời giữ lại tối đa 20 lựa chọn thay thế hợp lý làm các token được chọn.

Mỗi dòng huấn luyện là một bộ gồm tiền tố câu lệnh, một token bị từ chối và một hoặc nhiều token được chọn. Các phân phối được chọn và bị từ chối được chuẩn hóa trước khi huấn luyện. Nếu không, một vài "thủ phạm" như Wait, So, và the sẽ chiếm ưu thế và việc ngăn chặn quá mức sẽ làm suy giảm khả năng suy luận.

Quy tắc phát hiện bản thân nó rất đơn giản để viết thành mã. Đoạn mã dưới đây là một ví dụ minh họa.

Mỗi vòng lặp được phát hiện sau đó trở thành một dòng huấn luyện. Cấu trúc là một bộ (tuple) đơn giản.

FTPO là một thuật toán tối ưu hóa ưu tiên tương tự như DPO. Một mẫu huấn luyện có một câu lệnh, một phần tiếp nối được chọn và một phần tiếp nối bị từ chối. Nó được xây dựng để thay đổi một số ít token với sự xáo trộn tối thiểu đối với mô hình.

FTPO khác với DPO ở bốn điểm:

Trong triển khai Antidoom, mô hình được huấn luyện trong một epoch với LoRA. Các rank LoRA cao từ 128-256 cho kết quả tốt nhất. Quá trình huấn luyện bao phủ tất cả các phép chiếu attention và MLP, cộng với lm_head. Tốc độ học (learning rates) nằm trong khoảng 4e-6 đến 2e-5.

Quá trình huấn luyện sử dụng cơ chế dừng sớm (early stopping) dựa trên chosen_win, là tỷ lệ các mẫu mà ở đó các token được chọn vượt trội hơn các token bị từ chối. Việc dừng lại ở mức chosen_win=0.35 đã cắt giảm tỷ lệ vòng lặp chết từ 20-30% xuống còn 1-2%. Huấn luyện lâu hơn thường làm suy giảm chất lượng mô hình.

Đối với checkpoint sớm của LFM2.5-2.6B, việc tạo tập huấn luyện mất khoảng một giờ trên 8 GPU MI325. Sau đó, quá trình huấn luyện mất khoảng một đến hai giờ trên một GPU MI325 duy nhất. Quá trình tạo dữ liệu dừng lại sau khi thu thập được 20 nghìn cặp.

Antidoom so sánh thế nào với các bản sửa lỗi thông thường

Kết quả

Sau khi huấn luyện, tỷ lệ vòng lặp chết trên checkpoint sớm của LFM2.5-2.6B giảm từ 10,2% xuống 1,4%. Điểm đánh giá được cải thiện trên mọi phương diện, hoàn toàn nhờ vào việc giảm thiểu tình trạng lặp.

Đội ngũ Liquid AI cũng chạy quy trình này trên Qwen3.5-4B, vốn được biết là hay bị lặp trong quá trình suy luận. Tỷ lệ vòng lặp chết của nó giảm từ 22,9% xuống 1% khi sử dụng lấy mẫu tham lam. Điểm đánh giá tăng lên đáng kể.

Điểm đánh giá thay đổi tỷ lệ nghịch với tỷ lệ vòng lặp chết khi nhiệt độ tăng. Sau khi huấn luyện, cả hai mô hình đều cho thấy hiệu suất giảm gần mức nhiệt độ 1.0. Điều này là dự kiến, vì lấy mẫu ở nhiệt độ cao hơn có thể ưu tiên các token ít được ưa chuộng hơn. Khi các vòng lặp được loại bỏ, việc lấy mẫu gần như tham lam (near-greedy) mang lại điểm số cao nhất trong các mô hình được thử nghiệm.

Đội ngũ Liquid AI lưu ý một điểm liên quan đến thực tiễn phổ biến. Niềm tin rằng nhiệt độ cao hơn hỗ trợ suy luận có thể đã bị nhầm lẫn với tác động của vòng lặp chết. Trong các thử nghiệm của họ, khi các vòng lặp biến mất, lấy mẫu gần như tham lam mang lại hiệu suất tốt nhất.

Nhiều vòng huấn luyện có thể hữu ích. Vòng đầu tiên từ chối các token gây ra vòng lặp và điều chỉnh trọng số hướng tới các lựa chọn thay thế. Điều đó có thể làm lộ ra các điểm lỗi mới, mà vòng thứ hai sau đó sẽ nhắm tới.

Trình giải thích tương tác

Các trường hợp sử dụng kèm ví dụ

Điểm mạnh và Thách thức

Điểm mạnh:

Thách thức:

Hãy xem các chi tiết kỹ thuật và GitHub Repo của chúng tôi. Ngoài ra, đừng ngần ngại theo dõi chúng tôi trên Twitter và đừng quên tham gia SubReddit ML 150k+ thành viên của chúng tôi cũng như đăng ký nhận Bản tin (Newsletter). Khoan đã! Bạn có dùng Telegram không? Bây giờ bạn cũng có thể tham gia cùng chúng tôi trên Telegram.

Bạn cần hợp tác với chúng tôi để quảng bá GitHub Repo, trang Hugging Face, sản phẩm mới hoặc hội thảo trực tuyến, v.v.? Hãy kết nối với chúng tôi.