Ornith-1.5: Bước tiến từ tự xây dựng đến tự tối ưu hóa mô hình AI

Hôm nay, chúng tôi giới thiệu Ornith-1.5, một bước tiến quan trọng trong việc xây dựng các mô hình nền tảng thông qua quá trình tự cải thiện end-to-end. Ornith-1.5 mở rộng khung tự tạo cấu trúc (self-scaffolding) được giới thiệu trong Ornith-1.0 thành một vòng lặp tự cải thiện hoàn thiện hơn: mô hình đề xuất các tác vụ mới, tạo ra các cấu trúc hỗ trợ (scaffolds) đặc thù cho tác vụ đó và thực hiện các chuỗi giải pháp (solution rollouts) cho học tăng cường, liên tục tạo ra những trải nghiệm học tập mới để từ đó mô hình có thể tự hoàn thiện.

Ornith-1.5 bao gồm ba quy mô mô hình: 397B MoE, 35B MoE và 9B dense. Được thiết kế để đạt trí tuệ tổng quát mạnh mẽ trong các tác vụ lập luận, tác vụ đại diện (agentic) và lập trình, Ornith-1.5 đạt hiệu suất dẫn đầu trong số các mô hình mã nguồn mở có quy mô tương đương trên nhiều bộ tiêu chuẩn đánh giá. Ornith-1.5-397B đạt 86,1 điểm trên Terminal-Bench 2.1 và 56,0 điểm trên DeepSWE, ngang bằng với Claude Opus 4.8 (85,0 và 59,0) trong khi vượt trội hơn các mô hình mã nguồn mở hàng đầu cùng quy mô, bao gồm GLM-5.2 (82,7 và 46,2) và DeepSeek-V4-Flash-0731 (82,7 và 54,4). Ở phân khúc còn lại, Ornith-1.5-9B, với phiên bản nén (quantized) Ornith-1.5-9B-Mobile, có thể dễ dàng triển khai trên các thiết bị iPhone và Android, đồng thời vượt xa các mô hình lớn hơn như Gemma 4-31B và Qwen 3.6-35B.

Ở quy mô hàng đầu, Ornith-1.5-397B đạt 86,1 điểm trên Terminal-Bench 2.1 và 56 điểm trên DeepSWE, ngang bằng với Claude Opus 4.8 trên cả hai bộ tiêu chuẩn và vượt trội hơn các mô hình mã nguồn mở hàng đầu có cùng kích thước, bao gồm GLM-5.2 và DeepSeek-V4-Flash-0731.

Ornith-1.5-35B vượt trội đáng kể so với đối thủ cùng kích thước là Qwen 3.6-35B trên tất cả các tiêu chuẩn đánh giá về lập trình và tác vụ đại diện. Mặc dù chỉ kích hoạt 3B tham số mỗi token, mô hình này vẫn vượt xa các mô hình dense—Gemma 4-31B và Muse Glimmer-30B của Meta—với khoảng cách lớn trong các tác vụ lập trình đại diện (68,5 so với 43,4 và 51,7 trên Terminal-Bench 2.1; 79,0 so với 52,0 và 76,0 trên SWE-Bench Verified).

Ornith-1.5-9B, phiên bản có thể triển khai trên thiết bị biên, cũng mang lại kết quả ấn tượng, đạt 47,0 điểm trên Terminal-Bench 2.1 và 70,6 điểm trên SWE-Bench Verified. Dù là một mô hình nhỏ gọn với 9B tham số, nó vẫn đạt hoặc vượt hiệu suất của các mô hình lớn hơn nhiều như Gemma 4-31B và Qwen 3.6-35B.

Tự cải thiện thông qua các tác vụ, hệ thống hỗ trợ và giải pháp do mô hình tự tạo

Ornith-1.5 mở rộng Ornith-1.0 bằng cách phát triển vòng lặp tự cải thiện từ việc tối ưu hóa cấu trúc hỗ trợ và chuỗi giải pháp sang việc tối ưu hóa đồng thời quá trình tạo tác vụ, xây dựng cấu trúc hỗ trợ và thực hiện chuỗi giải pháp. Thay vì dựa vào một tập hợp cố định các tác vụ do con người biên soạn và các hệ thống hỗ trợ được thiết kế thủ công, Ornith-1.5 liên tục tạo ra các tác vụ đào tạo mới, khám phá các chiến lược hiệu quả để giải quyết chúng và cải thiện chính sách thông qua học tăng cường.

Mỗi chu kỳ đào tạo diễn ra qua ba giai đoạn. Với một môi trường hoặc cơ sở mã (codebase) nhất định, cùng các hướng dẫn cấp cao về loại tác vụ và quyền truy cập vào lịch sử giải quyết tác vụ trước đó của mô hình, hệ thống sẽ đề xuất các tác vụ ngày càng khó hơn, vượt ra ngoài những gì mô hình đã giải quyết, từ đó bộc lộ các lỗ hổng năng lực và liên tục đẩy mạnh giới hạn đào tạo.

Đối với mỗi tác vụ, mô hình sau đó tạo ra hoặc tinh chỉnh một cấu trúc hỗ trợ đặc thù—bao gồm các hướng dẫn, công cụ, chiến lược phân tách và điều phối được sử dụng để tiếp cận vấn đề. Dựa trên tác vụ và cấu trúc hỗ trợ đó, chính sách sẽ tạo ra một chuỗi giải pháp. Phần thưởng từ chuỗi giải pháp được lan truyền qua cả ba giai đoạn, giúp hệ thống không chỉ học cách tạo ra các giải pháp tốt hơn mà còn tạo ra các tác vụ đào tạo hữu ích hơn và xây dựng các cấu trúc hỗ trợ hiệu quả hơn.

Được lặp lại trong quá trình đào tạo, điều này tạo ra một vòng lặp tự cải thiện khép kín, trong đó các chính sách mạnh hơn cho phép tạo ra các tác vụ khó hơn và giàu thông tin hơn, các cấu trúc hỗ trợ tiến hóa giúp khám phá những cách tốt hơn để khơi dậy năng lực của mô hình, và các chuỗi giải pháp chất lượng cao hơn cung cấp các tín hiệu học tập ngày càng hiệu quả. Thay vì dựa vào phân phối đào tạo tĩnh hoặc thiết kế tác nhân được kỹ thuật hóa thủ công, Ornith-1.5 liên tục mở rộng chương trình học của chính mình và thích nghi với các chiến lược giải quyết vấn đề, thúc đẩy sự gia tăng năng lực bền vững trên các tác vụ lập luận, lập trình và tác vụ đại diện.

Phần thưởng tác vụ (Task Reward)

Đối với thiết lập câu hỏi → cấu trúc hỗ trợ → chuỗi giải pháp, chúng tôi xác định phần thưởng tác vụ bằng ba tín hiệu: tính hợp lệ, độ khó tại biên và tính mới. Gọi \(q\) là câu hỏi được tạo ra, \(s\) là cấu trúc hỗ trợ của nó, và \(\{\tau_i\}_{i=1}^{N}\) là tập hợp các chuỗi giải pháp. Chúng tôi xác định:

\[ R_{\text{task}} = \underbrace{V(q,s)}_{\text{Có hợp lệ và kiểm chứng được không?}} \times \underbrace{D\!\left(q,s,\{\tau_i\}_{i=1}^{N}\right)}_{\text{Độ khó có phù hợp không?}} \times \underbrace{N(q)}_{\text{Có đủ mới lạ không?}}. \]

Trong đó, \(V\) đo lường liệu tác vụ và cấu trúc hỗ trợ được tạo ra có hình thành một môi trường học tập hợp lệ và có thể kiểm chứng hay không, \(D\) đo lường liệu tác vụ có nằm gần giới hạn năng lực hiện tại của mô hình dựa trên hiệu suất của chuỗi giải pháp hay không, và \(N\) đo lường tính mới so với các tác vụ đã được tạo hoặc đã được đào tạo trước đó. Công thức nhân khuyến khích mô hình đề xuất tạo ra các tác vụ thỏa mãn đồng thời cả ba thuộc tính: hợp lệ, thách thức phù hợp và không trùng lặp.

Tính hợp lệ và khả năng kiểm chứng

Một tác vụ hữu ích phải tạo thành một môi trường học tập được xác định rõ ràng. Câu hỏi phải mạch lạc và có thể giải quyết được, trong khi cấu trúc hỗ trợ phải thực thi chính xác và đánh giá các giải pháp ứng viên một cách đáng tin cậy. Chúng tôi xác định:

\[ V(q,s) \in [0,1], \]

dựa trên các kiểm tra như liệu cấu trúc hỗ trợ có chạy thành công không, các giải pháp có độ tin cậy cao có vượt qua không, các giải pháp sai rõ ràng có bị loại không, và đánh giá có khớp với đặc tả tác vụ hay không. Tính hợp lệ cũng có thể được coi là một cổng chặn cứng:

\[ V(q,s)=0 \quad\Rightarrow\quad R_{\text{task}}=0. \]

Điều này ngăn chặn các tác vụ bị lỗi hoặc cấu trúc hỗ trợ không đáng tin cậy nhận được phần thưởng chỉ vì chúng trông có vẻ khó.

Độ khó tại biên (Frontier Difficulty)

Trong số các tác vụ hợp lệ, những tác vụ hữu ích nhất là những tác vụ không quá tầm thường cũng không quá bất khả thi. Chúng tôi ước tính độ khó trực tiếp từ các chuỗi giải pháp của mô hình.

Với mỗi tác vụ, chúng tôi lấy mẫu \(N\) chuỗi giải pháp và tính tỷ lệ thành công thực nghiệm:

\[ p = \frac{1}{N} \sum_{i=1}^{N} \mathbf{1}\!\left[s(q,\tau_i)=\text{success}\right]. \]

Sau đó, chúng tôi thưởng cho các tác vụ có tỷ lệ thành công gần với giới hạn mục tiêu \(p^*\):

\[ D(q,s,\{\tau_i\}) = \exp\!\left(-\frac{(p-p^*)^2}{2\sigma^2}\right). \]

\(p^*\) được đặt là 0,2, ưu tiên các tác vụ mang tính thách thức nhưng vẫn tạo ra đủ các quỹ đạo thành công cho học tăng cường. Khi mô hình cải thiện và giải quyết tác vụ đáng tin cậy hơn, phần thưởng của nó sẽ tự nhiên giảm xuống, thúc đẩy bộ tạo tác vụ hướng tới các vấn đề khó hơn.

Tính mới và sự đa dạng

Chỉ riêng độ khó tại biên có thể khiến mô hình lặp đi lặp lại việc tạo ra các biến thể nhỏ của cùng một tác vụ. Do đó, chúng tôi thêm một thành phần tính mới:

\[ N(q) = 1 - \max_{q_j \in \mathcal{B}} \operatorname{sim}(q,q_j), \]

trong đó \(\mathcal{B}\) là bộ đệm của các tác vụ đã được tạo hoặc đã được đào tạo trước đó. Tính mới nên đóng vai trò phụ so với tính hợp lệ và độ khó: vai trò của nó là giảm sự dư thừa, không phải để thưởng cho các tác vụ bất thường một cách tùy tiện.

Kết hợp lại, các tín hiệu này khuyến khích mô hình đề xuất tạo ra các tác vụ hợp lệ, có thể kiểm chứng, đầy thách thức nhưng có thể học được, và đủ đa dạng. Vì độ khó tại biên được đo lường bằng chính các chuỗi giải pháp của mô hình hiện tại, chương trình đào tạo thu được sẽ tự động tiến hóa cùng với năng lực của mô hình.

Phần thưởng cho hệ thống hỗ trợ và chuỗi giải pháp

Đối với một câu hỏi \(q\) được tạo ra, hệ thống hỗ trợ \(h\) được thưởng vì cung cấp một môi trường đánh giá phù hợp với tác vụ, trung thực với chất lượng giải pháp và có khả năng chống lại việc hack phần thưởng:

\[ R_{\text{harness}} = \underbrace{C(q,h)}_{\text{Sự phù hợp tác vụ}} \times \underbrace{F\!\left(h,\{\tau_i\}\right)}_{\text{Độ trung thực của phần thưởng}} \times \underbrace{H(h)}_{\text{Khả năng chống hack}}. \]

Trong đó, \(C\) đo lường liệu hệ thống hỗ trợ có phản ánh trung thực đặc tả tác vụ hay không, \(F\) đo lường liệu phần thưởng của nó có theo sát chất lượng thực tế của các giải pháp ứng viên hay không, và \(H\) đo lường khả năng chống lại các lỗi của trình đánh giá, các lối tắt và hành vi hack phần thưởng.

Mỗi chuỗi giải pháp \(\tau_i\) được chấm điểm trực tiếp bởi hệ thống hỗ trợ đã tạo:

\[ R_{\text{rollout}}(\tau_i) = \underbrace{h(q,\tau_i)}_{\text{Thành công tác vụ}}. \]

Đối với các tác vụ có thể kiểm chứng, đây có thể là phần thưởng nhị phân đạt/không đạt; đối với các môi trường phong phú hơn, nó có thể kết hợp giữa tính chính xác, mức độ hoàn thành tác vụ, hiệu quả và việc thỏa mãn các ràng buộc. Việc tạo câu hỏi, tạo hệ thống hỗ trợ và thực hiện chuỗi giải pháp đều được tối ưu hóa bằng GRPO sử dụng các phần thưởng tương ứng, cho phép cả ba giai đoạn cùng cải thiện trong cùng một vòng lặp tự cải thiện.