Liên minh AI Đức ra mắt Soofi S: Mô hình 30B mã nguồn mở dẫn đầu bảng xếp hạng tiếng Anh và tiếng Đức

Soofi S là một trong những mô hình ngôn ngữ lớn đầu tiên được huấn luyện hoàn toàn trên nền tảng Industrial AI Cloud của Deutsche Telekom tại Munich. Mô hình 30B mã nguồn mở này sử dụng kiến trúc lai tinh gọn và hỗn hợp dữ liệu huấn luyện được ưu tiên có chủ đích cho tiếng Đức.

Một liên minh nghiên cứu của Đức do KI Bundesverband (Hiệp hội AI Đức) điều phối đã phát hành Soofi S 30B-A3B, một mô hình ngôn ngữ mở. Theo báo cáo tiền huấn luyện, mô hình này đạt điểm số cao nhất trên các bộ tiêu chuẩn đánh giá tiếng Anh và tiếng Đức trong số các mô hình hoàn toàn mở, vượt qua những cái tên dẫn đầu trước đó như OLMo 3 32B và Apertus 70B.

Kiến trúc tinh gọn được xây dựng cho ngữ cảnh dài

Soofi S là mô hình hỗn hợp chuyên gia (mixture-of-experts). Mô hình có tổng cộng 31,6 tỷ tham số nhưng chỉ kích hoạt khoảng 3,2 tỷ tham số cho mỗi token được tạo ra. Điều này giúp chi phí tính toán của nó gần với mô hình 3B hơn là một mô hình 30B thông thường. Liên minh này áp dụng kiến trúc Nemotron 3 Nano của Nvidia mà không thay đổi, một thiết kế lai kết hợp các lớp Mamba-2 với các lớp attention tiêu chuẩn.

Điểm khác biệt chính so với các transformer điển hình nằm ở cách quản lý bộ nhớ. Trong các mô hình thông thường, bộ nhớ đệm KV lưu trữ các token trước đó để tính toán attention sẽ tăng tuyến tính theo độ dài ngữ cảnh. Với đầu vào dài và nhiều yêu cầu song song, việc tải lại bộ nhớ đệm này trở thành một nút thắt cổ chai. Chỉ 6 trong số 52 lớp của Soofi S duy trì bộ nhớ đệm như vậy.

Lợi ích thực tế thể hiện ở thông lượng tạo văn bản. Ở độ dài ngữ cảnh 40.000 token với 32 yêu cầu song song, Soofi S tạo ra số lượng token trên mỗi giây trên mỗi GPU gấp khoảng tám lần so với các mô hình dày đặc (dense models) trong phạm vi từ 14 đến 24 tỷ tham số. Trong khi thông lượng của các mô hình thông thường giảm đáng kể khi ngữ cảnh tăng lên, Soofi S vẫn duy trì hiệu suất gần như ổn định từ 4.000 đến 256.000 token. Mô hình duy nhất có hành vi tương tự trong các phép đo là Qwen3.5 35B-A3B của Alibaba, cũng sử dụng kiến trúc lai.

Hỗn hợp huấn luyện tập trung vào tiếng Đức

Liên minh đã xử lý tổng cộng khoảng 27 nghìn tỷ token, chia làm ba giai đoạn. Trong giai đoạn đầu, mô hình học các nền tảng ngôn ngữ từ khoảng 20 nghìn tỷ token được rút ra từ hỗn hợp rộng lớn gồm web, mã nguồn, toán học và các văn bản chuyên ngành. Giai đoạn thứ hai tiếp nối với khoảng 6 nghìn tỷ token từ các nguồn chất lượng cao hơn, được thiết kế để làm sắc nét các mô hình đã học trước đó. Giai đoạn thứ ba ngắn hơn sau đó mở rộng cửa sổ ngữ cảnh bằng cách huấn luyện trên các tài liệu rất dài, lên tới một triệu token.

Việc tập trung có chủ đích vào tiếng Đức là yếu tố then chốt. Trong giai đoạn đầu, tiếng Đức chiếm 7,2% hỗn hợp huấn luyện; ở giai đoạn thứ hai, tỷ lệ này tăng lên 15,3%. Trong công thức tham chiếu Nemotron của Nvidia, tất cả các ngôn ngữ không phải tiếng Anh cộng lại chỉ chiếm khoảng 5%.

Về nguồn dữ liệu, liên minh kết hợp văn bản web tiếng Đức từ HPLT, kho dữ liệu German Commons được cấp phép mở, các phần tiếng Đức của FinePDFs và FineWiki, cùng kho dữ liệu Genios được cấp phép thương mại chứa 193 triệu bài báo từ 916 ấn phẩm tiếng Đức. Các văn bản tiếng Đức được dịch bằng máy và tạo ra bằng phương pháp tổng hợp giúp hoàn thiện hỗn hợp này.

Điểm số mô hình mở hàng đầu cho cả tiếng Đức và tiếng Anh

Trong các đánh giá so với 16 mô hình mở khác, Soofi S dẫn đầu tất cả các mô hình hoàn toàn mở về tổng điểm cho cả tiếng Đức và tiếng Anh, theo báo cáo. Điều này bao gồm OLMo 3 32B từ Viện AI Allen và Apertus 70B từ ETH Zurich và EPFL. So với mọi tiêu chuẩn chủ quyền của châu Âu, mô hình này đều vượt trội trên tất cả các bộ tiêu chuẩn tiếng Đức, đôi khi với biên độ hai chữ số.

Trên các bộ tiêu chuẩn về mã nguồn, Soofi S đạt 73,8% trên HumanEval, 70,2 trên MBPP và 84,2 trên biến thể MBPP tiếng Đức, đây là những kết quả tốt nhất trong số các đối thủ nguồn mở. Trên INCLUDE-DE, một bài kiểm tra về kiến thức khu vực cụ thể của Đức, Soofi S đồng hạng nhất với 61,2 điểm cùng với mô hình lớn hơn là Qwen3.5 35B-A3B. So với tiêu chuẩn Nemotron, công thức dữ liệu tiếng Đức giúp cải thiện trình độ ngôn ngữ thêm 15,1 điểm và bài kiểm tra khoa học GPQA-Diamond thêm 9,6 điểm mà không làm giảm hiệu suất tiếng Anh.

Soofi S không đạt kết quả tốt trong các cuộc thi toán tiếng Đức, nơi nó đạt 56 điểm trên Minerva MATH-DE, thấp hơn nhiều so với Qwen3.5 35B-A3B (76,5) và Gemma 3 27B (65,6). Nó cũng tụt hậu trong việc truy xuất thực tế mở trong NaturalQuestions. Điều này có khả năng liên quan đến việc chỉ có 3 tỷ tham số hoạt động, vốn có thể lưu trữ ít kiến thức thế giới hơn so với một mô hình dày đặc 27B.

Bài kiểm tra ngữ cảnh dài RULER cũng cho thấy một điểm yếu cụ thể: Khi mô hình phải trích xuất các từ xuất hiện thường xuyên từ một văn bản dài, tỷ lệ thành công của Soofi S giảm xuống còn khoảng 3% khi vượt quá 32.000 token ngữ cảnh, trong khi mô hình Nemotron tương đương vẫn đạt được 60 đến 64%. Các tác giả cho rằng điều này là do dữ liệu huấn luyện ngữ cảnh dài của họ chứa nhiều tài liệu dài nhưng thiếu dữ liệu tổng hợp được thiết kế cho các tác vụ trích xuất. Trên mười hai tác vụ RULER còn lại, cả hai mô hình đều hoạt động tương đương nhau.

Cơ sở hạ tầng chủ quyền và tính mở được ghi chép đầy đủ

Quá trình huấn luyện diễn ra từ tháng 3 đến tháng 5 trên tối đa 512 GPU Nvidia B200 tại Industrial AI Cloud của Deutsche Telekom ở Munich, với tổng cộng khoảng 253.000 giờ GPU. Theo báo cáo, cơ sở này vận hành hoàn toàn bằng năng lượng tái tạo, được làm mát bằng nước từ kênh Eisbach và cung cấp nhiệt thải cho khu vực lân cận Tucherpark. Soofi S là một trong những đợt huấn luyện lớn đầu tiên trên cơ sở hạ tầng này.

Đứng sau Soofi là một liên minh gồm các tổ chức nghiên cứu và công ty Đức, do Hiệp hội AI Đức điều phối và được Bộ Kinh tế và Hành động Khí hậu Liên bang Đức tài trợ như một phần của chương trình IPCEI-CIS châu Âu.

Các đơn vị tham gia bao gồm Viện Fraunhofer IAIS và IIS, Trung tâm Nghiên cứu Trí tuệ Nhân tạo Đức (DFKI), TU Darmstadt, Đại học Würzburg, Trung tâm Nghiên cứu L3S, Đại học Khoa học Ứng dụng Berlin và các công ty AI Ellamind và Merantix Momentum. Mục tiêu của dự án là xây dựng một hệ sinh thái mô hình AI mở của châu Âu có thể chạy trên cơ sở hạ tầng chủ quyền và được thử nghiệm trong các ứng dụng công nghiệp.

Các nhà nghiên cứu đang phát hành trọng số mô hình cùng với các điểm kiểm tra trung gian được chọn lọc, mã huấn luyện và đánh giá hoàn chỉnh, cùng danh mục dữ liệu chi tiết liệt kê số lượng token thô, số epoch và đóng góp hiệu quả trên mỗi nguồn. Các nguồn đã được xem xét nhưng bị loại trừ cũng được ghi lại. Theo nhóm nghiên cứu, điều này có nghĩa là Soofi S đáp ứng Định nghĩa AI Nguồn mở 1.0 từ Open Source Initiative.

Một đề xuất nghiêm ngặt hơn cho định nghĩa dữ liệu mở châu Âu, yêu cầu mọi token huấn luyện phải có thể phân phối tự do, đã không được đáp ứng do 1,3% dữ liệu Genios có giấy phép thương mại. Báo cáo cho biết khoảng 99% hỗn hợp huấn luyện có thể được tái tạo độc lập. Giấy phép chính xác cho việc phát hành mô hình vẫn chưa được hoàn thiện.

Như tác giả chính Michael Fromm viết, Soofi S tự định vị mình nằm giữa các dự án chủ quyền châu Âu đa ngôn ngữ rộng rãi như EuroLLM hoặc Teuken (vốn bao phủ nhiều ngôn ngữ) và các mô hình trọng số mở quốc tế có hiệu suất cao nhất. Theo trang web của dự án, liên minh đang tìm kiếm các đối tác công nghiệp cho giai đoạn tiếp theo để thử nghiệm mô hình trong các ứng dụng liên quan đến tài liệu kỹ thuật, tạo mã và các hệ thống dựa trên tác nhân (agent-based systems).