Chỉ cần một card RTX 3090: Mô hình AI nội địa hóa giúp doanh nghiệp tự vận hành văn phòng thông minh

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

20:22:41, 20/09/2026 Nguồn: QbitAI

Miếng bánh AI văn phòng, có lẽ China Telecom sẽ là bên đầu tiên cắt lấy một phần.

Henry đưa tin từ Aofei Temple

QbitAI | Kênh chính thức QbitAI

Miếng bánh AI văn phòng, có lẽ China Telecom sẽ là bên đầu tiên cắt lấy một phần.

Mùa hè này, các ông lớn đồng loạt đổ vốn vào AI văn phòng. Cạnh tranh về năng lực Agent, cạnh tranh về cổng truy cập công việc, cạnh tranh về quy trình làm việc doanh nghiệp; sau Coding, văn phòng đã trở thành chiến trường tiếp theo mà các Agent nhất định phải giành lấy.

Thế nhưng, ngay khi mọi người đang bận rộn tranh giành cổng truy cập, vẫn còn một nhóm doanh nghiệp thậm chí còn chưa bước được qua cửa.

Nguyên nhân thực tế đến mức đau lòng. Dữ liệu của họ không được phép ra khỏi vùng nội bộ, mô hình tốt nhất là nên triển khai tại chỗ, trong khi năng lực tính toán trong tay lại chẳng mấy dư dả. Thế mà, tài liệu dài vẫn phải đọc, nghiệp vụ phức tạp vẫn phải xử lý, những việc cần làm thì chẳng thiếu thứ gì.

Mô hình Xing4.0-29B-A4B mới được China Telecom mã nguồn mở lần này nhắm thẳng vào nhóm nhu cầu đó.

Hơn nữa, thứ mang đến lần này còn là một mô hình lớn (Large Model) thông minh về mã nguồn, hạng nhẹ và được nội địa hóa toàn diện. Từ chip nội địa, khung huấn luyện nội địa, cho đến huấn luyện mô hình và triển khai suy luận, toàn bộ chuỗi kỹ thuật đều đã được tinh chỉnh hệ thống.

Để hiện thực hóa việc triển khai tại chỗ nhiều nhất có thể, Xing4.0-29B-A4B sử dụng kiến trúc MoE, với tổng số 29 tỷ tham số, mỗi lần suy luận chỉ kích hoạt khoảng 4 tỷ tham số. Sau khi lượng tử hóa 4-bit, chỉ cần một chiếc card RTX 3090 là có thể vận hành.

Tất nhiên, chạy được chỉ là bước đầu tiên.

Điều mà doanh nghiệp thực sự quan tâm là mô hình trên chiếc card đồ họa này rốt cuộc có thể làm được bao nhiêu việc.

Ví dụ, khi xử lý các tài liệu quan trọng, mô hình có thể trực tiếp hoàn thành việc hiểu nội dung, trích xuất chỉ số và sắp xếp thông tin ngay tại chỗ, dữ liệu trong suốt quá trình không cần phải rời khỏi môi trường doanh nghiệp.

Một ví dụ khác, nếu đưa cho nó một bộ hồ sơ dự thầu dài 200 trang, mô hình có thể hoàn thành việc đánh giá sơ bộ về kỹ thuật, thương mại và giá cả ngay tại chỗ trong khoảng 20 phút, đồng thời đưa ra căn cứ chấm điểm cho từng mục.

Hơn thế nữa, sự cân nhắc của nó đối với việc triển khai tại chỗ không chỉ dừng lại ở các card đồ họa tiêu dùng.

Xing4.0-29B-A4B được huấn luyện hoàn toàn dựa trên năng lực tính toán của Huawei Ascend 910C, đồng thời sử dụng khung huấn luyện và bộ công cụ phát triển MindSpore/MindFormers nội địa, thực sự hiện thực hóa việc "chip nội huấn luyện mô hình nội".

Ở khâu triển khai suy luận, nó cũng đã hoàn thành việc xác thực tương thích với Ascend. Có thể nói, từ huấn luyện đến ứng dụng thực tế, con đường sử dụng năng lực tính toán nội địa đã được khai thông.

Hiện tại, mô hình đã được mở mã nguồn trên các nền tảng như GitHub, Hugging Face, Gitee, ModelScope, Modelers và hỗ trợ đồng thời việc gọi API.

Đáng chú ý là, tính đến thời điểm viết bài, Xing4.0-29B-A4B đã lọt vào bảng xếp hạng xu hướng mô hình của Hugging Face, đứng ở vị trí thứ tư.

Các bạn quan tâm có thể trực tiếp sử dụng ngay.

(Liên kết liên quan ở cuối bài)

Vừa phải chạy được, vừa phải làm được việc

Thú thật, việc đưa mô hình vào một chiếc card đồ họa và việc để nó đảm đương ổn thỏa công việc hàng ngày của doanh nghiệp là hai chuyện khác nhau.

Suy cho cùng, các nhiệm vụ mà doanh nghiệp giao phó hiếm khi chỉ đơn giản là một câu hỏi đáp.

Một tài liệu đọc xong, có thể còn phải trích xuất thông tin, gọi công cụ, đối chiếu kết quả, cuối cùng là sắp xếp thành một tài liệu hoàn chỉnh để bàn giao.

Chưa kể, những việc này ngày nào cũng phải làm, không chỉ cần cân nhắc tính ổn định mà còn phải cân nhắc hiệu quả chi phí.

Để đáp ứng những yêu cầu này, vừa phải tiếp tục hạ thấp chi phí triển khai và vận hành, vừa phải rèn luyện năng lực làm việc thật vững chắc. Vế sau chính là lý do tại sao Xing4.0-29B-A4B lần này tập trung tăng cường năng lực Coding và Agent.

Trước hết là Coding.

Trước đây, một vấn đề phổ biến của các mô hình hàng chục tỷ tham số khi viết code là chỉ dừng lại ở mức viết một hàm hay bổ sung vài dòng code.

Nhưng một khi giao cho nó cả một kho lưu trữ mã nguồn (code repository) và yêu cầu nó giải quyết một vấn đề kỹ thuật thực sự, mọi chuyện sẽ không còn suôn sẻ như vậy nữa.

Bởi vì nó cần phải hiểu cấu trúc dự án trước, theo dõi các lời gọi giao diện (interface calls) xuyên suốt các tệp tin, sau đó kết hợp với tài liệu, nhật ký (logs) và ngữ cảnh lịch sử để định vị vấn đề. Sau khi sửa xong, còn phải xác minh xem việc sửa đổi đó có hiệu quả không, có ảnh hưởng đến các phần khác hay không.

Code chỉ là phần cuối cùng được viết ra, còn một chuỗi công việc dài phía trước cần phải thực hiện.

Nhắm vào vấn đề nan giải này, Xing4.0-29B-A4B lần này đã đẩy năng lực Coding từ "viết đoạn mã" tiến thêm một bước tới "thực hiện kỹ thuật".

Nó hỗ trợ nguyên bản ngữ cảnh 256K và có thể mở rộng lên 512K, cho phép một nhiệm vụ có thể chứa nhiều code, tài liệu, nhật ký và lịch sử hơn, tạo không gian để hiểu toàn bộ dự án.

Ví dụ, để biến sổ cái hợp đồng phân tán trong Excel thành một màn hình quản trị lớn, thứ cần thiết không chỉ là một hàm vẽ đồ thị.

Mô hình còn phải hiểu dữ liệu nghiệp vụ trong bảng, tổ chức các nhu cầu như tổng quan hợp đồng, phân bổ số tiền, nhận diện rủi ro và cảnh báo thực hiện hợp đồng vào cùng một trang hiển thị.