Kimi K3 và DeepSeek V4: Sự phân hóa trong chiến lược phát triển mô hình đa phương thức

Những tiến bộ trong khả năng lập trình và năng lực của các tác nhân (agent) đã liên tục định hình lại bảng xếp hạng các mô hình trí tuệ nhân tạo. Chúng cũng nổi lên như một trong những con đường nhanh nhất để tạo ra giá trị thương mại.

Đồng thời, các tác nhân AI đang đảm nhận những nhiệm vụ dài hơi và phức tạp hơn, thúc đẩy ngày càng nhiều mô hình nền tảng đa năng bổ sung các khả năng đa phương thức (multimodal) gốc.

Một báo cáo về việc sử dụng trong doanh nghiệp do OpenAI công bố vào tháng 1 cho thấy việc tải lên hình ảnh xếp thứ ba trong số các công cụ ChatGPT được sử dụng phổ biến nhất trong các vai trò R&D, chỉ đứng sau tìm kiếm và phân tích dữ liệu.

Khi các tác nhân AI bắt đầu tạo ra các trang web, vận hành phần mềm và tự kiểm tra công việc của chính mình, thị giác đang đóng một vai trò rộng lớn hơn. Đầu vào hình ảnh không còn giới hạn ở những hình ảnh do người dùng cung cấp. Nó đang trở thành một cơ chế phản hồi mà các mô hình có thể sử dụng để kiểm tra kết quả đầu ra, xác định lỗi và điều chỉnh hành động của chúng.

Vào tháng 7, Moonshot AI đã phát hành Kimi K3, một mô hình mixture-of-experts với tổng cộng 2,8 nghìn tỷ tham số và cửa sổ ngữ cảnh một triệu token. Bên cạnh khả năng lập trình và khả năng tác nhân tầm xa, tính đa phương thức gốc đã trở thành một trong những đặc điểm định hình nên Kimi K3.

Tính đa phương thức gốc (native multimodality) đề cập đến việc huấn luyện hình ảnh, văn bản và các dạng dữ liệu khác cùng nhau để chúng cùng định hình mô hình trong quá trình tiền huấn luyện hoặc tiền huấn luyện liên tục. Những khả năng này sau đó được tinh chỉnh trong quá trình hậu huấn luyện và tích hợp vào khả năng nhận thức và ra quyết định của tác nhân.

Sau khi ra mắt, Kimi K3 đã đứng đầu bảng xếp hạng Frontend của Arena với số điểm 1.679. Bảng xếp hạng này đánh giá các mô hình thông qua sự so sánh mù của người dùng đối với các trang web tương tác mà chúng tạo ra. Nó đánh giá không chỉ liệu mã có hoạt động hay không, mà còn cả giao diện của trang web hoàn thiện.

Nền tảng phát triển trình duyệt Puter đã thử nghiệm Kimi K3 bằng cách cố tình đưa năm điểm khác biệt về hình ảnh vào một trang web. Bằng cách so sánh ảnh chụp màn hình của trang mục tiêu với phiên bản đã hiển thị, Kimi K3 đã xác định được cả năm điểm khác biệt mà không tạo ra bất kỳ kết quả dương tính giả nào.

Khả năng đa phương thức của nó cho phép nhận diện các vấn đề hình ảnh chỉ xuất hiện sau khi mã được chạy, tạo cơ sở cho một vòng sửa đổi tiếp theo. Moonshot AI gọi quy trình lặp lại giữa mã và ảnh chụp màn hình này là “vision in the loop” (thị giác trong vòng lặp). Sau khi viết mã, mô hình sẽ xem trang kết quả và tiếp tục thực hiện các điều chỉnh dựa trên những gì nó nhìn thấy.

Quy trình đó phụ thuộc vào khả năng diễn giải thông tin hình ảnh của mô hình.

Moonshot AI không đơn độc. Alibaba Group và ByteDance cũng đang theo đuổi tính đa phương thức gốc, coi thị giác là một khả năng nền tảng của các mô hình đa năng. Qwen3.8-Max của Alibaba và Doubao-Seed-2.1 của ByteDance đều giới thiệu khả năng hiểu hình ảnh và đầu vào đa phương thức như những tính năng chính.

Ngược lại, các mô hình nền tảng đa năng mới nhất từ DeepSeek, Z.ai và Hunyuan của Tencent vẫn chủ yếu dựa trên văn bản.

Người sáng lập DeepSeek, Liang Wenfeng, từng nói rằng việc huấn luyện AI hiệu quả không cần đến mô hình thế giới hay thậm chí là tính đa phương thức. Tuy nhiên, ông cũng cho rằng tính đa phương thức là thứ cuối cùng vẫn phải được phát triển.

Hai quan điểm này không nhất thiết phải mâu thuẫn. Các nhà phát triển mô hình đều đồng ý rộng rãi về giá trị lâu dài của tính đa phương thức. Sự bất đồng của họ nằm ở thời điểm và chi phí.

Khi khả năng lập trình cải thiện nhanh chóng, các quyết định về việc có nên huấn luyện thị giác cùng với ngôn ngữ hay không, cũng như việc phân bổ bao nhiêu năng lực mô hình, dữ liệu và sức mạnh tính toán cho nó, đang định hình các chiến lược kỹ thuật của các nhà phát triển mô hình hàng đầu Trung Quốc.

Tại sao các tác nhân AI cần có "đôi mắt"

Tính đa phương thức gốc có cần thiết không? Khi các tác nhân đảm nhận các chuỗi nhiệm vụ ngày càng dài, câu hỏi này đang trở nên cụ thể hơn.

“Phần lớn thời gian, tôi chỉ thích tải lên một ảnh chụp màn hình,” một nhà nghiên cứu từ một nhóm mô hình nền tảng hàng đầu cho biết. “Văn bản có thể đạt được kết quả tương tự, nhưng bạn sẽ phải tốn rất nhiều ngữ cảnh để mô tả các mối quan hệ hình ảnh.”

Đầu vào hình ảnh có thể làm cho nhiều tác vụ trở nên thuận tiện hơn, mặc dù người dùng không phải lúc nào cũng cảm nhận giá trị của nó theo cùng một cách.

“Hầu hết mọi người có thể không nhận thấy sự khác biệt, nhưng tính đa phương thức rất thuận tiện cho các nhà phát triển,” nhà nghiên cứu này nói.

Nhu cầu này không giới hạn ở phát triển phần mềm. Nhà nghiên cứu cho biết những người xung quanh ông không làm việc trong lĩnh vực AI thường sử dụng các mô hình để tạo các bài thuyết trình PowerPoint.

“Các chuyên gia có thể cần nhiều khả năng và nhiều phương thức hơn, nhưng người dùng phổ thông cũng sẽ sử dụng chúng trong các tình huống cụ thể,” ông nói.

Một mô hình chỉ có văn bản không thể trực tiếp diễn giải đầu vào hình ảnh. Trong thực tế, một hệ thống có thể sử dụng nhận dạng ký tự quang học (OCR) hoặc một mô hình thị giác-ngôn ngữ riêng biệt để chuyển đổi hình ảnh thành văn bản, nhãn, tọa độ hoặc các trường có cấu trúc. Sau đó, nó có thể chuyển thông tin đó cho một mô hình văn bản để suy luận.

Các công cụ này có thể được kết nối thông qua khung tác nhân hoặc Model Context Protocol (MCP), cho phép việc diễn giải hình ảnh hoạt động như một thành phần bên ngoài.

Từ góc độ này, việc cung cấp cho một tác nhân quyền truy cập vào đầu vào hình ảnh không chỉ là một thách thức về R&D. Đó còn là một quyết định thiết kế sản phẩm.

Một hệ thống được tinh chỉnh tốt có thể sử dụng một mô hình ngôn ngữ lớn (LLM) làm bộ điều khiển trung tâm và ủy quyền việc diễn giải hình ảnh cho một mô hình hạ nguồn nhỏ hơn. Kiến trúc này là đủ cho nhiều tác vụ thông thường.

Nhưng nhà nghiên cứu về đa phương thức cho biết cách tiếp cận mô-đun có những hạn chế.

“Nếu bạn gọi một công cụ, bạn vẫn đang xử lý hai mô hình,” ông nói. “Một LLM thì ‘mù’, trong khi một trợ thủ nhỏ hơn ở hạ nguồn lại có thể nhìn rõ.”

Trong một mô hình đa phương thức gốc, ông cho biết, kênh giao tiếp giữa đầu vào hình ảnh và xương sống ngôn ngữ có băng thông lớn hơn. Hệ thống không cần phải nén một cảnh thành văn bản trước khi chuyển nó cho một mô hình khác để đánh giá.

Sự khác biệt cũng mở rộng sang quá trình hậu huấn luyện.

“Nếu mô hình có thể tự làm điều đó, thì chắc chắn là tốt hơn,” ông nói.

Trong quá trình học tăng cường dựa trên thị giác, một mô hình đa phương thức gốc có thể kiểm tra một trang hoặc hình ảnh mà nó đã tạo ra và tích hợp kết quả hình ảnh vào cùng một quỹ đạo huấn luyện. Khi sử dụng một công cụ bên ngoài, kết quả nhận thức vẫn phải được chuyển giữa hai mô hình.

Sự khác biệt trở nên rõ ràng hơn trong các nhiệm vụ tầm xa đòi hỏi mô hình phải kiểm tra màn hình nhiều lần. Một công cụ thị giác bên ngoài trước tiên phải chuyển đổi màn hình thành văn bản rồi mới chuyển cho mô hình chính để đánh giá. Một mô hình đa phương thức gốc có thể diễn giải trực tiếp các thay đổi trên trang và quyết định phải làm gì tiếp theo.

Trong một cuộc phỏng vấn với 36Kr, một nhà nghiên cứu nhớ lại lần đầu tiên ông sử dụng GPT-5.6 Sol để vận hành một tác nhân dựa trên PC. Trải nghiệm đó, ông nói, thật “choáng ngợp”.

GPT-5.6 Sol có thể tự động mở trình duyệt, xử lý xác thực và quyền, đẩy mã cục bộ lên nền tảng, đăng nhập vào nền tảng huấn luyện và khởi chạy một tác vụ.

“Nếu không có tính đa phương thức gốc, mô hình không có mắt và phản hồi của nó chỉ giới hạn ở văn bản,” nhà nghiên cứu đa phương thức nói. “Nhưng phần lớn kết quả hướng tới người dùng đều là hình ảnh, bao gồm các trang web, hình ảnh và video. Mô hình cần hiểu những kết quả đó và sau đó sử dụng chúng để tự cung cấp phản hồi cho chính mình.”

Vẫn chưa có sự đồng thuận về việc liệu thị giác chỉ đơn thuần là một công cụ giúp các mô hình hoàn thành nhiệm vụ hay là một phần không thể thiếu để hiểu thế giới.

Đồng sáng lập OpenAI và cựu giám đốc khoa học Ilya Sutskever từng nói trong một buổi trò chuyện với CEO Nvidia Jensen Huang rằng văn bản là “một hình chiếu của thế giới”. Con người đã nén một lượng lớn các quy tắc thế giới thực vào ngôn ngữ, cho thấy rằng một mô hình tiếp tục học từ văn bản vẫn có thể phát triển sự hiểu biết về thế giới.

Người chiến thắng giải thưởng Turing và nhà khoa học AI trưởng của Meta, Yann LeCun, đã đi đến kết luận gần như ngược lại.