Kimi K3 và DeepSeek V4: Khoảng cách từ tư duy đa phương thức nguyên bản

Tác giả | Lý Chiếu Phong

Biên tập | Trương Vũ Hân

“Nếu các tác vụ chuỗi dài chỉ dựa vào phản hồi ở cấp độ mã nguồn, sai số có thể tích tụ liên tục, dẫn đến kết quả cuối cùng rất kém.” Khi nói về ý nghĩa của đa phương thức nguyên bản (native multimodal), một nhà nghiên cứu về đa phương thức cho biết: “Thị giác là một loại phản hồi chính xác hơn và cũng gần gũi hơn với ý định của người dùng.”

Trong năm qua, khả năng Coding và Agent đã liên tục viết lại bảng xếp hạng các mô hình ngôn ngữ lớn (LLM), đồng thời trở thành một trong những kịch bản hiện thực hóa giá trị thương mại nhanh nhất của AI. Đồng thời, khi Agent bắt đầu tiếp quản nhiều tác vụ chuỗi dài hơn, ngày càng nhiều mô hình ngôn ngữ lớn đa năng bắt đầu trang bị khả năng đa phương thức nguyên bản.

Tháng 1 năm nay, một báo cáo về việc sử dụng của doanh nghiệp do OpenAI công bố cho thấy, trong ba loại công cụ ChatGPT được sử dụng phổ biến nhất tại các vị trí R&D, tải ảnh lên đứng thứ ba, chỉ sau tìm kiếm và phân tích dữ liệu.

Khi Agent bắt đầu tạo trang web, vận hành phần mềm và kiểm tra kết quả chạy, vai trò của thị giác đang dần tiến hóa: nó không còn chỉ là một bức ảnh người dùng giao cho mô hình, mà bắt đầu trở thành phản hồi để mô hình kiểm tra công việc, phát hiện lỗi và điều chỉnh hành động.

Vừa qua vào tháng 7, Moonshot AI đã phát hành Kimi K3. Đây là mô hình MoE (Mixture of Experts) với tổng tham số 2,8 nghìn tỷ, hỗ trợ ngữ cảnh 1 triệu token. Ngoài khả năng Coding và Agent đường dài, khả năng đa phương thức nguyên bản xuất sắc là một nhãn dán khác của K3.

Cái gọi là đa phương thức nguyên bản chính là để các dữ liệu như hình ảnh, văn bản cùng định hình mô hình chính ngay từ giai đoạn tiền huấn luyện hoặc tiền huấn luyện liên tục, sau đó tiếp tục tối ưu hóa trong giai đoạn hậu huấn luyện, cuối cùng tham gia vào quá trình nhận thức và ra quyết định của Agent (tác nhân thông minh).

Sau khi ra mắt, K3 từng đứng đầu bảng xếp hạng Arena Frontend Code với 1679 điểm. Bảng xếp hạng này dựa trên việc người dùng bình chọn mù các trang web tương tác do mô hình tạo ra, đánh giá không chỉ khả năng chạy được mã nguồn mà còn cả hiệu quả hiển thị cuối cùng của trang.

Nền tảng phát triển trình duyệt Puter từng tạo ra 5 sai lệch thị giác trong trang web thử nghiệm, K3 đã đối chiếu ảnh chụp màn hình trang mục tiêu và trang đang chạy, tìm ra tất cả mà không có báo động giả. Nhờ khả năng đa phương thức nguyên bản xuất sắc, K3 có thể hiểu được các vấn đề thị giác sau khi mã nguồn chạy, cung cấp cơ sở cho vòng sửa đổi tiếp theo. Phía Kimi gọi phương thức lặp đi lặp lại giữa mã nguồn và ảnh chụp màn hình này là “vision in the loop”: mô hình xem trang sau khi viết mã, rồi tiếp tục điều chỉnh dựa trên kết quả thị giác.

Tất cả những điều này đều không thể tách rời khả năng đa phương thức của mô hình.

Ngoài Moonshot AI, Alibaba và ByteDance cũng đang đi theo lộ trình đa phương thức nguyên bản, coi thị giác là khả năng cơ bản của mô hình đa năng. Trên các phiên bản mới nhất như Qwen3.8-Max và Doubao-Seed-2.1, có thể thấy hiểu biết thị giác và đầu vào đa phương thức đều xuất hiện như những tính năng chính.

Trong khi đó, ở phía bên kia của nhóm dẫn đầu các mô hình nội địa, các nền tảng cơ sở đa năng mới nhất của DeepSeek, Zhipu AI và Tencent Hunyuan vẫn chủ yếu dựa vào đầu vào văn bản.

Trước đó, nhà sáng lập DeepSeek Lương Văn Phong từng nói: “Để huấn luyện AI tốt, không cần đến mô hình thế giới, thậm chí không cần đa phương thức.” Nhưng ông cũng cho biết thêm: “Đa phương thức cuối cùng vẫn phải làm.”

Hai câu nói này không hề mâu thuẫn. Các công ty không có quá nhiều bất đồng về giá trị dài hạn của đa phương thức, sự khác biệt thực sự nằm ở thời điểm và cái giá phải trả.

Trong giai đoạn Coding lặp lại nhanh chóng, việc có nên huấn luyện đồng thời thị giác hay không, cũng như đầu tư bao nhiêu dung lượng mô hình, dữ liệu và sức mạnh tính toán cho việc này, đang ảnh hưởng đến lộ trình kỹ thuật của các mô hình hàng đầu trong nước.

Tại sao Agent cần đôi mắt?

Làm đa phương thức nguyên bản, rốt cuộc có cần thiết không? Khi chuỗi tác vụ của Agent hiện nay ngày càng dài, câu hỏi này bắt đầu trở nên cụ thể hơn.

“Nhiều lúc tôi chỉ thích nhập ảnh chụp màn hình.” Một nhà nghiên cứu từ một đội ngũ mô hình cơ sở hàng đầu cho biết, “Có thể văn bản cũng có thể đáp ứng nhu cầu tương tự, nhưng bạn phải tốn rất nhiều ngữ cảnh để mô tả các mối quan hệ thị giác.”

Đầu vào thị giác có thể mang lại nhiều tiện lợi hơn, nhưng cảm nhận của người dùng khác nhau về nó lại không giống nhau. “Người bình thường có thể không cảm nhận được, nhưng đối với cộng đồng lập trình viên, có đa phương thức vẫn rất tiện lợi.”

Tuy nhiên, nhu cầu này không chỉ thuộc về các lập trình viên. Nhà nghiên cứu nêu trên đề cập rằng, một trong những kịch bản mà những người dùng không phải là dân chuyên AI xung quanh anh sử dụng mô hình nhiều nhất chính là làm PPT. “Những người chuyên nghiệp hơn có thể cần nhiều khả năng hơn, nhiều phương thức hơn, nhưng người dùng phổ thông cũng sẽ sử dụng nó trong các kịch bản cụ thể.”

Mô hình thuần văn bản bản thân nó vẫn “không nhìn thấy”. Hệ thống thực tế có thể gọi OCR hoặc VLM (mô hình ngôn ngữ thị giác) độc lập, trước tiên chuyển đổi hình ảnh thành văn bản, nhãn, tọa độ hoặc các trường có cấu trúc, sau đó mới đưa cho mô hình văn bản suy luận. Các công cụ này có thể được kết nối thông qua khung Agent hoặc MCP, dưới dạng “cắm ngoài” để có được khả năng thị giác.

Từ góc độ này, mệnh đề “làm thế nào để Agent có được khả năng đầu vào thị giác” không chỉ là vấn đề R&D mô hình cơ sở, mà còn là một bài toán về sản phẩm.

Nếu hệ thống được điều chỉnh đủ tốt, một mô hình ngôn ngữ lớn ở thượng nguồn làm trung tâm, một mô hình thị giác nhỏ hơn ở hạ nguồn, giống như ông chủ giao một việc nhỏ cho nhân viên, là đủ để giải quyết một lượng lớn các tác vụ phổ thông.

Nhưng dưới góc nhìn của nhà nghiên cứu đa phương thức, giải pháp mô-đun này vẫn có giới hạn. “Nếu gọi một công cụ, suy cho cùng vẫn là hai mô hình: một LLM là ‘người mù’, hạ nguồn phối hợp với một đàn em có thể nhìn rõ.” Anh giải thích rằng, đầu vào thị giác bên trong mô hình đa phương thức nguyên bản và trục ngôn ngữ có “kênh giao tiếp rộng hơn”, thay vì nén hình ảnh thành văn bản rồi mới đưa cho mô hình khác phán đoán.

Sự khác biệt này cũng kéo dài đến giai đoạn hậu huấn luyện. “Nếu mô hình có thể tự làm, chắc chắn là điều tốt hơn.” Trần Dữ nói, mô hình đa phương thức nguyên bản có thể đọc lại trang hoặc hình ảnh do chính mình tạo ra trong quá trình học tăng cường thị giác, đưa kết quả thị giác vào cùng một quỹ đạo huấn luyện; nếu phụ thuộc vào công cụ bên ngoài, kết quả nhận thức còn phải truyền tải giữa hai mô hình.

Và trong các tác vụ chuỗi dài cần xem màn hình lặp đi lặp lại, sự khác biệt này sẽ càng rõ rệt hơn. Công cụ thị giác kết nối ngoài phải chuyển hình ảnh thành văn bản trước, rồi mới đưa cho mô hình chính phán đoán; mô hình đa phương thức nguyên bản có thể trực tiếp hiểu được sự thay đổi của trang, sau đó trực tiếp quyết định bước tiếp theo phải làm gì.

Trong cuộc trò chuyện, một nhà nghiên cứu đã hồi tưởng lại với *Smart Emergence* về cảm giác “choáng ngợp” lần đầu tiên để GPT-5.6 Sol vận hành Agent trên PC. GPT-5.6 Sol không chỉ có thể tự động mở trình duyệt, mà còn có thể xử lý xác thực và quyền hạn, đẩy mã nguồn cục bộ lên nền tảng, thậm chí trực tiếp đăng nhập vào nền tảng huấn luyện và khởi chạy tác vụ.

Willison đánh giá, mô hình “biết rất nhiều mẹo”, để hoàn thành mục tiêu, nó gần như sử dụng tất cả các cách có thể.

“Nếu không có đa phương thức nguyên bản, mô hình sẽ không có đôi mắt, phản hồi cũng chỉ giới hạn trong văn bản.” Nhà nghiên cứu đa phương thức nêu trên nói, “Nhưng nhiều đầu ra hướng tới người dùng đều là thị giác, như trang web, hình ảnh và video, mô hình cần hiểu những kết quả này, rồi tự đưa ra phản hồi cho chính mình.”

Trên thực tế, đối với việc thị giác rốt cuộc chỉ là một công cụ để mô hình hoàn thành tác vụ, hay là một phần không thể thiếu để hiểu thế giới, từ trước đến nay trong ngành vẫn chưa đạt được sự đồng thuận.

Đồng sáng lập OpenAI, cựu giám đốc khoa học Ilya Sutskever từng gọi văn bản là “một sự phóng chiếu của thế giới”: nhân loại đã nén một lượng lớn quy luật thực tế vào ngôn ngữ, mô hình học tập văn bản liên tục vẫn có thể đạt được sự hiểu biết về thế giới.

Nhận định của người đoạt giải Turing, nhà khoa học AI trưởng tại Meta Yann LeCun lại gần như ngược lại: “Đại đa số tri thức nhân loại không được thể hiện dưới dạng văn bản.” Ngôn ngữ chỉ là thông tin đã qua sàng lọc và khái quát hóa của con người; mô hình muốn hiểu vật thể, không gian và hành động, cuối cùng vẫn phải học từ hình ảnh, video và tương tác thực tế.

Văn bản là thông tin đã được khái quát hóa cao độ, hình ảnh và video giống tín hiệu gốc hơn. Tín hiệu gốc chứa đựng thế giới mà văn bản không ghi lại, cũng cần nhiều dữ liệu, sức mạnh tính toán và sự kiên nhẫn hơn mới có thể được chắt lọc thành tri thức có khả năng khái quát hóa.

“Đa phương thức chắc chắn không phải là yếu tố quyết định, nhưng nó rất quan trọng.” Một nhà nghiên cứu mô hình nói, “Việc trả lời câu hỏi bằng hình ảnh, video cơ bản đã khá bão hòa. Bước tiếp theo nên đưa đa phương thức vào các kịch bản thực tế gần với sản xuất và các tác vụ phức tạp.”

Mặt khác, khi hệ sinh thái Agent phổ biến rộng rãi trong người dùng đại chúng, kỳ vọng của người dùng đối với các mô hình flagship cũng đang thay đổi.

Cuối tháng 6, giám đốc khoa học của Zhipu AI Đường Kiệt đã kêu gọi người dùng trên nền tảng X về “những tính năng mới nào phải được thêm vào phiên bản GLM tiếp theo”, câu trả lời xuất hiện lặp đi lặp lại trong phần bình luận chính là “thị giác”.

Trước đó, nhiều nhân vật trong ngành đã chia sẻ với *Smart Emergence* rằng, các mô hình cơ sở đa năng thế hệ tiếp theo của Zhipu AI và Tencent Hunyuan đều có khả năng tiến xa hơn nữa về phía đa phương thức nguyên bản.

Xu hướng đã xuất hiện, nhưng liệu có nên tăng cường toàn diện lộ trình đa phương thức nguyên bản hay không, các đội ngũ mô hình cơ sở vẫn đang đối mặt với vấn đề phân bổ nguồn lực.