Chuyên gia bác bỏ tin đồn Kimi K3 'sao chép' công nghệ từ Anthropic Fable

Cố vấn khoa học Nhà Trắng Michael Kratsios cho biết Moonshot, công ty Trung Quốc đứng sau Kimi K3 – mô hình LLM mã nguồn mở có trọng số lớn nhất hiện nay – đã xây dựng mô hình của mình bằng cách sao chép Fable LLM của Anthropic, đồng thời sử dụng các loại chip không được phép xuất khẩu sang Trung Quốc.

“Việc chưng cất công nghiệp quy mô lớn, lén lút nhằm đánh cắp công nghệ độc quyền của Mỹ và làm suy yếu nghiên cứu của Mỹ là điều không thể chấp nhận được,” Kratsios viết, trong bối cảnh có những cuộc thảo luận về việc cấm các mô hình mã nguồn mở của Trung Quốc vốn đang gây chấn động trong ngành AI. Moonshot đã không phản hồi các câu hỏi về quy trình đào tạo của họ, và Kratsios cũng không chia sẻ thêm chi tiết về nguồn gốc các cáo buộc của mình.

Bài đăng trên Twitter của Kratsios lặp lại các bình luận từ Bộ trưởng Tài chính Scott Bessent rằng “chúng tôi đang tìm thấy các dấu hiệu (watermarks) của các mô hình ngôn ngữ lớn từ Mỹ trên nhiều mô hình của Trung Quốc, và điều đó là không thể chấp nhận được.” Hiện chưa rõ các dấu hiệu đó bao gồm những gì, và Bộ Tài chính cũng không phản hồi yêu cầu bình luận.

Tuy nhiên, các chuyên gia hoài nghi rằng việc chưng cất (distillation) — quá trình truy vấn một mô hình LLM để xác định cơ chế hoạt động bên trong và sao chép khả năng của nó — là nguyên nhân tạo nên các khả năng tiên tiến mà Kimi K3 thể hiện.

“Tôi không nghĩ bạn có thể tạo ra một mô hình mạnh mẽ như vậy trong thời gian ngắn ngay sau khi Fable ra mắt chỉ bằng cách chưng cất thuần túy,” Braden Hancock, một nhà nghiên cứu tại Viện Laude và là đồng sáng lập của Snorkel AI, chia sẻ với TechCrunch. “Thành thật mà nói, thậm chí không đủ thời gian, đúng không? Fable chỉ mới được công khai từ ngày 1 tháng 7. Bạn không thể chưng cất chừng đó dữ liệu, đào tạo một mô hình và phát hành nó chỉ trong hai tuần.”

“Tôi từng có quan điểm rằng chưng cất ngày càng ít tác động hơn theo thời gian khi các mô hình Trung Quốc tiến gần đến ngưỡng tiên phong và chế độ đào tạo chuyển sang [học tăng cường - reinforcement learning],” Nathan Lambert, một nhà nghiên cứu AI tại Viện Allen về AI, cho biết trong một podcast phát hành hôm qua. “Nếu đó là sự thật, bất kỳ ai cũng có thể dễ dàng bắt kịp GLM hoặc K3 bằng cách sử dụng dữ liệu của chúng để chưng cất. Nhưng chúng ta chưa thấy, hoặc sẽ không thấy điều này chỉ từ việc tinh chỉnh có giám sát (supervised fine-tuning).”

Việc thực hiện chưng cất đòi hỏi một phòng thí nghiệm phải truy vấn mô hình mục tiêu một cách có hệ thống để tạo ra dữ liệu có thể sử dụng cho quá trình hậu đào tạo. Đôi khi, việc này liên quan trực tiếp đến việc yêu cầu mô hình trình bày chuỗi suy nghĩ (chain-of-thought) để hiểu cách nó giải quyết vấn đề. Những lần khác, các câu lệnh (prompt) và phản hồi từ một mô hình được sử dụng để đào tạo một mô hình mới trong một quy trình gọi là tinh chỉnh có giám sát, hay SFT.

Chính quy trình tinh chỉnh này có thể dẫn đến việc một mô hình do bên thứ ba tạo ra lại tự nhận mình là Claude. Theo quan điểm của Lambert, tinh chỉnh là nơi “mô hình học cách cư xử.”

Nhưng Lambert cho rằng lợi ích của SFT đang trở nên ít quan trọng hơn khi các mô hình trở nên phức tạp hơn. Để chưng cất các khả năng giống như Fable, có lẽ cần đến các kỹ thuật học tăng cường. Trong nhiều trường hợp, điều đó có nghĩa là sử dụng một tác nhân (agent) của mô hình lớn hơn để chấm điểm các phản hồi của mô hình nhỏ hơn, và điều chỉnh dựa trên điểm số đó.

Các kỹ thuật tiên tiến hơn cũng đòi hỏi cơ sở hạ tầng đáng kể hơn. Các đợt chạy học tăng cường quy mô lớn có thể yêu cầu hàng chục triệu tác nhân. Việc sử dụng API của một phòng thí nghiệm tiên phong để làm điều đó “sẽ cực kỳ tốn kém và có khả năng trở thành nút thắt cổ chai về thời gian, vì các mô hình này khá chậm và thành thật mà nói, có thể thậm chí không mang lại sự cải thiện về hiệu suất.”

Có vẻ như các mô hình tiên phong trước đây có thể đã góp phần vào Kimi; Anthropic đã công khai cáo buộc Moonshot, DeepSeek và MiniMax chưng cất các mô hình của họ một cách có hệ thống vào đầu năm nay. Anthropic cho biết họ đã phát hiện hàng triệu lượt trao đổi giữa các mô hình của mình và người dùng mà họ xác định là thuộc các công ty đó thông qua địa chỉ IP và các siêu dữ liệu khác. Những truy vấn đó “khác biệt so với các mô hình sử dụng thông thường, phản ánh việc trích xuất khả năng một cách cố ý thay vì sử dụng hợp pháp.” Anthropic không phản hồi các câu hỏi của TechCrunch về việc chưng cất Fable.

Tuy nhiên, chưng cất được coi là phổ biến giữa các công ty AI, không chỉ ở Trung Quốc. Elon Musk đã làm chứng vào đầu năm nay rằng công ty SpaceXAI của ông đã chưng cất các mô hình của OpenAI để phát triển Grok, và thực tiễn này rất phổ biến trong ngành. Ranh giới giữa chưng cất và phát triển các tập dữ liệu tổng hợp, chẳng hạn, có thể khá mờ nhạt.

“Nhìn chung, người Mỹ đang đánh giá thấp chuyên môn kỹ thuật của các đội ngũ Trung Quốc này,” Hancock nói. “Một trong những người sáng lập Moonshot từng là nghiên cứu sinh tiến sĩ tại CMU. Đây là những nhà nghiên cứu và kỹ sư thực thụ đang làm những công việc nghiêm túc. …nếu các mô hình của Mỹ dừng lại, tôi nghĩ tiến trình của Trung Quốc sẽ chậm lại, nhưng vẫn sẽ tiếp tục. Họ không chỉ đang đi nhờ hơi người khác.”

Cũng rất khó để tách biệt việc chưng cất khỏi phần thứ hai trong bình luận của Kratsios — rằng Moonshot đã có được các chip Nvidia tiên tiến, Grace Blackwell 300s, và cũng truy cập vào các máy chủ được trang bị GB300 tại Thái Lan. Những con chip đó bị cấm xuất khẩu sang Trung Quốc, nhưng theo Sam Bresnick, một nghiên cứu viên tại Trung tâm An ninh và Công nghệ Mới nổi của Georgetown, một thị trường đen vẫn tồn tại. Vào tháng 5, người sáng lập Supermicro, một nhà sản xuất máy chủ của Mỹ, đã bị truy tố vì buôn lậu chip tiên tiến vào Trung Quốc.

“Tôi là người ủng hộ luật ‘hiểu khách hàng của bạn’ (know your customer) cho các trung tâm dữ liệu trên khắp thế giới,” Bresnick nói. “Nếu bạn để một công ty thực hiện các đợt đào tạo khổng lồ trên phần cứng hiện đại nhất của mình, cần phải có một cơ chế báo cáo về việc công ty đó là ai và họ đang làm gì.”

Bộ Thương mại dưới thời Tổng thống Joe Biden đã đề xuất các quy tắc liên bang về “hiểu khách hàng của bạn” cho các trung tâm dữ liệu vào năm 2024, nhưng dường như không có thêm tiến triển nào dưới thời Donald Trump. Tuy nhiên, các nhà xuất khẩu vận chuyển chip tiên tiến ra nước ngoài phải đảm bảo rằng chúng chỉ được sử dụng cho các mục đích đã được phê duyệt.

Khi bạn mua hàng thông qua các liên kết trong bài viết của chúng tôi, chúng tôi có thể nhận được một khoản hoa hồng nhỏ. Điều này không ảnh hưởng đến tính độc lập trong biên tập của chúng tôi.

Tim Fernholz là một nhà báo viết về công nghệ, tài chính và chính sách công. Ông đã theo sát sự trỗi dậy của ngành công nghiệp vũ trụ tư nhân và là tác giả cuốn Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race. Trước đây, ông là phóng viên cấp cao tại Quartz, trang tin tức kinh doanh toàn cầu, trong hơn một thập kỷ, và bắt đầu sự nghiệp của mình với tư cách là phóng viên chính trị tại Washington, D.C. Bạn có thể liên hệ hoặc xác minh thông tin từ Tim bằng cách gửi email đến [email protected] hoặc qua tin nhắn mã hóa tới tim_fernholz.21 trên Signal.

Xem tiểu sử