Đừng tranh cãi nữa! Vợ của Shannon mới là mô hình ngôn ngữ lớn đầu tiên trên thế giới

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

Đừng tranh cãi nữa! Vợ của Shannon mới chính là mô hình ngôn ngữ lớn đầu tiên trên thế giới

05-07-2026 11:51:37 Nguồn: QbitAI

70 năm trước, Shannon đã sở hữu một mô hình ngôn ngữ lớn được tùy chỉnh riêng trên thiết bị

Đừng tranh cãi nữa!

Người đầu tiên trên thế giới công khai bản thân là một mô hình ngôn ngữ lớn, có lẽ chính là vợ của Shannon.

Vào một buổi tối khoảng năm 1950, Shannon - cha đẻ của lý thuyết thông tin - cùng vợ là Betty đã thực hiện một thí nghiệm nhỏ trong phòng khách.

Trong thí nghiệm này, Shannon đóng vai một giám khảo cầm sách kiểm tra, còn Betty đóng vai một học sinh chơi trò nối chữ, đoán chữ cái tiếp theo dựa trên gợi ý của Shannon.

Cụ thể, Shannon sẽ bắt đầu từ một đoạn văn trong sách và đọc từng chữ cái một.

Đến mỗi vị trí, ông không đưa ra đáp án ngay mà hỏi Betty: "Chữ cái tiếp theo là gì?"

Cứ như vậy, Betty đoán, Shannon ghi chép.

Nếu đoán sai, Shannon viết ra chữ cái đúng. Nếu đoán đúng, ông gạch một dấu gạch ngang.

Kết quả là, như hình ảnh phía trên đã minh họa, một đoạn văn tiếng Anh hoàn chỉnh được chia thành hai phần:

Những chỗ Betty đã có thể dự đoán được thì dùng dấu gạch ngang thay thế; những chỗ Betty không thể dự đoán mới cần viết ra chữ cái gốc.

Thoạt nhìn, cảnh tượng này giống như một trò chơi giải trí sau bữa tối của một cặp vợ chồng trí thức.

Nhưng trong video mới nhất của 3Blue1Brown, thí nghiệm này đã được đặt vào một sợi dây liên kết lớn hơn—

Nó có thể là phiên bản người thật đầu tiên của "next-token prediction" (dự đoán token tiếp theo) trong lịch sử nhân loại.

Xa hơn nữa, thông qua ví dụ của Shannon, Grant Sanderson - người đứng sau 3Blue1Brown - còn thảo luận về một vấn đề dẫn dắt từ lý thuyết thông tin đến mô hình ngôn ngữ lớn:

Tại sao việc dự đoán token tiếp theo, một việc tưởng chừng đơn giản đến mức không thể đơn giản hơn, lại có liên quan đến nén dữ liệu, entropy và thậm chí là trí tuệ?

Và câu trả lời có lẽ nằm ngay trong những dấu gạch ngang mà Betty đã vẽ.

LLM chỉ là một thí nghiệm đoán chữ cái?

Mặc dù video của Grant đã giải thích rất rõ ràng, nhưng để mạch lạc hơn, chúng ta hãy quay lại thí nghiệm của Shannon và Betty.

Bề ngoài, Shannon và Betty giống như đang chơi trò giải ô chữ bằng lời nói cho hai người, một người đưa ra ngữ cảnh, người kia đoán chữ cái tiếp theo.

Ví dụ, trong tiếng Anh, sau chữ "t" rất có thể là chữ "h", nên khi Shannon đưa ra gợi ý là "t", Betty rất có thể sẽ trả lời là "h".

Chuyển sang tiếng Trung cũng tương tự. Ví dụ, khi bạn thấy chữ "你" (nǐ), chữ tiếp theo rất có thể là "好" (hǎo) để tạo thành "你好" (nǐ hǎo - xin chào).

Nhưng điều Shannon thực sự quan tâm có lẽ không phải là Betty đoán đúng hay sai, mà là điều gì sẽ xảy ra sau khi đoán đúng.

Như đã đề cập ở đầu bài, phiên bản ghi chép cuối cùng thu được từ thí nghiệm có số lượng chữ cái thực tế ít hơn nhiều so với văn bản gốc.

Những chỗ Betty đoán đúng chỉ còn lại một dấu gạch ngang. Những chỗ Betty đoán sai mới giữ lại chữ cái gốc.

Nhìn qua thì số lượng chữ đã giảm đi, nhưng theo một nghĩa nào đó, lượng thông tin mà nó chứa đựng không hề thay đổi.

Lý do cũng rất đơn giản.

Nếu Shannon có thể tạo ra một "Betty" thứ hai giống hệt, rồi đưa cho cô ấy xem bản văn bản đã rút gọn này, về lý thuyết, cô ấy vẫn có thể khôi phục lại văn bản gốc.

Và đây chính là phiên bản trực quan nhất của nguyên lý "khả năng dự đoán cho phép nén dữ liệu".

Điều này rất dễ hiểu, giống như cách bạn trò chuyện với bạn thân vậy.

Ban đầu khi đồng ý, các bạn nói "好的" (được thôi), sau đó rút gọn thành "OK", rồi chỉ còn "k", và cuối cùng thậm chí chỉ cần một sticker là đủ để hiểu ý nhau.

Cách diễn đạt ngày càng tinh gọn không phải vì thông tin đã mất đi, mà vì cả hai bên đều đã nắm rõ ngữ cảnh, nên không cần thiết phải viết lại toàn bộ hình thức đầy đủ nữa.