Kỷ nguyên hậu tham số: CEO Z.ai Jie Tang bàn về GLM 5.3 và quy luật mở rộng hậu huấn luyện mới

Chúng tôi đã từng rất hào hứng khi đưa tin về GLM 5.2, và niềm tin của Giáo sư Jie Tang rằng sẽ có một mô hình "Fable-class" với trọng số mở vào cuối năm nay (kiểm tra nhanh - với 134 ngày còn lại, hiện đã có hai mô hình 2-3T là Qwen 3.8 Max và Kimi K3, trong khi các ước tính cho thấy Fable đạt mức 3-7T và chỉ cao hơn 2 điểm trên chỉ số AA).

Giáo sư Jie Tang đã quay trở lại trên X để cho chúng ta biết rằng cách viết tắt về quy mô mô hình không còn đủ nữa: "Số lượng tham số chỉ có ý nghĩa khi đi kèm với ba yếu tố khác — bạn có bao nhiêu dữ liệu, bạn dự định dành bao nhiêu tài nguyên tính toán, và ai sẽ vận hành mô hình đó, trong những điều kiện nào."

jietang@jietang

Suy nghĩ về Scaling Law (Định luật quy mô), nhưng không chỉ là về tham số. Mọi bản phát hành mô hình hiện nay đều kết thúc bằng cùng một câu hỏi: bao nhiêu tham số? Đây không phải là câu hỏi có thể tự trả lời. Số lượng tham số chỉ có ý nghĩa khi đi kèm với ba yếu tố khác — bạn có bao nhiêu dữ liệu,

5:04 sáng · 19 tháng 8, 2026 · 1,02 triệu lượt xem

170 lượt trả lời · 661 lượt đăng lại · 4,83 nghìn lượt thích

Chúng tôi đã đề cập đến các định luật quy mô Chinchilla (và hậu Chinchilla) trong các năm LS trước, vì vậy chúng tôi sẽ bỏ qua bài học lịch sử, nhưng cần làm rõ lý do tại sao các giả định của Chinchilla lại sai trong thế giới "Inference Inflection" (không có con số cố định, dao động từ 200-900 token/tham số, trích dẫn Roberts và cộng sự về sự phụ thuộc vào tác vụ).

Tóm lại: Ghi nhớ (Memorization) ưu tiên nhiều tham số hơn. Suy luận (Reasoning) ưu tiên nhiều dữ liệu hậu huấn luyện (post-training) và độ sâu hiệu quả hơn. Những bước nhảy vọt của GLM-5.3 hoàn toàn đến từ RL (học tăng cường) trên các môi trường có tầm nhìn dài hạn:

Các môi trường hiện bao phủ phạm vi rộng hơn nhiều về quy trình làm việc thực tế, với các tác vụ được thiết kế dựa trên cách thức thực hiện công việc kỹ thuật và nghiên cứu trong thực tế. Một số đại diện cho vài ngày làm việc của một kỹ sư giàu kinh nghiệm. Ví dụ, trong một tác vụ hạ tầng ML, mô hình có thể được cung cấp cùng môi trường làm việc như một kỹ sư, với quyền truy cập vào các cụm tính toán, hệ thống lưu trữ, tài liệu nội bộ, cơ sở mã nguồn và kết quả thử nghiệm. Nó phải chẩn đoán các điểm nghẽn trong toàn bộ ngăn xếp huấn luyện, triển khai tối ưu hóa, chạy thử nghiệm và mang lại tốc độ cải thiện toàn diện có thể đo lường được trong khi vẫn đảm bảo tính chính xác. Việc huấn luyện trên các môi trường ở cấp độ này thúc đẩy mô hình tự đảm nhận các công việc đáng kể từ đầu đến cuối, thay vì dựa vào người dùng để phân tách vấn đề và giám sát từng bước.

Đối với những ai đang theo dõi câu chuyện về tự cải thiện đệ quy (recursive self-improvement), toàn bộ môi trường, quy trình đánh giá và kiểm chứng của họ đều là tổng hợp hoàn toàn:

Khi khả năng của tác nhân (agent) được cải thiện, phần lớn khó khăn trong việc mở rộng quy trình hậu huấn luyện chuyển từ mô hình sang môi trường. Một môi trường tác vụ hữu ích phải có khả năng thực thi, kiểm chứng và gần với công việc chuyên môn thực tế — và chúng ta cần rất nhiều môi trường như vậy, chứ không phải một vài môi trường được xây dựng thủ công. Để mở rộng quy trình này, chúng tôi đã xây dựng các đường ống (pipelines) tổng hợp môi trường từ đầu đến cuối, và đối với một tập hợp con các tác vụ, cả tín hiệu phần thưởng RL cũng vậy. Các tác nhân nghiên cứu thu thập các mẫu tác vụ từ công việc thực tế và biến chúng thành các môi trường dài hạn có thể chạy được với các phụ thuộc đa bước và trạng thái ẩn; sau đó, một tác nhân giám khảo sẽ thử từng tác vụ để xác minh xem nó có thực sự giải được hay không. Các bộ kiểm chứng (verifiers) được tổng hợp mà không cần quyền truy cập vào lời giải tham chiếu, trong khi các quỹ đạo giải quyết được sử dụng để khám phá và loại bỏ các lối tắt phần thưởng. Một bộ kiểm chứng vượt qua các bài kiểm tra oracle, no-op và trạng thái không giải được sẽ tạo ra phần thưởng nhị phân đủ tin cậy để huấn luyện trực tiếp.

Để chấm dứt sự ám ảnh về số lượng tham số, Giáo sư Jie xác định 5 nút vặn (knobs) của việc mở rộng, bao gồm độ thưa thớt MoE với ký hiệu XA-YB mới. Ông lưu ý rằng các kỹ năng nâng cao (ví dụ: tìm lỗ hổng phần mềm) không phải là vấn đề truy xuất/ghi nhớ. Chúng đòi hỏi phải duy trì các chuỗi nhân quả dài (hơn 20 bước suy luận) mà không làm mất mạch logic. Khả năng này không nằm ở tổng số lượng tham số một khi đã đạt đến ngưỡng lưu trữ kiến thức nhất định.

Và có vẻ như vẫn còn rất nhiều điều để khám phá.

Tin tức AI từ 18/8/2026 - 19/8/2026. Chúng tôi đã kiểm tra 12 subreddit, 544 tài khoản Twitter và không có thêm Discord nào. Trang web của AINews cho phép bạn tìm kiếm tất cả các số báo trước đây. Xin nhắc lại, AINews hiện là một phần của Latent Space. Bạn có thể chọn nhận/hủy nhận email theo tần suất!

Mô hình trọng số mở, nén và biến động điểm chuẩn (Benchmark)

Ornith-1.5 xuất hiện như một dòng mô hình mở mới nghiêm túc: @ornith_ đã phát hành Ornith-1.5 với các biến thể 9B dense, 35B MoE và 397B MoE theo giấy phép MIT, cùng các định dạng lượng tử hóa bao gồm FP8, GGUF, MLX và NVFP4. Tuyên bố tiêu đề là khả năng tự cải thiện từ đầu đến cuối: mô hình đề xuất tác vụ, tạo khung (scaffolds) và tạo ra các lượt chạy RL để tạo ra trải nghiệm huấn luyện mới. Các đánh giá được báo cáo rất mạnh mẽ trên các khối lượng công việc tác nhân/lập trình, bao gồm Terminal-Bench 2.1: 86.1, SWE-Bench Verified: 86, DeepSWE: 56, HLE: 44.6 và Tool Decathlon: 71.2. Bản phát hành này đã nhanh chóng được tích hợp vào các ngăn xếp phục vụ bởi vLLM và Ollama.

Việc nén tiếp tục trở nên mạnh mẽ hơn mà không làm giảm hoàn toàn tính hữu dụng: @UnslothAI và @danielhanchen đã phát hành các GGUF Qwen3.8-27B mới sử dụng Dynamic V3, tuyên bố độ chính xác cao hơn khoảng 10% ở cùng kích thước và phát hành các bản lượng tử 1-bit vẫn giữ được khoảng 77% độ chính xác BF16 trong khi chạy trên 8GB RAM. Chỉ số Divergence-300 mới của họ mở rộng độ chính xác greedy top-1% trên các thế hệ dài hơn bằng cách sử dụng các ví dụ chưa từng thấy từ Terminal Bench, DeepSWE và các tác vụ liên quan.

Các bảng đánh giá tác nhân và pháp lý tiếp tục thay đổi: @arena đã xuất bản chế độ xem Pareto của Agent Arena, nơi Claude Opus 5 (High) dẫn đầu về chất lượng, nhưng các mô hình chi phí thấp hơn như Kimi K3, GLM 5.2, Grok 4.5 và GPT-5.6 Luna xác định phần lớn biên giá trị. Riêng biệt, @ValsAI đã báo cáo Grok 4.6 đứng thứ 3/49 trên Legal Research Bench với 48,1%, ngữ cảnh 500k, hỗ trợ công cụ/hình ảnh/tệp và mức giá tương đối thấp. Đối với các mô hình mở, @ValsAI cũng nhấn mạnh GLM 5.3 đứng thứ 2 trên Terminal Bench, thứ 3 trên Legal Bench và thứ 6 trên Skills Bench trong số các mô hình trọng số mở.

Các bộ khung tác nhân (Agent Harnesses) trở thành lớp cạnh tranh mới

Sự tối giản của DeepSeek Harness là có chủ đích, không phải là chưa hoàn thiện: Một bài viết chi tiết được khuếch đại bởi @ZhihuFrontier và tóm tắt bởi @TheTuringPost đã định hình DeepSeek Harness (DSH) như một lớp vỏ mỏng có chủ đích trên kiến trúc plugin có tên là Cordis. Lựa chọn thiết kế chính là mọi thứ đều là plugin, bao gồm cả vòng lặp tác nhân. Những người dùng beta đầu tiên được cho là đã phát hành hơn 100 plugin và gửi hơn 400 vấn đề trong chưa đầy một tuần; các ví dụ từ môi trường thử nghiệm mô hình gomoku đến tác nhân cơ sở dữ liệu đóng vòng lặp phản hồi SQL bằng cách kết nối mô hình với việc thực thi truy vấn trực tiếp. Điểm rút ra mạnh mẽ nhất là về kiến trúc: DSH ít giống "trợ lý sản phẩm" hơn là một runtime tác nhân mở, được tối ưu hóa cho công cụ do người dùng mở rộng, các vòng lặp điều khiển có thể hoán đổi và chèn quy tắc kinh doanh.

TrueFoundry mã nguồn mở TrueForge và làm rõ lập luận về chi phí khung: @truefoundry, @omarsar0 và @kimmonismus đều đưa tin về sự ra mắt của TrueForge, một khung tác nhân được cấp phép MIT, có thể tự lưu trữ và trung lập với nhà cung cấp dành cho các tác nhân sản xuất. Ngăn xếp bao gồm điều phối công cụ, quản lý ngữ cảnh, tác nhân phụ, sandbox mã, phê duyệt của con người và dấu vết, với cả chế độ triển khai cục bộ và lưu trữ. Tuyên bố kỹ thuật gây tiếng vang: trên một điểm chuẩn doanh nghiệp gồm 14 tác vụ, TrueForge đã sánh ngang với Claude Managed Agents trên Opus 4.8 trong khi sử dụng ít hơn khoảng 30% token, và việc định tuyến sang GLM-5.2 đã cắt giảm chi phí khoảng 75% trong khi vẫn duy trì độ chính xác. Chủ đề rộng hơn của ngành — cũng được @bradenjhancock và @dbreunig thông qua @rseroter lặp lại — là lớp phiên/môi trường/bộ nhớ/công cụ đang trở thành nguồn chính của cả sự khác biệt và tiết kiệm.

Các khung quản lý cũng đang có khả năng quan sát và kiểm soát sắc bén hơn: @ClaudeDevs đã thêm hỗ trợ bộ nhớ cho các sandbox tự lưu trữ, kiểm soát cho phép/chặn tên miền cho các công cụ web và trình xem phiên đa tác nhân được thiết kế lại với bản đồ thu nhỏ, bảng điểm được nhóm và chi phí cho mỗi luồng/phiên. Trong khi đó, OpenAI tiếp tục thúc đẩy góc độ ngược lại: cung cấp cho các nhóm các nguyên hàm khung để nhúng vào sản phẩm của riêng họ. @OpenAIDevs đã làm nổi bật khung Codex mã nguồn mở như là runtime bên dưới các công cụ nội bộ, bảng điều khiển vận hành và ứng dụng tùy chỉnh, trong khi @cursor_ai đã cải thiện UX tác nhân đám mây xung quanh các mục tiêu bền bỉ và các phiên kéo dài.

Công việc hậu huấn luyện, trung huấn luyện và hệ thống RL

Thêm bằng chứng cho thấy việc mở rộng đang chuyển dịch từ tham số sang chất lượng công thức huấn luyện: @kimmonismus đã đưa ra một tuyên bố đáng chú ý từ người sáng lập zAI/GLM: tiến trình vẫn đang mở rộng, nhưng quá nhiều cuộc thảo luận đã tập trung vào số lượng tham số thay vì chất lượng dữ liệu, tài nguyên tính toán suy luận và hậu huấn luyện. Ví dụ được trích dẫn là GLM-5.3, được cho là dựa trên cùng một mô hình cơ sở/kiến trúc cốt lõi như GLM-5.2, nhưng được cải thiện đáng kể thông qua khoảng một tháng RL bổ sung.

Agent Lightning của Microsoft chỉ ra RL-thông qua-khung như một công thức thực tế: @omarsar0 đã làm nổi bật Agent Lightning v1.0, kết nối các khung tùy ý với RL thông qua một proxy endpoint, xử lý các vấn đề như tái mã hóa token, hợp nhất mẫu, tính toán lợi thế, chuẩn hóa và điều phối lập lịch/backend. Với khoảng 6 nghìn ví dụ huấn luyện và tài nguyên tính toán khiêm tốn, nó được cho là đã đưa Qwen3.5-9B trên SWE-Bench Verified từ 41,8% lên 56,4%.

Trung huấn luyện (Mid-training) đang được xử lý rõ ràng hơn như một bề mặt tối ưu hóa: @cwolferesearch đã trình bày quan điểm hiện tại của các chuyên gia về CPT/trung huấn luyện: tối ưu hóa hỗn hợp dữ liệu, thời lượng, thứ tự giai đoạn, độ dài chuỗi và thậm chí cả khả năng hậu huấn luyện thay vì chỉ "tiếp tục tiền huấn luyện trên dữ liệu tốt hơn". Chủ đề này hữu ích chính xác vì nó định hình đây là các nút vặn tương tác thay vì các thủ thuật độc lập.

Hạ tầng RL tiếp tục cải thiện bên dưới nghiên cứu: @SergioPaniego đã làm mới công việc cho thấy quá trình chưng cất on-policy trong TRL trở nên nhanh hơn 40 lần thông qua bộ đệm tạo, các cuộc gọi giáo viên theo lô và mã hóa logprob nhị phân; @mikasenghaas đã công bố tính đồng thời thích ứng trong prl, điều chỉnh linh hoạt các lượt chạy đang thực hiện trong suốt quá trình chạy RL.

Điểm chuẩn, truy xuất và chi tiết hạ tầng quan trọng trong sản xuất

HNSW có thể lọc của Qdrant so với ACORN là một bản cập nhật hệ thống truy xuất thực chất: @qdrant_engine lập luận rằng ANN được lọc nên được giải quyết trong chỉ mục, không chỉ tại thời điểm truy vấn. HNSW có thể lọc của họ thêm các cạnh giữa các điểm chia sẻ giá trị payload được lập chỉ mục, giữ cho các đồ thị con được lọc kết nối với nhau. Trong điểm chuẩn của họ trên bộ lọc 1% trên 1 triệu vector, họ báo cáo độ thu hồi 99,8% ở 1,0ms so với 67,7% ở 4,7ms đối với ACORN. Họ cũng lưu ý rằng ACORN vẫn hữu ích cho các giá trị rộng và bộ lọc AND, đặc biệt là trên một đồ thị đã được tối ưu hóa cho các bộ lọc.

Sentence Transformers v6.0 phản ánh sự chuyển dịch thực tế từ truy xuất đơn vector sang đa vector: @tomaarsen đã tóm tắt sự khác biệt một cách rõ ràng: truy xuất dày đặc (dense) nén mỗi văn bản thành một vector, trong khi truy xuất đa vector giữ các vector cấp token và tính điểm các token truy vấn so với các token tài liệu trước khi tổng hợp các kết quả khớp tốt nhất. Điều đó quan trọng vì truy xuất tương tác muộn (late-interaction) ngày càng trở thành sự đánh đổi mặc định cho các hệ thống tìm kiếm nhạy cảm với chất lượng.

Độ trễ của tác nhân sản xuất thường ít liên quan đến chính mô hình: @dair_ai đã tóm tắt một bài báo đo lường mười ứng dụng tác nhân và nhận thấy rằng các thành phần không phải LLM chiếm ưu thế về độ trễ ở một nửa trong số đó, với bộ nhớ sandbox đạt đỉnh 28GB/phiên, độ trễ thay đổi tới 32 lần giữa các hệ thống con và việc giữ trạng thái nhàn rỗi lâu giữa các bước. Các tối ưu hóa không có gì đáng ngạc nhiên nhưng quan trọng: phục vụ nhận thức tác vụ cắt giảm độ trễ 29–40%, giảm tải trạng thái giảm bộ nhớ 4,6 lần và bộ nhớ đệm kết quả công cụ loại bỏ 35,2% các cuộc gọi tìm kiếm dư thừa.

Linear và turbopuffer cho thấy hạ tầng vector đang len lỏi vào các đường dẫn nóng không phải tìm kiếm: @turbopuffer cho biết Linear đã chuyển đường dẫn đọc đồng bộ delta của mình từ Postgres sang turbopuffer, sử dụng các chỉ mục thuộc tính cho các bộ lọc quyền và giảm các lần đồng bộ lớn nhất khoảng 8 giây.

Google, OpenAI, Anthropic và cuộc đua thương mại hóa

Gemini 3.7 Flash đã có một ngày thành công cả về đánh giá và tích hợp sản phẩm: @_philschmid và @NewsFromGoogle đã làm nổi bật Gemini 3.7 Flash chiếm vị trí số 1 trên AA-AnalystAgent của Artificial Analysis, với 60,0% pass^5, 70,5% pass@1, 77,5% pass@5, 1,32 giây/tác vụ và chi phí trung bình 0,54 đô la trên 80 tác vụ định lượng nặng về bảng tính/tài liệu. Google cũng đẩy nó sâu hơn vào các bề mặt sản phẩm: Gemini chat và Spark, các mô phỏng tương tác dựa trên Tìm kiếm được xây dựng nhanh chóng trong Chế độ AI (ví dụ), và đồng bộ hóa AI Studio GitHub cho các quy trình xây dựng.

OpenAI đang nghiêng về triển khai chi phí thấp và định vị quyền riêng tư: @Replit đã ra mắt Chế độ miễn phí được cung cấp bởi GPT-5.6 Luna, điều mà @kimmonismus định hình là một chiến thắng hiệu quả có ý nghĩa: một mô hình gần đây là SOTA giờ đây đã đủ rẻ để được cung cấp rộng rãi. Về phía doanh nghiệp, @OpenAI đã giới thiệu Xử lý an toàn riêng tư, nhằm mục đích bảo toàn Zero Data Retention cho các mô hình tiên phong trong khi vẫn phát hiện các rủi ro an toàn tương tác chéo mà không cần con người truy cập vào nội dung cơ bản.

Anthropic tiếp tục thắt chặt vòng lặp công thái học cho nhà phát triển: ngoài các cập nhật tác nhân được quản lý ở trên, @ClaudeDevs đã thêm kiểu đầu ra Concise vào Claude Code, một dấu hiệu khác cho thấy các nhóm sản phẩm hiện đang điều chỉnh không chỉ khả năng mà còn cả hình dạng phản hồi như một biến UX hạng nhất.

Các tweet hàng đầu (theo mức độ tương tác)