GPT-6 Astra thiết lập chuẩn mực mới với hiệu suất vượt trội trong dựng hình 3D, hoạt họa và điều khiển máy tính, đạt điểm số gần như tuyệt đối 99,9% trong bài kiểm tra ARC-AGI-3.
Diễn biến sự kiện · 2 bài →
Ma Dongxi NLP@dongxi_nlpBài viết chuyên sâu phân tích cơ chế hoạt động, bài toán chi phí và khả năng suy luận của Recurrent Transformer trong bối cảnh phát triển GPT-6 Astra, kèm theo các biểu đồ minh họa trực quan.
H Company giới thiệu dòng NeoMME (260M/800M) sử dụng kiến trúc Transformer đơn tháp để xử lý đồng thời văn bản và hình ảnh, loại bỏ bộ giải mã nhân quả giúp tăng hiệu quả trong các tác vụ đa phương thức.
Rohan Paul@rohanpaul_aiSapient introduced the "Hierarchical Reasoning Model" in June 2025, then open-sourced its "Hierarchi…
DịchSapient khẳng định hướng đi của họ với mô hình suy luận phân cấp (HRM) đã được OpenAI Astra xác thực. Dự án HRM-Text hiện đã mở mã nguồn, cho phép huấn luyện từ đầu với chi phí tính toán cực thấp.
Tác giả lập luận rằng việc coi LLM chỉ là máy dự đoán token là cách hiểu phiến diện. Với sự hỗ trợ của RLHF và RLVR, các mô hình hiện nay đã vượt xa khả năng bắt chước văn bản thuần túy, hoạt động giống như các cỗ máy tìm kiếm giải pháp tối ưu thay vì chỉ sao chép dữ liệu huấn luyện.
Elvis Saravia@omarsar0Great paper on designing multi-agent systems. How many distinct communication topologies does an LL…
DịchNghiên cứu từ UCLA chỉ ra rằng sau khi sàng lọc bằng phần thưởng, các hệ thống đa tác nhân LLM có xu hướng hội tụ về khoảng sáu cấu trúc liên kết tối ưu.
Ma Dongxi NLP@dongxi_nlpThông tin từ The Information cho rằng OpenAI Astra sử dụng kiến trúc recurrent depth (looped transformer) để tối ưu suy luận, làm dấy lên nhiều tranh luận về cách thức vận hành thực sự của mô hình.
Bài viết trên LessWrong phân tích những rủi ro tiềm ẩn từ kiến trúc tái hồi của mô hình Astra, thu hút sự chú ý lớn từ cộng đồng Hacker News.
DAIR.AI@dair_aiGreat weekend read. https://x.com/omarsar0/status/2095612805496164801?s=20
DịchCác nhà nghiên cứu từ KAIST và Google DeepMind đề xuất phương pháp Declarative Attention, cho phép mô hình tự kiểm soát cơ chế chú ý để giảm tải việc đọc KV cache, giúp tăng hiệu suất xử lý.
LangChain chia sẻ kinh nghiệm từ các tập đoàn lớn trong việc xây dựng nền tảng Agent dùng chung, áp dụng LLMOps và thiết kế kiến trúc đa tác nhân có khả năng quan sát, đánh giá và kiểm soát chặt chẽ.
OpenAI trì hoãn ra mắt mô hình Astra để tăng cường bảo mật. Theo The Information, Astra có thể sử dụng kiến trúc 'recurrent depth' khiến quá trình suy luận của AI trở nên khó giám sát hơn.
Thêm 2 nguồn khác đưa tinVnExpress Khoa học Công nghệTechCrunch: AIPera là khung kiến trúc mới giúp các tác nhân AI duy trì khả năng hỗ trợ liên tục trong môi trường dài hạn, thay vì chỉ giải quyết các tác vụ đơn lẻ. Hệ thống tập trung vào cơ chế nhận thức và kiểm soát để thích nghi với nhu cầu người dùng thay đổi theo thời gian.
Rohan Paul@rohanpaul_aiThe information reports Astra reportedly uses "recurrent depth, " or a "looped transformer, " which he…
DịchTheo The Information, mô hình Astra của OpenAI áp dụng kiến trúc recurrent depth (transformer lặp), cho phép xử lý thông tin nhiều lần qua cùng một lớp để tăng hiệu suất tính toán mà không cần thêm tham số, gây khó khăn cho việc kiểm soát và giải mã logic suy luận.
DAIR.AI@dair_ai// Agent Zero Memory // This work separates three things that agent memory systems usually collapse…
DịchAgent Zero Memory giới thiệu kiến trúc ghi nhớ dài hạn dựa trên truy xuất nguồn gốc, kết hợp đồng thời dòng thời gian sự kiện, đồ thị tri thức và tài liệu để tối ưu hóa khả năng truy hồi thông tin của AI Agent.
Với 22 năm kinh nghiệm, tác giả nhận định phần mềm lý tưởng thời AI cần 80% nền tảng cốt lõi (dữ liệu, bảo mật, cộng tác) kết hợp với 20% mã tùy chỉnh linh hoạt.
Bài báo giới thiệu Qwen3.8-Flash-Next, mô hình MoE thưa thớt với 125B tham số (kích hoạt 6B mỗi token) cùng bảng nhúng n-gram 51B đặt ngoài bộ tăng tốc giúp tối ưu hóa hiệu năng.
Ma Dongxi NLP@dongxi_nlpRecommend reading! The next abstraction is not "more agents". The missing discipline is commitment…
DịchThay vì chỉ tăng số lượng tác nhân (agent), hướng đi mới tập trung vào việc xây dựng 'Đồ thị ngữ cảnh niềm tin' giúp AI có khả năng truy xuất nguồn gốc và lý giải logic cho các quyết định trong điều kiện bất định.
Elvis Saravia@omarsar0If you maintain a hand-built agent harness, this one is worth your time. (bookmark it) I feel like…
DịchJIT-Agent là mô hình giúp tổng hợp nhanh các khung làm việc cho AI Agent dựa trên 4 thành phần cốt lõi: bộ nhớ, lập kế hoạch, hành động và công cụ. Hệ thống có khả năng tự sửa lỗi trong quá trình vận hành và tối ưu hóa hiệu suất thông qua việc học hỏi từ lịch sử cấu hình.
Elvis Saravia@omarsar0Another good paper. Interesting finding on the benefits of the agent harness.
DịchNghiên cứu mới chỉ ra rằng hành vi của AI Agent có thể được mô hình hóa bằng máy trạng thái hữu hạn (FSM) với độ chính xác cao. Kết quả cho thấy cấu trúc khung triển khai đóng vai trò quyết định đến hành vi của Agent hơn là bản thân mô hình LLM nền tảng.
Gated Recurrent Transformer giải quyết bài toán cân bằng giữa khả năng biểu đạt và bộ nhớ bằng cách sử dụng các khối lặp lại có kiểm soát, cho phép mô hình chuyên biệt hóa dữ liệu đầu vào mà không cần tăng số lượng tham số đáng kể.
SemiAnalysis@SemiAnalysis_Congrats to @Alibaba_Qwen on the release of Qwen3.8-Flash-Next, using the same architecture innovati…
DịchQwen3.8-Flash-Next tích hợp các cải tiến kiến trúc từ Qwen4 như N-gram Embedding, kết nối dư cổng (GR) và cơ chế chú ý thưa (QSA), tối ưu hóa hiệu suất cho các mô hình mã nguồn mở.
Đội ngũ Qwen của Alibaba vừa giới thiệu Qwen3.8-Flash-Next, mô hình MoE đa phương thức 125B chỉ kích hoạt 6B tham số mỗi token, đóng vai trò là bản xem trước cho kiến trúc Qwen4 thế hệ mới.
Cùng sự kiện, bài đại diện «Qwen3.8-Flash-Next chính thức được hỗ trợ trên SGLang ngay từ ngày ra mắt»DREAM là kiến trúc điều phối mới giúp hệ thống gợi ý hiểu rõ ý định người dùng theo thời gian thực thông qua cơ chế phân tầng thông minh, giúp tối ưu hóa hiệu suất mà không cần thay thế hạ tầng cũ.
Nghiên cứu giới thiệu phương pháp kiểm định nhẹ giúp phát hiện lỗi rò rỉ dữ liệu tương lai trong các mô hình AI, vốn thường bị bỏ qua bởi các kỹ thuật kiểm tra mặt nạ (mask) truyền thống.
Xiaobei@frxiaobeiTác giả khẳng định thách thức lớn nhất của Agent không nằm ở Prompt mà ở độ tin cậy của hệ thống. Việc xây dựng Agent thực chất là giải quyết các bài toán về trạng thái, tính đồng nhất và khả năng quan sát trong hệ thống phân tán.
Daedalus-150M là mô hình ngôn ngữ nhỏ được thiết kế chuyên biệt cho CPU, sử dụng kiến trúc lai giúp giảm đáng kể bộ nhớ cache mà vẫn vượt trội hơn các mô hình cùng kích thước dù được huấn luyện với ít dữ liệu hơn.
Bài viết đề xuất chuyển dịch từ việc tối ưu hóa các tác nhân đơn lẻ sang xây dựng 'Trí tuệ hệ thống', nơi các tác nhân chuyên biệt phối hợp với nhau để giải quyết các nhiệm vụ phức tạp vượt quá khả năng của một mô hình duy nhất.
Elvis Saravia@omarsar0You don't often see one-word titles in AI papers. That aside, strong recommend this paper from Goog…
DịchGoogle DeepMind phát triển phương pháp cho phép mô hình tự tối ưu hóa kiến trúc thông qua cơ chế 'tái tuần hoàn' kích hoạt. Kỹ thuật này giúp cải thiện đáng kể hiệu suất của dòng Gemma 3 mà không cần huấn luyện lại, giữ nguyên trọng số gốc.
Nghiên cứu đề xuất một phương trình lớp thống nhất cho các kiến trúc GNN, giúp tách biệt cơ chế truyền tin và nội dung thông tin, từ đó đơn giản hóa việc phân tích các mô hình đồ thị phức tạp.
Nghiên cứu giới thiệu phương pháp dự đoán đa byte (MBP) giúp tăng tốc độ suy luận cho các mô hình ngôn ngữ cấp byte mà không làm giảm hiệu suất hay tăng số lượng tham số.
Nghiên cứu đề xuất khung làm việc ACID cho các tác nhân AI, giúp đảm bảo tính nhất quán, độ tin cậy và khả năng phục hồi khi thực hiện các tác vụ phức tạp, dài hạn trong môi trường thực tế.
Ma Dongxi NLP@dongxi_nlpThis is illuminating, but it also raises a deeper question. The old scaling paradigm: More compute …
DịchChuyên gia đặt nghi vấn về mô hình 1B tham số kết hợp công cụ, cho rằng việc nội hóa tri thức vào tham số có giới hạn và để đạt trí tuệ đỉnh cao vẫn cần các mô hình lớn hơn. Sau kỷ nguyên mở rộng tính toán tiền huấn luyện và suy luận, ngành AI đang tìm kiếm trục mở rộng mới.
Rohan Paul@rohanpaul_aiSome newer efficient LLMs (using "hybrid Transformer") are cutting back on expensive attention layer…
DịchCác mô hình LLM kiến trúc lai sử dụng lớp tuần hoàn giá rẻ thay thế phần lớn lớp Attention, nhưng các lớp Attention còn lại đóng vai trò quyết định. Nghiên cứu chỉ ra sự xuất hiện của các giá trị nội tại cực đại trước các lớp này, ảnh hưởng trực tiếp đến hiệu suất và cấu trúc mô hình.
Nghiên cứu chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) tự phát triển cấu trúc mô-đun tương tự não người, nơi các tác vụ khác nhau kích hoạt các nhóm neuron chuyên biệt riêng biệt.
Intern-S2-Mobius giới thiệu kiến trúc Mobius-v0, tách biệt bộ nhớ tri thức và bộ suy luận để tối ưu hóa khả năng nén dữ liệu và tăng tốc độ suy luận gấp 4 lần so với các mô hình truyền thống.
Các mô hình AI hiện đại đang ưu tiên khả năng suy luận thay vì lưu trữ kiến thức. Điều này giúp GLM-5.2 đạt điểm số ấn tượng trong các bài kiểm tra toán học, nhưng lại khiến các mô hình nhỏ như Qwen3.5 9B dễ gặp ảo giác hơn khi truy vấn thông tin thực tế.
Ma Dongxi NLP@dongxi_nlpDeepSeek harness has a clear architectural personality: Each important fact lives where it can be v…
DịchKiến trúc của DeepSeek Harness sở hữu tư duy thiết kế nhất quán: mọi dữ kiện quan trọng đều được đặt tại các vị trí có khả năng xác thực hoặc cưỡng chế thực thi.
Maglev giới thiệu kiến trúc Transformer hồi quy mới sử dụng bộ nhớ cố định, kết hợp ưu điểm của cơ chế chú ý cửa sổ trượt và khả năng huấn luyện song song, giúp cải thiện hiệu suất dự đoán token so với các mô hình truyền thống.
Giáo sư Tom Yeh ra mắt chuyên mục 'AI by Hand', sử dụng phương pháp vẽ tay trực quan để giải thích cặn kẽ toán học và kiến trúc đằng sau các hệ thống AI, giúp người đọc nắm bắt bản chất thay vì chỉ nhìn vào các 'hộp đen' công nghệ.
Rohan Paul@rohanpaul_aiNew MIT paper introduces a new mathematical framework for representing, manipulating, and compiling …
DịchCác nhà nghiên cứu MIT vừa giới thiệu một khung toán học cho phép biểu diễn, thao tác và biên dịch kiến trúc Deep Learning thành mã PyTorch hoặc sơ đồ tự động. Công nghệ này hứa hẹn tối ưu hóa quy trình thiết kế mô hình, giảm thiểu đáng kể sự can thiệp thủ công.
