DAIR.AI@dair_aiĐội ngũ MiMo của Xiaomi phát triển kiến trúc HySparse2 cho mô hình MiMo-V3, giúp giảm đáng kể chi phí tính toán prefill và bộ nhớ KV cache so với các thế hệ tiền nhiệm trên cấu trúc 80B-A3B MoE.
DAIR.AI@dair_aiThe era of omni agents is upon us. This is a great report by the Qwen Team on their omni-modal agen…
DịchQwen3.8-Omni-Flash là mô hình đa phương thức gốc, sử dụng kiến trúc MoE thưa thớt với cửa sổ ngữ cảnh 1 triệu token, tối ưu cho các tác vụ phức tạp như chỉnh sửa video và dịch thuật âm thanh dài.
DAIR.AI@dair_aiEra of the omni models is upon us. This is a great report by the Qwen Team on their omni model. Th…
DịchQwen3.8-Omni-Flash là mô hình đa phương thức gốc, sử dụng kiến trúc MoE thưa với cửa sổ ngữ cảnh 1 triệu token, tối ưu cho các tác vụ tác nhân AI dài hạn như chỉnh sửa video và dịch thuật âm thanh-hình ảnh chuyên sâu.
Tencent giới thiệu Hunyuan-A13B, mô hình MoE tối ưu hiệu suất với 80B tham số tổng nhưng chỉ kích hoạt 13B khi suy luận. Điểm nhấn là khung tư duy kép (Chain-of-Thought) giúp cân bằng tốc độ xử lý cho các câu hỏi đơn giản và độ chính xác cho các bài toán phức tạp.
China Telecom vừa công bố Xing4.0-29B-A4B, mô hình MoE 29 tỷ tham số với cửa sổ ngữ cảnh 256K, được huấn luyện hoàn toàn trên chip Ascend và khung MindSpore, hiện đã có sẵn trên Hugging Face.
SemiAnalysis@SemiAnalysis_Computation and Data Movement for Inference Mapping MoE models onto inference hardware: structure, f…
DịchBài viết đi sâu vào cách tối ưu hóa kiến trúc phần cứng để vận hành hiệu quả các mô hình MoE, tập trung giải quyết nút thắt về luân chuyển dữ liệu trong quá trình suy luận.
Bài phân tích chuyên sâu từ SemiAnalysis chia quy trình suy luận của mô hình MoE thành 4 giai đoạn, làm rõ sự khác biệt về nhu cầu tính toán, bộ nhớ và băng thông mạng.
IntBMoE giải quyết bài toán đánh đổi giữa hiệu năng, chi phí tính toán và bộ nhớ trong mô hình MoE bằng cách kết hợp kỹ thuật trộn chuyên gia dày đặc với cơ chế thực thi khối thưa thớt, cho phép kiểm soát độc lập các thông số này.
StepFun giới thiệu Step 5 Preview, mô hình MoE đa phương thức mạnh mẽ với 600B tham số, hỗ trợ xử lý 1 triệu token và tích hợp sâu cho các tác vụ AI đại lý.
Cùng sự kiện, tinh chọn hiển thị «Đánh giá Step 5 Preview: Hiệu năng ngang ngửa đối thủ nhưng chi phí rẻ gấp 2.8 lần»
Hongming@hongming731StepFun ra mắt Step 5 Preview với kiến trúc MoE 600 tỷ tham số, hỗ trợ cửa sổ ngữ cảnh 1 triệu token và đa phương thức. Mô hình dự kiến sẽ được công khai trọng số vào ngày 15/10.
Cùng sự kiện, tinh chọn hiển thị «Đánh giá Step 5 Preview: Hiệu năng ngang ngửa đối thủ nhưng chi phí rẻ gấp 2.8 lần»StepFun giới thiệu Step 5 Preview, mô hình MoE 600B tham số tối ưu cho tác vụ đại lý thông minh, hỗ trợ cửa sổ ngữ cảnh 1 triệu token và khả năng xử lý thị giác.
Cùng sự kiện, tinh chọn hiển thị «Đánh giá Step 5 Preview: Hiệu năng ngang ngửa đối thủ nhưng chi phí rẻ gấp 2.8 lần»
Testing Catalog@testingcatalogStepFun released Step 5 Preview, a new 600B total / 27B active MoE model with 1M context. > Step 5…
DịchStepFun giới thiệu Step 5 Preview, mô hình MoE mạnh mẽ với 600B tham số, tối ưu cho tác vụ đại lý (agentic) và tài chính. Mô hình hỗ trợ cửa sổ ngữ cảnh 1 triệu token, khả năng xử lý hình ảnh và sẽ chính thức mở quyền truy cập trọng số vào ngày 15/10.
StepFun giới thiệu Step 5 Preview với kiến trúc MoE 600B tham số, hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token cho các tác vụ đại lý thông minh. Trọng số mô hình dự kiến sẽ được công bố vào ngày 15/10.
Cùng sự kiện, tinh chọn hiển thị «Đánh giá Step 5 Preview: Hiệu năng ngang ngửa đối thủ nhưng chi phí rẻ gấp 2.8 lần»
StepFun@StepFun_aiIntroducing Step 5 Preview: Advancing the Pareto Frontier. Step 5 Preview is our new flagship model…
DịchStepFun giới thiệu mô hình MoE Step 5 Preview với 600B tham số, tối ưu cho tác vụ đại lý (agent) trong lĩnh vực tài chính và kỹ thuật phần mềm, hỗ trợ cửa sổ ngữ cảnh 1M và khả năng xử lý hình ảnh.
DeepSeek-V4.1-Flash là mô hình MoE Encoder-Decoder 552 tỷ tham số, hỗ trợ cửa sổ ngữ cảnh 1 triệu token cùng công nghệ nén KV cực mạnh, hiện đã có mặt trên API dưới tên deepseek-flash.
StepFun vừa ra mắt mô hình flagship Step 5 Preview sử dụng kiến trúc MoE, hỗ trợ cửa sổ ngữ cảnh 1 triệu token và khả năng xử lý đa phương thức. Với hiệu suất vượt trội và chi phí vận hành chỉ bằng 1/8 so với Claude 3 Opus, đây là đối thủ đáng gờm trong nhóm mô hình mã nguồn mở.
Diễn biến sự kiện · 10 bài →Thêm 11 nguồn khác đưa tinX: StepFun (@StepFun_ai)X: Artificial Analysis (@ArtificialAnlys)X: Elvis Saravia (@omarsar0, DAIR.AI)MarkTechPostX: Hongming (@hongming731)Hacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)X: Testing Catalog (@testingcatalog)IT HomeWeChat: Carl AI WattsQbitAIPandailyJina AI giới thiệu mô hình OCR 3.4B sử dụng kiến trúc MoE, cho phép chuyển đổi tài liệu phức tạp như PDF, hóa đơn sang Markdown với hiệu suất cao trên các thiết bị có cấu hình thấp.
DeepSeek vừa trình làng DeepSeek-V4.1-Flash, mô hình MoE đa phương thức 552 tỷ tham số hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token, hiện đã có sẵn trên Hugging Face.
Diễn biến sự kiện · 5 bài →Thêm 1 nguồn khác đưa tinHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)Edge0 giới thiệu cơ chế dự đoán lộ trình (prerouter) giúp nạp trước dữ liệu chuyên gia từ SSD, loại bỏ độ trễ khi suy luận các mô hình MoE lớn trên phần cứng hạn chế.
Nghiên cứu giới thiệu phương pháp mới giúp kiểm soát bốn điểm nghẽn bộ nhớ chính khi huấn luyện mô hình MoE, đảm bảo hiệu suất ổn định ngay cả với ngữ cảnh cực dài và quy mô lớn.
Shanghai AI Lab vừa công bố Atria Dawn Preview, mô hình tác tử MoE 744 tỷ tham số dựa trên GLM-5.2 với cửa sổ ngữ cảnh 256K, đạt điểm số ấn tượng 53.8 trên AutomationBench cho các tác vụ nghiên cứu và kỹ thuật phức tạp.
Novita AI mã nguồn mở toán tử Chord, tối ưu hóa W4A16 MoE cho Kimi K2.x, giúp cải thiện hiệu suất đáng kể trên H200 và B300 thông qua vLLM.
Blog kỹ thuật của NVIDIA phân tích sự khác biệt giữa kiến trúc Dense và MoE. Điểm nhấn là cơ chế định tuyến của MoE giúp tối ưu hóa hiệu suất, ví dụ như mô hình Nemotron 3.5 Lightning 30B chỉ kích hoạt 3B tham số cho mỗi token.
ESRL là khung làm việc mới giúp tối ưu hóa việc lựa chọn chuyên gia trong mô hình MoE, tăng cường sự đa dạng của kết quả đầu ra mà không làm giảm chất lượng mô hình như các phương pháp nhiễu thông thường.
Unisound giới thiệu U2-Flash, mô hình MoE 266 tỷ tham số với 10 tỷ tham số hoạt động, tích hợp cơ chế tự cải thiện đệ quy và suy luận tiềm ẩn, tối ưu cho các tác vụ lập trình và AI agent.
AI Notes@AYi_AInotesPhòng thí nghiệm AI Thượng Hải vừa công bố Atria Dawn Preview, mô hình nền tảng cho tác vụ dài hạn với kiến trúc 744B MoE. Dự án đã được mở mã nguồn hoàn toàn trên GitHub và Hugging Face theo giấy phép MIT.
NVIDIA tối ưu hóa huấn luyện DeepSeek-V3 trên GB200 bằng Transformer Engine và JAX, giúp tăng hiệu suất từ 103 lên 1.068 TFLOPS/GPU, cải thiện gấp 10,4 lần nhờ giảm nghẽn giao tiếp.
Ma Dongxi NLP@dongxi_nlpDeepSeek-V4.1-Flash là mô hình MoE đa phương thức 552B tham số, sử dụng kiến trúc CED và kỹ thuật FP4 giúp giảm dung lượng KV cache xuống mức cực thấp, hỗ trợ ngữ cảnh lên tới 1 triệu token với hiệu suất vượt trội.
Cohere vừa công bố North Small Translate, mô hình dịch thuật mã nguồn mở sử dụng kiến trúc MoE với 218 tỷ tham số, hỗ trợ 50 ngôn ngữ và đạt hiệu suất ấn tượng trên bảng xếp hạng WMT26.
Hongming@hongming731DeepSeek trình làng mô hình MoE 552B tham số với kiến trúc Causal Encoder-Decoder bất đối xứng, giúp tối ưu hóa bộ nhớ KV Cache và hỗ trợ đa phương thức thị giác.
Cùng sự kiện, bài đại diện «DeepSeek hủy bỏ kế hoạch khai tử API V4 Pro, tiếp tục duy trì dịch vụ»
SiliconFlow@SiliconFlowAI@deepseek_ai just made Flash the new Pro. 🤯 DeepSeek-V4.1-Flash is live on SiliconFlow - Day 0. 55…
DịchSiliconFlow vừa ra mắt DeepSeek-V4.1-Flash, mô hình MoE 552B hỗ trợ thị giác nguyên bản, cửa sổ ngữ cảnh 1 triệu token và tối ưu hóa bộ nhớ đệm KV hiệu quả hơn gấp 4 lần.
DeepSeek V4.1 Flash sở hữu 552B tham số với kiến trúc Causal-Encoder-Decoder đột phá, giúp tăng tốc độ phản hồi và giảm chi phí suy luận đáng kể trong khi vẫn duy trì hiệu năng vượt trội ở các tác vụ lập trình và tác tử AI.
DeepSeek chính thức phát hành V4.1 Flash, mô hình MoE 552B với kiến trúc Causal-Encoder-Decoder và khả năng xử lý thị giác tích hợp. Phiên bản này thay thế V4 Pro với cơ chế định giá mới và hợp nhất các chế độ sử dụng trên ứng dụng.
Kim@kimmonismusDeepSeek just released V4.1-Flash with a new architecture, six weeks after its July V4-Flash update….
DịchDeepSeek giới thiệu V4.1-Flash, mô hình MoE 552B tham số tối ưu hóa hiệu suất với kiến trúc mới, giúp giảm đáng kể yêu cầu bộ nhớ KV cache và chi phí API trong khi vẫn hỗ trợ xử lý hình ảnh trực tiếp.
DeepSeek-V4.1-Flash là mô hình MoE đa phương thức mới với 748B tham số, nổi bật nhờ khả năng xử lý 1 triệu token và giảm dung lượng KV Cache xuống chỉ còn 890 byte mỗi token, tối ưu hiệu suất vượt trội so với các thế hệ trước.
Diễn biến sự kiện · 32 bài →Thêm 27 nguồn khác đưa tinHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)X: AI Notes (@AYi_AInotes)X: Alibaba Cloud (@alibaba_cloud)X: Ma Dongxi NLP (@dongxi_nlp)Fireworks AI (Web)X: Hongming (@hongming731)Latent SpaceX: SemiAnalysis (@SemiAnalysis_)Baseten Blog kỹ thuật (Web)X: OpenRouter (@OpenRouter)WeChat: Carl AI WattsX: Artificial Analysis (@ArtificialAnlys)X: Yuchen Jin (@Yuchenj_UW)X: Tencent WorkBuddy (@WorkBuddy_AI)The Decoder: AI NewsIT HomeX: Thomas Wolf (Hugging Face đồng sáng lập/CSO) (@Thom_Wolf)X: X.PIN (@thexpin)X: Kim (@kimmonismus)X: Testing Catalog (@testingcatalog)X: Elvis Saravia (@omarsar0, DAIR.AI)X: Aravind Srinivas (Perplexity CEO) (@AravSrinivas)TechNodePandailyX: DeepSeek (@deepseek_ai)X: opencode (@opencode)X: Tianyi Cui (@tianyi)Testing Catalog@testingcatalogDeepSeek V4.1 Flash is now available on Huggingface! > 552B parameters MoE model with a new Encode…
DịchDeepSeek vừa ra mắt DeepSeek-V4.1-Flash trên Hugging Face. Đây là mô hình MoE 552 tỷ tham số, ứng dụng kiến trúc Encoder-Decoder mới cùng phương pháp huấn luyện tăng cường quy mô lớn.
DeepSeek trình làng V4.1 Flash, mô hình MoE 552 tỷ tham số với cấu trúc Causal-Encoder-Decoder mới, hỗ trợ đa phương thức và vượt trội hơn cả bản Pro trong các bài kiểm tra hiệu năng.
Cùng sự kiện, tinh chọn hiển thị «DeepSeek ra mắt V4.1-Flash: Mô hình đa phương thức nhỏ gọn với giá API siêu rẻ»Alibaba vừa phát hành mã nguồn mở cho Qwen3.8-2.4T-A95B, mô hình MoE với 2,4 nghìn tỷ tham số. Với khả năng xử lý ngữ cảnh dài và tối ưu cho tác vụ đại lý (agentic), đây là bước tiến lớn trong hệ sinh thái mã nguồn mở.
Ma Dongxi NLP@dongxi_nlpTác giả đã huấn luyện thành công mô hình MoE với cơ chế kích hoạt chỉ 3,65 triệu tham số mỗi token, sử dụng duy nhất một nhân CPU Intel Xeon, mở ra tiềm năng tối ưu hóa tài nguyên cực lớn.
iFlytek vừa trình làng mô hình ngôn ngữ Spark X2.5 với kiến trúc MoE 293B, hỗ trợ 256K ngữ cảnh và 200 ngôn ngữ. Mô hình được huấn luyện trên hạ tầng nội địa Trung Quốc, tập trung tối ưu khả năng lập trình và tác vụ thông minh.