Dựa trên Qwen 27B, Ternary Bonsai 2 sử dụng kỹ thuật trọng số tam phân để giảm dung lượng xuống chỉ còn 5,9GB, giúp tối ưu hóa đáng kể khả năng chạy mô hình lớn trên phần cứng hạn chế.
Thêm 2 nguồn khác đưa tinIT HomeMarkTechPostPrismML vừa trình làng Bonsai 2 27B, phiên bản tối ưu hóa từ Qwen 27B với dung lượng chỉ 5.9GB. Bước tiến này giúp giảm 10 lần bộ nhớ, cho phép chạy các mô hình AI mạnh mẽ ngay trên PC và smartphone cao cấp.
Thêm 2 nguồn khác đưa tinX: Emad Mostaque (@EMostaque)Hacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)Thay vì tạo văn bản như ChatGPT, mô hình Jev của cựu kỹ sư OpenAI tập trung vào việc đưa ra các quyết định có cấu trúc với tốc độ cực nhanh và chi phí tối ưu, mở ra hướng đi mới cho tự động hóa phần mềm.
Fathom giới thiệu phương pháp đọc KV cache linh hoạt dựa trên ngân sách bit cho từng truy vấn, giúp tăng tốc độ giải mã lên 1,67 lần ở quy mô 1 triệu token mà vẫn duy trì độ chính xác cao hơn so với các kỹ thuật hiện có.
Tang Jie@jietangTwo weeks. That's how long it took to go from GLM-5.3-Flash's first run on domestic accelerators to…
DịchGiáo sư Tang Jie chia sẻ cách Infra Agent hỗ trợ triển khai GLM-5.3-Flash trên chip nội địa, giúp tăng lưu lượng xử lý đầu cuối lên 3.2 lần chỉ sau 14 ngày.
Cùng sự kiện, bài đại diện «Zhipu AI tối ưu hóa hạ tầng suy luận cho GLM-5.3, tăng gấp 3 lần lưu lượng xử lý»Bài viết phân tích kỹ thuật chuyên sâu về DeepSeek-V4.1-Flash, làm rõ cách thức CED và CSA2 tối ưu hóa bộ nhớ KV Cache, đồng thời đánh giá đây là bước nhảy vọt về kiến trúc tương đương thế hệ V5.
Intel đề xuất BITCOS, phương pháp lưu trữ trọng số tam phân giúp giảm dung lượng xuống dưới 1.58 bit/trọng số, tối ưu hóa hiệu suất cho các mô hình AI hiện đại.
karminski@karminski3Một giả thuyết mới cho rằng khi chạy ở chế độ đơn luồng (concurrency=1), việc sử dụng GEMV thay vì GEMM trong quá trình lượng tử hóa cực hạn có thể giúp giảm thiểu sai số và cải thiện hiệu suất mô hình. Đây hiện chỉ là suy đoán cá nhân và chưa có dữ liệu thực nghiệm kiểm chứng.
Jev là mô hình chuyên biệt cho các tác vụ phân loại, định tuyến và chấm điểm với tốc độ nhanh gấp 100 lần và chi phí rẻ hơn 200 lần so với các mô hình ngôn ngữ nhỏ (SLM) hàng đầu.
Tổng hợp từ 600 nghiên cứu, bài viết đề xuất khung lý thuyết 'Theory of Agent' giúp tối ưu hóa việc phân bổ năng lực cho AI Agent, tránh tình trạng lạm dụng công cụ hoặc suy diễn sai lệch.
DAIR.AI@dair_aiGiving an assistant extra tools seems harmless. Surprisingly, this paper shows it can make the assi…
DịchMột nghiên cứu mới chỉ ra rằng việc tích hợp các công cụ không cần thiết khiến các mô hình ngôn ngữ lớn (LLM) dễ bỏ qua các câu hỏi đơn giản, dù công cụ không được sử dụng. Việc bổ sung hướng dẫn cụ thể trong system prompt có thể giúp cải thiện đáng kể tỷ lệ phản hồi này.
Bằng cách tận dụng CPU để quản lý bộ nhớ thay vì dồn hết tác vụ cho GPU, các mô hình ngôn ngữ lớn có thể tối ưu hóa quy trình tạo token và cải thiện hiệu suất đáng kể.
Dự án mã nguồn mở WangNet giới thiệu mô hình AI chỉ 1.8MB, chạy bằng Python thuần mà không cần PyTorch hay NumPy, dùng để xác định giá trị Numberwang.
Rohan Paul@rohanpaul_aiAnother brilliant launch for developers: and its 20-200x faster than LLMs because it skips token-by-…
DịchTypeSafe AI vừa giới thiệu Jev, mô hình AI đột phá bỏ qua cơ chế tạo token tuần tự, giúp tăng tốc độ phản hồi lên gấp 200 lần và giảm chi phí vận hành tới 400 lần so với các LLM hiện nay.
Meta vừa công bố phương pháp chưng cất mô hình mới giúp các mô hình Byte vượt qua giới hạn hiệu suất truyền thống, mở ra hướng đi đột phá cho việc tối ưu hóa AI.
Ant Group giới thiệu SingProbe, một bộ dò an toàn chỉ 5.8M tham số, giúp phát hiện 8 loại ý định độc hại và ảo giác theo thời gian thực với chi phí tính toán cực thấp.
Bài viết phân tích vấn đề LLM tiêu tốn tài nguyên do suy nghĩ quá mức, đồng thời đề xuất các giải pháp tối ưu hóa chi phí và hiệu suất suy luận thông qua cơ chế tự điều chỉnh.
Eric Provencher từ OpenAI khuyến nghị lược bỏ các mô tả kỹ năng và quy tắc rườm rà trong AGENTS.md khi dùng GPT-6 Astra, nhằm tránh lãng phí ngữ cảnh và ngăn chặn tình trạng mô hình dừng phản hồi sớm.
Emad Mostaque@EMostaqueThose using Fable 5.1 for math / physics Does it only give good results in Max / Ultracode or do yo…
DịchNgười dùng thảo luận về hiệu suất của Fable 5.1 khi giải quyết các bài toán vật lý, liệu mô hình chỉ đạt hiệu quả tối ưu ở cấu hình Max/Ultracode hay có thể vận hành tốt ở các thiết lập thấp hơn.
Alibaba Cloud@alibaba_cloudDevelopers need speed and uncompromising production quality. 🚀 We've partnered with @FireworksAI_HQ…
DịchAlibaba Cloud bắt tay với FireworksAI nhằm tăng tốc độ xử lý và đảm bảo chất lượng sản xuất cho mô hình Qwen 3.8 Max, giúp các nhà phát triển xây dựng ứng dụng nhanh chóng và mở rộng quy mô dễ dàng hơn.
Elvis Saravia@omarsar0I am extremely bullish on the Pareto frontier of collective intelligence. While everyone works on …
DịchSakana AI giới thiệu Fugu Max và Fugu Ultra v2, hai giải pháp tối ưu hóa giúp đạt hiệu suất đỉnh cao trong các tác vụ phức tạp với chi phí token cực thấp mà không cần phụ thuộc vào các mô hình ngoại lai.
Khung RSI của openJiuwen cho phép các tác nhân AI tự học hỏi và cải tiến quy trình làm việc thông qua phản hồi thực tế, giúp tối ưu hóa cả phương pháp lẫn kết quả đầu ra với chi phí tính toán tối ưu.
NVIDIA kết hợp nền tảng Palantir Foundry với thư viện cuOpt để tự động hóa việc phân bổ linh kiện, giúp giải quyết các nút thắt sản xuất và tối ưu hóa thời gian sở hữu thông qua mô hình toán học tiên tiến.
Ma Dongxi NLP@dongxi_nlpDeepSeek giới thiệu kỹ thuật CED giúp chia sẻ KV cache giữa các lớp, từ đó giảm thiểu lưu trữ dư thừa và tăng tốc độ tính toán prefill, giúp mô hình vận hành nhanh và mạnh mẽ hơn.
RunningHub tối ưu hóa hiệu suất vượt trội, cho phép tạo video 15 giây chỉ trong 50 giây trên MiniMax H3, giúp việc triển khai cục bộ trở nên cực kỳ nhanh chóng.
Ma Dongxi NLP@dongxi_nlpDeepSeek-V4.1-Flash giới thiệu kiến trúc Causal Encoder-Decoder mới, cho phép tạo KV Cache toàn cục trực tiếp từ đầu ra của encoder. Cải tiến này giúp lược bỏ việc xử lý prompt qua toàn bộ các lớp decoder, từ đó tối ưu hóa đáng kể tốc độ tiền xử lý (prefill) cho mô hình.
Bài tổng quan hệ thống hóa các phương pháp tối ưu hóa suy luận cho Video LLM qua bốn giai đoạn: lấy mẫu khung hình, mã hóa đa phương thức, nén token và xử lý LLM, đồng thời chỉ ra những khoảng trống trong tiêu chuẩn đánh giá hiệu năng hiện nay.
Kim@kimmonismusDeepSeek just released V4.1-Flash with a new architecture, six weeks after its July V4-Flash update….
DịchDeepSeek giới thiệu V4.1-Flash, mô hình MoE 552B tham số tối ưu hóa hiệu suất với kiến trúc mới, giúp giảm đáng kể yêu cầu bộ nhớ KV cache và chi phí API trong khi vẫn hỗ trợ xử lý hình ảnh trực tiếp.
LingBot-World 2.0 phiên bản rút gọn vừa ra mắt, tối ưu hóa hiệu suất ấn tượng cho phép vận hành thời gian thực trên phần cứng phổ thông.
DeepSeek-V4.1-Flash là mô hình MoE đa phương thức mới với 748B tham số, nổi bật nhờ khả năng xử lý 1 triệu token và giảm dung lượng KV Cache xuống chỉ còn 890 byte mỗi token, tối ưu hiệu suất vượt trội so với các thế hệ trước.
Diễn biến sự kiện · 32 bài →Thêm 27 nguồn khác đưa tinHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)X: AI Notes (@AYi_AInotes)X: Alibaba Cloud (@alibaba_cloud)X: Ma Dongxi NLP (@dongxi_nlp)Fireworks AI (Web)X: Hongming (@hongming731)Latent SpaceX: SemiAnalysis (@SemiAnalysis_)Baseten Blog kỹ thuật (Web)X: OpenRouter (@OpenRouter)WeChat: Carl AI WattsX: Artificial Analysis (@ArtificialAnlys)X: Yuchen Jin (@Yuchenj_UW)X: Tencent WorkBuddy (@WorkBuddy_AI)The Decoder: AI NewsIT HomeX: Thomas Wolf (Hugging Face đồng sáng lập/CSO) (@Thom_Wolf)X: X.PIN (@thexpin)X: Kim (@kimmonismus)X: Testing Catalog (@testingcatalog)X: Elvis Saravia (@omarsar0, DAIR.AI)X: Aravind Srinivas (Perplexity CEO) (@AravSrinivas)TechNodePandailyX: DeepSeek (@deepseek_ai)X: opencode (@opencode)X: Tianyi Cui (@tianyi)DeepSeek vừa trình làng V4.1-Flash, mô hình flagship mới với kiến trúc encoder-decoder đột phá, hỗ trợ cửa sổ ngữ cảnh 1 triệu token và tối ưu hóa mạnh mẽ hiệu suất suy luận ở mức chi phí thấp.
Thêm 1 nguồn khác đưa tinX: Tianyi Cui (@tianyi)Elvis Saravia@omarsar0Nice paper to improve inference efficiency. It's been a while we haven't seen good work on efficien…
DịchKVMem tối ưu hóa bộ nhớ cho AI Agent bằng cách phân trang và lưu trữ trạng thái KV trên GPU, RAM và NVMe. Hệ thống sử dụng cơ chế chỉ mục chú ý để truy xuất thông tin lịch sử liên quan, giúp xử lý ngữ cảnh siêu dài một cách hiệu quả.
Dự án ARGODRIVE Deltafin đã tối ưu hóa việc chạy mô hình Kimi K3 (2.8T) nguyên bản trên MacBook Pro M5 Max, đạt tốc độ 1 token/giây bằng cách truyền tải dữ liệu trực tiếp từ 4 ổ SSD, nhanh gấp 3.5 lần so với các phương pháp trước đây.
ModelBest OpenBMB@OpenBMBLove seeing MiniCPM5-2B flying on an RTX 3080! Highly responsive agents on older GPUs is exactly the…
DịchMô hình MiniCPM5-2B gây ấn tượng khi chạy trơn tru trên GPU RTX 3080 đời cũ, chứng minh khả năng tối ưu hóa hiệu suất mạnh mẽ cho các tác vụ AI tại biên.
Nghiên cứu này giải quyết thách thức khi LLM phải tự động cập nhật các phần phụ thuộc trong tài liệu khi người dùng yêu cầu chỉnh sửa cục bộ. Nhóm tác giả đề xuất bộ tiêu chuẩn đánh giá mới và các phương pháp tính toán tiết kiệm chi phí để cải thiện độ chính xác khi lan truyền thay đổi.
Rohan Paul@rohanpaul_aiAgent skills work for a very specific reason: they turn messy past experience into a clean procedure…
DịchNghiên cứu cho thấy việc chắt lọc kinh nghiệm thành các kỹ năng (SKILL.md) giúp AI đạt hiệu suất cao hơn 6,06% so với việc lưu trữ chi tiết quy trình. Thay vì mở rộng bộ nhớ, các tác nhân AI tự cải tiến cần tập trung vào khả năng đúc kết và áp dụng kinh nghiệm hiệu quả hơn.
ModelBest OpenBMB@OpenBMBBig thanks to @sgl_project for the day-0 support! MiniCPM5-2B is ready to deploy with SGLang today.
DịchOpenBMB vừa giới thiệu MiniCPM5-2B với khả năng triển khai ngay lập tức qua SGLang. Trên card RTX 5090, mô hình đạt tốc độ giải mã ấn tượng hơn 250 tok/s, tối ưu hóa hiệu suất cho các tác vụ lập trình.
Ma Dongxi NLP@dongxi_nlpTác giả đã huấn luyện thành công mô hình MoE với cơ chế kích hoạt chỉ 3,65 triệu tham số mỗi token, sử dụng duy nhất một nhân CPU Intel Xeon, mở ra tiềm năng tối ưu hóa tài nguyên cực lớn.
Tencent vừa tối ưu hóa mô hình Hy4 preview để khắc phục tình trạng suy nghĩ quá mức và lặp lại trong các tác vụ phức tạp, giúp giảm số vòng hội thoại và lượng Token tiêu thụ mà vẫn giữ nguyên chất lượng phản hồi.
ShallowStream là khung làm việc mới giúp giảm chi phí tính toán khi xử lý video trực tuyến bằng cách kết hợp xử lý nông (shallow) cho các khung hình đầu vào và chỉ đi sâu (deep) khi cần thiết, giúp tối ưu hóa bộ nhớ KV cache.