CERA-MoA là khung học tăng cường lặp giúp đồng bộ hóa bộ định tuyến động và chiến lược của các tác nhân độc lập, khắc phục sự rời rạc trong các mô hình Mixture-of-Agents hiện nay.
Edge0 giới thiệu cơ chế dự đoán lộ trình (prerouter) giúp nạp trước dữ liệu chuyên gia từ SSD, loại bỏ độ trễ khi suy luận các mô hình MoE lớn trên phần cứng hạn chế.
TypeSafe ra mắt Jev Ultrafast, tác nhân trình duyệt tối ưu hóa không gian hành động giúp giảm thiểu yêu cầu mạng và chỉ sử dụng LLM nhỏ khi cần thiết, đạt tốc độ xử lý vượt trội.
Nghiên cứu chỉ ra lỗi 'phẳng hóa giá trị' khiến mô hình PPO dự đoán thiếu chính xác. Giải pháp SP3O giúp khắc phục bằng cách giám sát chọn lọc các trạng thái quan trọng, giúp cải thiện hiệu suất đáng kể trên các mô hình ngôn ngữ lớn.
Zhipu AI Z.ai@Zai_orgWe're sharing how GLM-5.3 helped build and optimize the inference infrastructure serving GLM-5.3-Fla…
DịchZhipu AI chia sẻ cách họ xây dựng và tối ưu hóa hạ tầng cho GLM-5.3-Flash chỉ trong hai tuần, giúp tăng gấp ba lần lưu lượng xử lý nhờ quy trình kiểm thử và phản hồi kỹ thuật chặt chẽ.
Thêm 1 nguồn khác đưa tinX: Tang Jie (@jietang)ComPO là phương pháp căn chỉnh LLM mới sử dụng cơ chế so sánh thay vì tối ưu hóa hàm mất mát trực tiếp, giúp cải thiện hiệu suất trên các dòng mô hình như Llama và Qwen.
AI Notes@AYi_AInotesTừ 20 lời khuyên thực chiến, tác giả đúc kết 3 bước tối ưu AI Agent: ưu tiên API thay vì giả lập thao tác, dùng cơ chế so sánh để củng cố logic sửa lỗi, và thiết lập quy tắc quyền hạn nghiêm ngặt để tránh lãng phí tài nguyên.
VC-Attention là giải pháp không cần huấn luyện giúp tăng tốc và duy trì độ chính xác cho các mô hình Diffusion bằng cách xử lý nhiễu giá trị (value outliers) và tối ưu hóa hàm Softmax, giải quyết nút thắt chi phí tính toán trong các chuỗi video dài.
AI Notes@AYi_AInotesDream-RSI cải thiện khả năng giải quyết vấn đề bằng cách tối ưu hóa chiến lược tìm kiếm thay vì huấn luyện lại mô hình, giúp giảm đáng kể số lần gọi API mà vẫn duy trì hiệu suất cao trong các tác vụ logic.
Hướng dẫn cách đóng gói dữ liệu server thành MCP Server để GPT-6 Pro truy xuất trực tiếp, giúp tiết kiệm hạn mức Codex khi phân tích dữ liệu sản xuất và GitHub PR.
Apple giới thiệu TS-DFM, kỹ thuật chưng cất mô hình sử dụng 'la bàn năng lượng' để chọn lọc bước nhảy hiệu quả thay vì ngẫu nhiên. Kết quả cho thấy mô hình 8 bước vượt trội hơn mô hình 1024 bước tới 32% về độ chính xác, đồng thời tăng tốc độ suy luận gấp 128 lần.
Cùng sự kiện, bài đại diện «DACA-GRPO: Apple tối ưu hóa học tăng cường cho mô hình ngôn ngữ khuếch tán»Bằng cách kết hợp SFT và học tăng cường (RL) trên mô hình Qwen 4B, Rohan Bansal đã tạo ra một tác nhân tối ưu hóa truy vấn giúp tăng tốc độ xử lý lên 1,81 lần và giảm 44,7% độ trễ so với trình tối ưu hóa mặc định của Postgres.
opencode@opencodesome improvements were made with Union Alpha, try it again if you had issues
DịchUnion Alpha vừa cập nhật cải tiến hiệu suất sau phản hồi về tốc độ chậm. Hiện hệ thống đã đạt cột mốc hơn 100 tỷ token và đang duy trì tốc độ xử lý ấn tượng 500 triệu token mỗi phút.
Dream-RSI là khung khám phá cho phép AI tự cải tiến đệ quy bằng cách biến lịch sử thành trình mô phỏng, giúp tạo ra chiến lược mới mà không cần đánh giá trực tuyến tốn kém. Công nghệ này đã chứng minh hiệu quả vượt trội trong tối ưu hóa toán học và kỹ thuật GPU.
AI Notes@AYi_AInotesKỹ sư tối ưu hóa toán tử của DeepSeek nhận định rằng các công việc có mục tiêu rõ ràng như tối ưu hóa mã nguồn đang dần chạm ngưỡng giới hạn do AI. Anh dự đoán con người sẽ sớm chuyển sang vai trò kiểm duyệt thay vì trực tiếp viết code.
Đội ngũ NVIDIA đã phát triển một AI Agent để tự động chuyển đổi 24 toán tử từ cuTile Python sang cuTile Rust, đạt hiệu suất ấn tượng lên tới 99,5% so với bản gốc.
Elvis Saravia@omarsar0Banger paper from NVIDIA. It's on the topic of choosing which models go into a multi-agent system. …
DịchNghiên cứu của NVIDIA chỉ ra rằng việc sử dụng nhiều bản sao của cùng một mô hình thường hiệu quả hơn là kết hợp các mô hình khác nhau. Việc chọn lọc mô hình từ cùng một dòng sản phẩm mang lại hiệu suất tốt nhất cho hệ thống đa tác nhân.
Apple phát triển kiến trúc bộ nhớ mới giúp AI Agent tối ưu hóa ngữ cảnh, tăng tỷ lệ hoàn thành nhiệm vụ lên 96% đồng thời giảm 14 lần thời gian xử lý và 97 lần chi phí token so với phương pháp truyền thống.
ModularRSI giải quyết các hạn chế của việc tự cải thiện đệ quy (RSI) bằng cách tách biệt các mô-đun, giúp tác nhân AI tối ưu hóa cơ chế thực thi mà không bị phụ thuộc vào dữ liệu kiểm thử cụ thể, từ đó tăng khả năng tổng quát hóa cho các tác vụ mới.
karminski@karminski3Chuyên gia Lý Bác Kiệt chỉ ra rằng dù công nghệ như RDMA đã có từ lâu, việc ứng dụng thực tế vẫn rất chậm chạp. Ông cho rằng AI hiện nay giỏi tối ưu hóa nhỏ lẻ nhưng hệ thống thiết kế vẫn còn nhiều hạn chế, chưa thể thay thế hoàn toàn con người.
karminski@karminski3Dự án K2-Horizon-7B đang triển khai tối ưu hóa bộ nhớ với định dạng 8-bit và 4-bit, đồng thời cộng đồng đang kỳ vọng nhóm phát triển sớm tích hợp cơ chế Hybrid Attention để nâng cao hiệu năng.
Novita AI mã nguồn mở toán tử Chord, tối ưu hóa W4A16 MoE cho Kimi K2.x, giúp cải thiện hiệu suất đáng kể trên H200 và B300 thông qua vLLM.
Nghiên cứu đề xuất phương pháp tinh chỉnh mô hình bằng cách giới hạn độ lệch hành vi, tập trung vào việc chọn hướng cập nhật tối ưu thay vì chỉ quan tâm đến khoảng cách, giúp bảo toàn năng lực gốc của mô hình.
Gavel là phương pháp mới giúp LLM tự chọn kỹ năng phù hợp thông qua các ánh xạ tuyến tính thay vì nhồi nhét metadata vào ngữ cảnh, giúp mở rộng thư viện kỹ năng mà không làm giảm hiệu suất của mô hình.
Lightning Weave là khung huấn luyện hậu kỳ giúp kết hợp các khả năng suy luận từ nhiều mô hình chuyên biệt vào một mô hình duy nhất, giúp cải thiện đồng thời độ chính xác và tốc độ suy luận thông qua kỹ thuật chưng cất chính sách.
Bài viết hướng dẫn chi tiết cách sử dụng cuDNN Frontend API để xây dựng đồ thị tính toán, cho phép cuDNN tự động tối ưu hóa và quản lý các kế hoạch thực thi nhằm đạt hiệu suất cao nhất.
Đội ngũ vLLM đã sử dụng hệ thống GB300 NVL72 để huấn luyện mô hình DSpark cho Kimi K3, giúp tăng tốc độ suy luận toán học lên gấp 4 lần và cải thiện thông lượng đầu ra tới 3,5 lần.
Nghiên cứu chỉ ra rằng RL hiện nay thường lãng phí tài nguyên vào các bài toán dễ. Phương pháp Never Give Up (NGU) đề xuất cơ chế lấy mẫu thích ứng, giúp phân bổ lại tài nguyên tính toán để giải quyết hiệu quả các bài toán khó mà mô hình chưa làm tốt.
Elvis Saravia@omarsar0Recommended read. Jev gives up text generation to make AI dramatically faster. TypeSafe built a ne…
DịchTypeSafe giới thiệu kiến trúc Jev, thay thế việc tạo văn bản bằng cách xử lý song song các câu hỏi cấu trúc. Với chi phí tối ưu và tốc độ nhanh gấp 40-200 lần, Jev được định vị là giải pháp thông minh có khả năng kết hợp, tập trung vào hỗ trợ ra quyết định.
Blog kỹ thuật của NVIDIA phân tích sự khác biệt giữa kiến trúc Dense và MoE. Điểm nhấn là cơ chế định tuyến của MoE giúp tối ưu hóa hiệu suất, ví dụ như mô hình Nemotron 3.5 Lightning 30B chỉ kích hoạt 3B tham số cho mỗi token.
TypeSafe vừa giới thiệu mô hình mới có khả năng chuyển đổi các truy vấn mơ hồ thành xác suất cực nhanh, cho phép kiểm tra công việc của AI agent theo thời gian thực với chi phí thấp.
TREVIS là phương pháp mới giúp tối ưu hóa đồng thời độ chính xác và tính tinh gọn của cây quyết định bằng cách chuyển đổi không gian tìm kiếm rời rạc sang không gian liên tục thông qua mô hình TTVAE.
AI Notes@AYi_AInotesBản báo cáo kỹ thuật 13 trang đề xuất mô hình bộ nhớ 5 tầng cho AI Agent, bao gồm bộ nhớ làm việc, tình huống, ngữ nghĩa, thủ tục và cơ chế tự xóa dữ liệu thừa, giúp tối ưu hóa hiệu suất và tiết kiệm tài nguyên đáng kể.
Các nhà nghiên cứu đã kiểm chứng phương pháp giải mã suy luận của Orthrus và phát hiện rằng ở định dạng BF16, tỷ lệ khớp hoàn toàn chỉ đạt khoảng 40%, trong khi độ chính xác tuyệt đối chỉ đạt được khi sử dụng FP32.
ESRL là khung làm việc mới giúp tối ưu hóa việc lựa chọn chuyên gia trong mô hình MoE, tăng cường sự đa dạng của kết quả đầu ra mà không làm giảm chất lượng mô hình như các phương pháp nhiễu thông thường.
MInTRL là phương pháp học tăng cường mới giúp mở rộng khả năng khám phá bằng cách chèn các can thiệp cục bộ vào quy trình on-policy, giúp sửa lỗi nhanh chóng mà không làm mất tính ổn định của mô hình.
GVA là phương pháp mới giúp giảm 45-47% dung lượng bộ nhớ KV cache bằng cách tái tạo khóa nội dung thông qua ánh xạ tuyến tính, thay vì lưu trữ toàn bộ, giúp tăng hiệu suất giải mã cho các mô hình Transformer.
Ma Dongxi NLP@dongxi_nlpTốc độ phản hồi của LLM phụ thuộc vào TTFT (thời gian chờ token đầu tiên) và ITL (độ trễ giữa các token). Hiểu rõ hai chỉ số này giúp tối ưu hóa quá trình xử lý Prefill và Decode, mang lại trải nghiệm mượt mà hơn.
ZGCM-1 là mô hình 7B đột phá, kết hợp tư duy nội tại với công cụ bên ngoài để vượt qua giới hạn dung lượng tham số. Với kiến trúc FP8 và quy trình huấn luyện hiệu quả, mô hình hỗ trợ ngữ cảnh 256K, cho phép tác tử tự vận hành và tối ưu hóa dữ liệu.
MiniMax@MiniMax_AIH3 keeps getting faster. ⚡️ @sgl_project + VDN-H3 now push MiniMax H3 beyond 2× real-time denoising…
DịchMiniMax H3 tối ưu hóa quy trình tạo video 768p với thời gian khử nhiễu chỉ 6,9 giây, đạt hiệu suất vượt trội mà không làm giảm chất lượng hình ảnh so với mô hình gốc.