DAIR.AI@dair_aiGreat weekend read. https://x.com/omarsar0/status/2095612805496164801?s=20
DịchCác nhà nghiên cứu từ KAIST và Google DeepMind đề xuất phương pháp Declarative Attention, cho phép mô hình tự kiểm soát cơ chế chú ý để giảm tải việc đọc KV cache, giúp tăng hiệu suất xử lý.
Nghiên cứu đánh giá khả năng thay thế các mô hình lớn bằng các mô hình ngôn ngữ nhỏ (như Qwen3-1.7B) để làm giám khảo chấm điểm trong học tăng cường, giúp giảm chi phí tính toán mà vẫn đảm bảo độ chính xác.
SemiAnalysis@SemiAnalysis_SemiAnalysis đánh giá cao đội ngũ vLLM nhờ các cải tiến kỹ thuật vượt trội giúp tối ưu hóa hiệu suất cho các tác vụ AI Agent phức tạp.
OneRail vừa giới thiệu OmniSTAR, nền tảng AI giúp các doanh nghiệp bán lẻ và phân phối tự động lựa chọn phương thức giao hàng tối ưu nhất về chi phí, dựa trên sức mạnh xử lý từ Nvidia.
Elvis Saravia@omarsar0Massive paper from Meta. I like this one because it shows the use of agent harnesses for production…
DịchMeta ra mắt CORAL, một hệ thống tác nhân LLM giúp tự động tinh chỉnh các tham số của hệ thống gợi ý trong môi trường thực tế mà không cần huấn luyện lại, giúp tối ưu hiệu suất liên tục thông qua vòng lặp phản hồi.
DAIR.AI@dair_aiGreat paper from Meta. This is a really good example of an agent harness for a production-grade appl…
DịchMeta giới thiệu CORAL, khung tác tử AI giúp tự động tối ưu hóa các hệ thống gợi ý hàng tỷ người dùng thông qua cơ chế vòng lặp khép kín, cho phép cải thiện hiệu suất mà không cần cập nhật tham số mô hình.
Cùng sự kiện, bài đại diện «Meta giới thiệu CORAL: Tối ưu hóa hệ thống gợi ý bằng tác nhân LLM tự vận hành»Apple giới thiệu khung huấn luyện IVT, cho phép mô hình học cách dự đoán tương lai thông qua biểu diễn ẩn thay vì phải tạo ảnh trực tiếp, giúp tăng tốc độ suy luận video gấp 5 lần mà vẫn giữ được độ chính xác.
Debias-SparseGPT là kỹ thuật cắt tỉa hậu huấn luyện giúp giảm định kiến xã hội trong các mô hình ngôn ngữ lớn mà vẫn duy trì độ chính xác và hiệu suất, ngay cả ở cấu trúc nén 2:4 khắt khe.
Hugging Face chia sẻ cách dùng thư viện TRL để tinh chỉnh mô hình LiquidAI trên GPU miễn phí. Chỉ với 500 mẫu và 100 bước huấn luyện, hiệu suất đạt chuẩn IFStruct đã cải thiện đáng kể từ 22.6% lên 29.7%.
Perplexity vừa mã nguồn mở Lily, công cụ suy luận hiệu năng cao viết bằng Rust và Metal, được thiết kế chuyên biệt để chạy mô hình Qwen3.6-35B-A3B trên chip Apple Silicon mà không cần phụ thuộc vào PyTorch hay MLX.
Ma Dongxi NLP@dongxi_nlpVideo Delta Net (VDN) đạt tốc độ tạo video vượt thời gian thực nhờ cơ chế Hybrid Attention, giúp tăng tốc Minimax-H3 lên tới 90 lần. Dự án đã mã nguồn mở toàn bộ checkpoint và mã nguồn, cho phép tạo video 768p dài 14 giây chỉ trong 11 giây trên 8 GPU B200.
CRISP là phương pháp mới giúp tăng tốc giai đoạn tiền xử lý (prefilling) cho LLM bằng cách định tuyến thông minh dựa trên cấu trúc phân bổ trọng số attention, thay thế các cơ chế cũ kém hiệu quả.
Meituan chia sẻ quy trình kỹ thuật toàn diện cho livestream AI, bao gồm tạo hình nhân vật độ phân giải cao, điều khiển cử động bằng văn bản và tối ưu hóa suy luận để vận hành hàng nghìn luồng cùng lúc.
Nghiên cứu giới thiệu giao thức Declarative Attention (DA), cho phép mô hình tự chỉ định vùng ngữ cảnh cần tập trung trong quá trình suy luận. Điều này giúp tối ưu hóa hiệu suất bằng cách lược bỏ các thao tác đọc KV cache không cần thiết.
Nghiên cứu giới thiệu phương pháp IDA-OPD giúp mô hình học sinh kế thừa khả năng suy luận đa dạng từ giáo viên bằng cách lọc bỏ các cập nhật làm giảm entropy, thay vì chỉ tập trung vào độ chính xác đơn lẻ.
Thank you to our partner @fal for pushing the Pareto tier of MiniMax H3 - delivering 2x the speed at…
Dịchfal vừa giới thiệu bản xem trước của MiniMax H3 Max Turbo với hiệu suất vượt trội: tốc độ nhanh gấp đôi và chi phí chỉ bằng một nửa so với bản gốc, trong khi vẫn duy trì chất lượng hình ảnh hàng đầu.
OpenAI Developers@OpenAIDevsGPT-5.6 Sol helps @bryantchou's team at @ployai orchestrate complex marketing campaigns as they expe…
DịchOpenAI chia sẻ cách đội ngũ Ployai ứng dụng GPT-5.6 Sol và các tác nhân phụ (subagents) để tối ưu hóa quy trình, tiết kiệm thời gian và chi phí cho các chiến dịch marketing.
Emad Mostaque@EMostaqueThis is known as satisficing At a certain speed they go faster than our ability to guide them Then…
DịchEmad Mostaque cho rằng khi AI vượt ngưỡng trí tuệ con người, cuộc đua quy mô sẽ nhường chỗ cho tối ưu hóa tốc độ và chi phí, đặt ra câu hỏi về giới hạn cải tiến tiếp theo.
MiniMax@MiniMax_AIFast H3 on a local device! Good news for the localhost community: open, fast, high quality video gen…
DịchFastH3 của FastVideo vừa cập nhật hỗ trợ NVIDIA DGX Spark và chip Apple Silicon qua MLX, giúp tăng tốc độ tạo video cục bộ lên gấp 8 lần so với phiên bản MiniMax H3 gốc.
Rohan Paul@rohanpaul_aiAnthropic has a large open-source repository for Claude Skills with 173K+ Github stars These "skill…
DịchAnthropic ra mắt kho Claude Skills cho phép nạp các tập lệnh tùy chỉnh theo nhu cầu, giúp tối ưu hóa token và tăng hiệu suất làm việc cho người dùng qua API lẫn giao diện web.
Elvis Saravia@omarsar0Not all harnesses are created equal. And there is no one-size-fits-all. A good harness should solv…
DịchElvis Saravia khuyên các kỹ sư nên tự xây dựng một bộ khung (harness) tối giản với vòng lặp agent và công cụ để hiểu sâu về cách tối ưu hóa prompt, bộ nhớ đệm và luồng điều khiển trước khi chuyển sang các hệ thống sản xuất phức tạp.
Bài báo đề xuất phương pháp hậu huấn luyện dựa trên lưu lượng truy cập thực tế, giúp tối ưu hóa hiệu suất LLM tự lưu trữ trên các tác vụ phức tạp như gọi hàm và tuân thủ chỉ dẫn, đảm bảo bảo mật dữ liệu doanh nghiệp.
Rohan Paul@rohanpaul_aiSo happy to see this new Microsoft paper. If lower inference memory is the goal, this paper finds t…
DịchNghiên cứu chỉ ra rằng Sliding-window attention (SWA) hiệu quả hơn hầu hết các phương pháp Linear attention khi tối ưu bộ nhớ suy luận, chỉ cần kết hợp cửa sổ nhỏ và 4 token 'sink' đầu tiên.
Google nâng cấp dòng Gemini Flash với khả năng phân tích video theo cơ chế đại lý (agentic), cho phép mô hình tự quyết định khung hình và dữ liệu cần xử lý thay vì lấy mẫu cố định, giúp tối ưu hiệu suất và chi phí đáng kể.
Bài viết phân tích khung 'Biên hiệu quả' của LLM, chia các kỹ thuật tối ưu thành hai nhóm: cân bằng giữa độ trễ và thông lượng, hoặc đẩy xa giới hạn hiệu suất để đạt hiệu quả tổng thể cao hơn.
Alibaba Cloud@alibaba_cloudCoding agents log what happened, but not where the time and tokens went. Here's how to get real Ope…
DịchAlibaba Cloud chia sẻ cách dùng OpenTelemetry để truy vết chi tiết thời gian và mức tiêu thụ token của các AI agent, giúp tối ưu hóa DeepSeek Harness thông qua Jaeger hoặc Langfuse.
Nghiên cứu giới thiệu công thức SMELT, tối ưu hóa hiệu suất mô hình Transformer tuần hoàn bằng cách cân bằng ngân sách tính toán trên mỗi token, tham số và bộ nhớ đệm KV.
Lauren Tan@potetonew in Dr Eggbot (v0.2.0): • eggbot can do a health check on all your routines for unused or expens…
DịchBản cập nhật v0.2.0 của Dr Eggbot bổ sung tính năng kiểm tra sức khỏe routine định kỳ và quét các lỗi giao tiếp trong hội thoại để tự động đề xuất cải thiện cấu hình cho Grok bot.
Rohan Paul@rohanpaul_aiDifferent LLMs may behave more similarly inside an agent harness than their raw traces suggest. LLM…
DịchMột nghiên cứu mới đề xuất phương pháp nén chuỗi hành động của LLM Agent thành các máy trạng thái hữu hạn (FSM) nhỏ gọn, giúp dự đoán bước tiếp theo và phát hiện sớm các lỗi vận hành.
Elvis Saravia@omarsar0Super interesting paper from Meta. Long-horizon research agents are coming. But one common problem…
DịchMeta giới thiệu mô hình AI Research Preference Models giúp các tác nhân AI đánh giá và chọn lọc các hướng thử nghiệm hứa hẹn nhất trước khi thực thi, giải quyết bài toán hạn chế về GPU và khả năng tư duy sáng tạo trong nghiên cứu.
Chuyên gia Simon Willison vừa phát hiện ứng dụng ChatGPT/Codex đang cài đặt kèm toàn bộ bộ phần mềm văn phòng LibreOffice, làm dấy lên nghi vấn về sự cồng kềnh và tối ưu hóa trong quá trình đóng gói phần mềm.
Công cụ slotstream cho phép chạy các mô hình AI khổng lồ như Qwen3.8-Flash-Next (104GB) trên máy Mac có RAM hạn chế bằng cách truyền tải dữ liệu trực tiếp từ SSD.
Logan Kilpatrick@OfficialLoganKIntroducing Agentic Video in the Gemini API, a new way to process long videos which reduces token co…
DịchGoogle vừa giới thiệu tính năng Agentic Video trên Gemini API, giúp tối ưu hóa việc xử lý video dài với hiệu suất cao hơn, giảm tới 88% lượng token tiêu thụ và cải thiện độ chính xác đáng kể.
Google DeepMind@GoogleDeepMindWe're bringing agentic video understanding to our latest Gemini models. They can now analyze videos…
DịchGoogle DeepMind vừa cập nhật khả năng phân tích video cho dòng mô hình Gemini mới, giúp tăng độ chính xác đáng kể trong khi giảm tới 88% lượng token tiêu thụ.
Bài viết giải quyết bài toán nan giải khi chạy các mô hình 70B tham số trên phần cứng tiêu dùng, hướng dẫn kỹ thuật tối ưu hóa dung lượng mà vẫn giữ vững hiệu năng xử lý.
DAIR.AI@dair_aiIf you build agent skills in production, check out this great paper from Alibaba. You can think of …
DịchNghiên cứu từ Alibaba và ĐH Chiết Giang giới thiệu SkillZip Pro, phương pháp nén dữ liệu cho các thư viện Agent Skill bằng cách loại bỏ các thành phần dư thừa nhưng vẫn đảm bảo khả năng truy cập và thực thi linh hoạt qua 4 chế độ vận hành.
Cloudflare thử nghiệm tích hợp nén dữ liệu trực tiếp vào hệ thống cache, giúp mở rộng không gian lưu trữ mà không cần nâng cấp phần cứng.
Ant Group giới thiệu Ling-3.0-flash, mô hình suy luận hỗn hợp với 124 tỷ tham số nhưng chỉ kích hoạt 5,1 tỷ, giúp tối ưu hiệu năng vượt trội so với thế hệ tiền nhiệm.
Nghiên cứu từ StartLux và các đại học danh tiếng đã khám phá cách các lớp Full Attention ảnh hưởng đến mô hình lai, xác định hai trạng thái kích hoạt đặc trưng là 'đỉnh trước chú ý' và 'nền giữa các đỉnh', giúp tối ưu hóa hiệu năng cho các kiến trúc LLM thế hệ mới.
Tiểu Hồng Thư và NVIDIA cùng phát triển GR-Inference, công cụ suy luận chuyên dụng giúp tối ưu hóa các tác vụ truy xuất tạo sinh (Generative Retrieval) thông qua các kỹ thuật như xử lý batch liên tục và tối ưu hóa bộ nhớ KV.