Boris Cherny@bchernySmall quality of life improvements like this add up. More on the way
DịchBằng cách điều chỉnh cơ chế thu gom rác của Bun để chỉ chạy khi tiến trình rảnh rỗi, Claude Code CLI đã giảm đáng kể mức tiêu thụ CPU ở ngưỡng p99, giúp trải nghiệm người dùng mượt mà hơn.
Dex Horthy (HumanLayer)@dexhorthysloptimistic updates is this anything
DịchKhái niệm 'cập nhật lạc quan' đang được xem xét như một phương thức vận hành mới giúp tối ưu hóa hiệu suất và trải nghiệm tương tác cho các tác nhân AI.
AI Notes@AYi_AInotesNhờ công cụ quản lý luồng công việc J-Space, DeepSeek V4-Pro đã cải thiện đáng kể hiệu suất trên các bộ benchmark lập trình như Terminal Bench, DeepSWE và NL2Repo, chính thức vượt qua Fable 5 mà không cần thay đổi tham số.
Bản cập nhật PowerToys mới nhất tập trung khắc phục lỗi hiển thị trên Command Palette, tối ưu hóa tài nguyên hệ thống và tích hợp thêm tính năng tự động hóa bằng AI để hỗ trợ quản lý dự án trên GitHub.
Claude Devs@ClaudeDevsPerf win of the day: Claude Code CLI now uses 2x less CPU at p99. Bun's garbage collector was runni…
DịchClaude Code CLI vừa cập nhật cơ chế quản lý bộ nhớ, chuyển việc dọn dẹp rác (GC) sang thời điểm nhàn rỗi thay vì chạy theo lịch trình cố định, giúp giảm một nửa mức tiêu thụ CPU trong các tác vụ nặng.
Hongming@hongming731Tổng hợp 10 tin tức AI nổi bật, từ thực tiễn tầng ngữ nghĩa, chiến lược kinh doanh Agent của Stripe, đến các kỹ thuật tăng tốc trình biên dịch và tối ưu hiệu suất GPU.
Aravind Srinivas (Perplexity CEO)@AravSrinivasDense models are slow to run on local hardware, but this is incredible and a sign of things to come …
DịchViệc các mô hình AI phức tạp chạy mượt mà trên phần cứng cá nhân đang trở thành hiện thực, mở ra xu hướng mới cho tương lai của AI cục bộ.
Tác giả chia sẻ góc nhìn về việc quản lý chi phí AI khi hóa đơn tăng đột biến, lập luận rằng việc thắt chặt ngân sách token quá sớm có thể kìm hãm sự sáng tạo và hiệu quả công việc.
Hugging Face vừa giới thiệu bộ phân bổ GPU mới giúp tối ưu hóa việc xử lý các tác vụ suy luận và batch, giúp tăng hiệu suất sử dụng phần cứng lên tới 33% mà không cần thay đổi hạ tầng.
Elvis Saravia@omarsar0Recommended paper for agent skill builders. There are 56, 804 public agent skills today, all competi…
DịchNghiên cứu chỉ ra sự quá tải khi hàng chục nghìn kỹ năng AI cùng tranh giành không gian trong prompt hệ thống. Giải pháp đề xuất là tách biệt nội dung và cơ chế kích hoạt thông qua cấu trúc cây Git, giúp tối ưu hóa việc quản lý và triển khai kỹ năng mà không cần tệp cấu hình phức tạp.
SGLang vừa tái cấu trúc hỗ trợ CUDA Graph, biến Breakable CUDA Graph (BCG) thành mặc định cho giai đoạn prefill. Giải pháp này giúp giảm 75% lượng code so với torch.compile và tăng tốc độ xây dựng lên tới 5,2 lần.
Thay vì đóng băng trọng số sau khi huấn luyện, Test-time Training cho phép mô hình cập nhật liên tục khi sử dụng, giúp tăng tốc độ suy luận gấp 2.7 lần và mở rộng ngữ cảnh hiệu quả mà không cần huấn luyện lại.
Bài viết phân tích cách khắc phục các lỗi kỹ thuật khi chạy mô hình Nanbeige4.2-3B trên Apple Silicon và giới thiệu chiến lược 'chunked-prefill' giúp tăng gấp 2.7 lần độ dài ngữ cảnh bằng cách giảm tải bộ nhớ cho kiến trúc Looped Transformer.
Chỉ cần chỉnh sửa tệp config.toml trong Codex bằng cách thêm các tham số cấu hình cụ thể, người dùng có thể kích hoạt cửa sổ ngữ cảnh 1 triệu token vốn chỉ dành riêng cho API.
TensorCast là lớp trừu tượng mới giúp quản lý vòng đời tensor (trọng số, KV Cache) một cách thống nhất, giải quyết tình trạng phân mảnh trong hạ tầng LLM hiện nay. Công nghệ này cho phép tối ưu hóa hiệu suất vượt trội, đặc biệt giảm tới 93.2% độ trễ phản hồi đầu tiên (TTFT) cho các tác nhân AI.
SimpleOPD giải quyết các thách thức khi chuyển giao khả năng suy luận từ mô hình ngữ cảnh dài sang mô hình ngữ cảnh ngắn, thông qua việc đồng bộ hóa không gian văn bản và tối ưu hóa quá trình huấn luyện để tránh lỗi độ dài và mất ổn định.
Second Thought là khung suy luận mới giúp các tác nhân AI tận dụng thời gian chờ phản hồi từ môi trường để thực hiện các suy luận phụ song song, giúp giảm đáng kể số bước cần thiết để hoàn thành tác vụ mà không cần huấn luyện lại.
Rohan Paul@rohanpaul_aiSome architecture choices that make transformers cheaper or more stable also make them harder to ext…
DịchNghiên cứu trên 26 mô hình 7B cho thấy các lựa chọn kiến trúc như QK-norm hay Sliding Window khi kết hợp có thể làm suy giảm nghiêm trọng khả năng xử lý ngữ cảnh dài, dù các bài kiểm tra ngắn hạn không thể hiện rõ điều này.
Xiaobei@frxiaobeiKhám phá cách thức mới để tận dụng gói đăng ký ChatGPT bằng cách thiết lập Codex làm bộ định tuyến thông minh, giúp tối ưu hóa luồng công việc hiệu quả.
Rohan Paul@rohanpaul_aiVery timely paper. An agent skill can be completely relevant to the task and still make the agent wo…
DịchNghiên cứu thực nghiệm chỉ ra rằng ngay cả khi kỹ năng bổ sung hoàn toàn phù hợp với nhiệm vụ, chúng vẫn có thể khiến AI Agent hoạt động kém hiệu quả do lỗi thực thi hoặc quy trình xác thực dư thừa. Các nhà phát triển cần kiểm tra kỹ lưỡng và so sánh hiệu suất trước khi tích hợp kỹ năng mới.
CLR là khung làm việc không cần huấn luyện giúp tối ưu hóa tài nguyên suy luận bằng cách cô đọng các bước lập luận thành các luận điểm then chốt để kiểm chứng, thay vì đánh giá toàn bộ chuỗi suy luận.
Dion3 cải tiến thuật toán Muon bằng cách giảm chi phí tính toán và truyền tin thông qua thuật toán Gram Newton-Schulz mới và chiến lược megabatching, giúp tăng tốc huấn luyện mà vẫn giữ nguyên hiệu suất.
Intern-S2-Mobius giới thiệu kiến trúc Mobius-v0, tách biệt bộ nhớ tri thức và bộ suy luận để tối ưu hóa khả năng nén dữ liệu và tăng tốc độ suy luận gấp 4 lần so với các mô hình truyền thống.
Nghiên cứu đề xuất khung đánh giá mới để phân tích hành vi của các tác nhân AI trong các nhiệm vụ dài hạn, thay vì chỉ dựa vào kết quả cuối cùng. Kết quả cho thấy các mô hình hiện nay hoạt động giống công cụ tối ưu hóa kỹ thuật hơn là những nhà nghiên cứu tự chủ thực thụ.
Rohan Paul@rohanpaul_aiLLMs can suggest scientific mechanisms, but this paper finds that letting the agent choose experimen…
DịchMDA tối ưu hóa LLM bằng cách tách biệt việc tạo giả thuyết và suy luận Bayes, giúp đạt độ chính xác tương đương Opus 4.7 chỉ với 8 lần thử nghiệm thay vì 41, với tỷ lệ thành công vượt trội 93% so với 31%.
AI Notes@AYi_AInotesThay vì dồn hết dữ liệu vào AGENTS.md gây tốn token và khó quản lý, hãy sử dụng Skills để tải nội dung theo nhu cầu. Đây là cách tiếp cận thông minh giúp tối ưu hóa hiệu suất và khả năng bảo trì cho các luồng công việc phức tạp.
AI Notes@AYi_AInotesDeepSeek V4 Pro đạt hiệu suất tối đa (98-99 điểm) khi được giới hạn công cụ ở mức tối giản (bash và str_replace_editor) thay vì nạp quá nhiều công cụ cùng lúc. Chiến lược 'tối giản trước, mở rộng sau' giúp mô hình ổn định hơn đáng kể.
Dex Horthy (HumanLayer)@dexhorthythis guy gets it
DịchNgười dùng phát hiện phong cách phản hồi 'Attention-kind' giúp Claude Opus 3.5 tăng hiệu suất lập trình lên 97%, giảm 43% độ dài văn bản và tối ưu hóa tốc độ phản hồi đáng kể. Đây là minh chứng cho thấy việc thiết kế tương tác AI-người dùng (AHI) có thể thay đổi hoàn toàn hiệu quả công việc.
Một lập trình viên đã sử dụng AI agent dựa trên Codex để tự động phân tích, đề xuất và kiểm chứng các giải pháp tối ưu hóa mã nguồn, giúp rút ngắn đáng kể thời gian tìm kiếm điểm nghẽn hiệu năng.
Rohan Paul@rohanpaul_aiIf you're spending extra tokens making an LLM critique itself, this paper says a simpler move can be…
DịchNghiên cứu trên các mô hình Qwen2.5 cho thấy việc lấy mẫu lặp lại và chọn đáp án đa số mang lại hiệu quả cao hơn các phương pháp tự phản tư phức tạp khi cùng giới hạn số lượng token.
Rohan Paul@rohanpaul_aiReally useful revelation on prompting coding agent in this paper. Your coding-agent prompt may be …
DịchNghiên cứu chỉ ra rằng việc yêu cầu AI lập trình cân nhắc nhiều phương án hoặc thêm các chỉ dẫn thừa thãi như "hãy chắc chắn tuyệt đối" làm tăng chi phí vận hành lên tới 18 lần mà không cải thiện tỷ lệ thành công.
AI Notes@AYi_AInotesOpenAI đã tối ưu hóa việc tải các đoạn hội thoại dài, giảm số lượng yêu cầu mạng và bộ nhớ JS đáng kể, giúp thời gian tải giảm từ 27 giây xuống còn 1,66 giây. Điều này cho thấy OpenAI đang tập trung giải quyết nút thắt hiệu năng từ phía client trong kỷ nguyên AI agent.
Kim@kimmonismusHype: Codex is rolling out a major performance update next week that should make very long conversat…
DịchCodex chuẩn bị tung bản cập nhật giúp tối ưu hóa đáng kể tốc độ tải các đoạn hội thoại dài, giảm thiểu bộ nhớ và số lượng yêu cầu. Trong thử nghiệm thực tế, thời gian tải trung bình đã rút ngắn ấn tượng từ 27,6 giây xuống còn 1,7 giây.
Phương pháp mới giúp hiểu rõ cơ chế hoạt động của các mô hình ngôn ngữ lớn mà không cần phải huấn luyện thêm mạng thay thế, giúp tiết kiệm đáng kể chi phí tính toán.
Gambit giới thiệu phương pháp tìm kiếm theo luồng suy nghĩ (thought-level beam search) giúp phân bổ tài nguyên tính toán thông minh hơn trong quá trình suy luận, thay vì lãng phí vào các hướng đi kém hiệu quả.
Testing Catalog@testingcatalogAtomic has released Dynamic Quants for Qwen3.8-27B-GGUF, a quantized version of Qwen3.8 27B, compres…
DịchAtomic vừa phát hành phiên bản Qwen3.8-27B với công nghệ nén GGUF động, giảm dung lượng từ 28.9GB xuống chỉ còn 8.5GB. Đáng chú ý, phiên bản AD-IQ3_S có thể chạy mượt trên MacBook Air 16GB mà vẫn giữ được 92.4% độ chính xác so với bản gốc BF16.
SemiAnalysis@SemiAnalysis_Speed is the Moat 🚨🚨🚨 & @AnushElangovan & his team Keep Running Faster 🚀 & Faster! H…
DịchTheo SemiAnalysis, rào cản lớn nhất khiến các đội ngũ phát triển AI khó bứt tốc chính là sự thiếu ổn định của các cụm máy chủ nội bộ. Việc xây dựng hạ tầng ổn định là yếu tố sống còn để duy trì lợi thế cạnh tranh.
Qwen@Alibaba_QwenYes, we are back👑, with 206 tok/s on a single RTX 5090! Amazing Day-0 work from the SGLang team. Gi…
DịchAlibaba vừa phát hành mã nguồn mở Qwen3.8-27B, thiết lập chuẩn mực mới cho các mô hình nhỏ trong tác vụ lập kế hoạch và xử lý dài hạn, với tốc độ ấn tượng 206,1 tok/s trên RTX 5090.
Nghiên cứu đề xuất phương pháp dùng LLM để tự động thiết kế thuật toán cắt tỉa token hình ảnh, giúp giảm chi phí tính toán cho các mô hình đa phương thức mà không cần tinh chỉnh thủ công.
AutoDesign áp dụng phương pháp tối ưu hóa meta để giúp AI Agent tự cải thiện quy trình thiết kế dựa trên phản hồi, vượt xa các mô hình hiện tại trên bộ tiêu chuẩn PosterBench.