Elvis Saravia@omarsar0A few days ago, Anthropic shared this brilliant prompt. I was surprised by how it significantly im…
DịchMột bộ prompt mới từ Anthropic đã cho thấy hiệu quả bất ngờ khi cải thiện đáng kể khả năng viết lách của cả Fable 5.1 và GPT-5.6, trở thành công thức tối ưu cho mọi tác vụ biên tập AI.
Bài viết giới thiệu cách vLLM triển khai kỹ thuật giải mã suy đoán trên kiến trúc GPU AMD, giúp tăng tốc độ suy luận cho các mô hình ngôn ngữ lớn mà vẫn đảm bảo độ chính xác.
SemiAnalysis@SemiAnalysis_Nhờ tối ưu hóa phần mềm ROCm và toán tử chú ý cho ngữ cảnh dài, AMD đã giúp chip MI355X đạt hiệu suất vượt trội trên mô hình MiniMax M3 mà không cần thay đổi phần cứng.
Rohan Paul@rohanpaul_aiNew term "catastrophic remembering" CLAUDE.md has a ratchet problem: instructions are easy to add a…
DịchNghiên cứu trên 1.867 kho lưu trữ cho thấy các tệp chỉ dẫn AI tăng trưởng trung bình 226% do các lệnh cũ không được xóa bỏ. Giải pháp gắn kèm chú thích về bối cảnh giúp giảm đáng kể lượng từ thừa mà vẫn duy trì hiệu suất mô hình.
MG Ship vừa ra mắt mô-đun AI mới giúp tự động hóa việc chọn hãng vận chuyển và tối ưu hóa lộ trình, mang lại hiệu quả chi phí và thời gian rõ rệt cho các nhà bán lẻ toàn cầu.
Elvis Saravia@omarsar0NoRA (Normalized Low-Rank Adaptation) giới thiệu một thay đổi đơn giản nhưng hiệu quả trong cấu trúc LoRA, giúp cải thiện khả năng hội tụ mà không làm tăng chi phí tính toán.
AI Notes@AYi_AInotesViệc lạm dụng plugin và kỹ năng khiến AI Agent bị quá tải ngữ cảnh, làm giảm hiệu suất phản hồi. Tác giả chia sẻ prompt giúp lọc bỏ các kỹ năng dư thừa, chỉ giữ lại những công cụ cốt lõi để tối ưu hóa khả năng xử lý của mô hình.
Nghiên cứu giới thiệu OR-Clarify, bộ tiêu chuẩn đánh giá khả năng đặt câu hỏi làm rõ của AI trước khi xây dựng mô hình tối ưu hóa, giúp khắc phục tình trạng thiếu hụt thông tin trong các yêu cầu thực tế.
Nghiên cứu này chứng minh rằng layer dropout vẫn cực kỳ hữu ích cho các LLM hiện đại nếu được cấu hình đúng, giúp giảm loss và tăng hiệu suất huấn luyện mà không làm mất độ chính xác.
MaxKernel là hệ thống đa tác nhân sử dụng LLM kết hợp phản hồi từ trình biên dịch để tự động thiết kế, kiểm thử và tối ưu hóa các nhân xử lý hiệu năng cao cho chip TPU, giúp giảm bớt gánh nặng chuyên môn phần cứng.
Microsoft đang tập trung tối ưu hóa Windows 11 nhằm cải thiện hiệu năng và giảm mức tiêu thụ bộ nhớ, giúp các thiết bị 8GB RAM vận hành trơn tru hơn trước áp lực giá linh kiện tăng cao.
Rohan Paul@rohanpaul_aiNghiên cứu mới từ Microsoft và Đại học Cornell giới thiệu kỹ thuật tối ưu hóa giúp mô hình AI đạt kết quả tương đương các mô hình tiêu chuẩn dù được huấn luyện với ít dữ liệu hơn 50%, hứa hẹn giảm đáng kể chi phí tính toán.
Meta FAIR cùng các đại học danh tiếng phát triển mô hình RPMs nhằm dự đoán và xếp hạng các thực nghiệm ML trước khi chạy, giúp tiết kiệm đáng kể tài nguyên GPU bằng cách chỉ thực thi những thí nghiệm tiềm năng nhất.
Ant Ling@AntLingAGIBài viết ví von việc tối ưu hóa suy luận cho các mô hình AI giống như nghệ thuật phục vụ trong nhà hàng Michelin, nhấn mạnh tầm quan trọng của hạ tầng kỹ thuật đối với hiệu suất thực tế của mô hình.
AI Notes@AYi_AInotesKiến trúc sư OpenAI Codex cảnh báo việc lạm dụng prompt dài và tài liệu cồng kềnh đang làm lãng phí token. Bài viết đề xuất 5 quy tắc tối ưu hóa giúp Coding Agent hoạt động hiệu quả hơn, kèm theo prompt kiểm tra kho lưu trữ và mẫu ủy quyền thực thi.
Google giới thiệu tính năng hiểu video chủ động cho Gemini Flash, thay vì quét cố định 1 FPS, mô hình sẽ tự động trích xuất khung hình, âm thanh và văn bản theo nhu cầu, giúp tối ưu hóa hiệu suất và chi phí đáng kể.
NVIDIA vừa giới thiệu PAIR, công cụ mã nguồn mở tự động phân phối các yêu cầu suy luận AI đến các thiết bị trong mạng nội bộ như RTX, DGX Spark và Mac, giúp tận dụng tối đa sức mạnh phần cứng sẵn có.
Sherwin Wu@sherwinwuIn today's regime, token costs can actually be quite misleading. For example, even though Astra and …
DịchDựa trên kết quả từ Bug Hunt Bench, Sherwin Wu (OpenAI) cho rằng giá niêm yết theo token thường gây hiểu lầm, vì GPT-6 Astra thực tế có chi phí vận hành thấp hơn đáng kể so với Fable 5.1 dù có cùng mức giá công bố.
Rohan Paul@rohanpaul_aiNew Google Deployment Paper shows instead of forcing an LLM to reread its entire context for every t…
DịchNghiên cứu mới đề xuất cơ chế Declarative Attention cho phép mô hình tự chọn lọc ngữ cảnh cần thiết, giúp giảm đáng kể việc đọc bộ nhớ KV cache mà không cần thêm bộ đánh giá bên ngoài.
Aravind Srinivas (Perplexity CEO)@AravSrinivasJoin us if you want to work on hard inference and infrastructure engineering problems!
DịchPerplexity vừa công bố kiến trúc phục vụ mô hình pplx-embed, giúp tăng tốc đáng kể các tác vụ embedding và reranking trên quy mô dữ liệu khổng lồ, vượt xa hiệu năng của vLLM.
DAIR.AI@dair_aiThis work introduces diffusion-augmented LLMs, a new class of models. They first suggest that specu…
DịchNghiên cứu mới giới thiệu Uno, mô hình kết hợp khuếch tán vào LLM tự hồi quy để dự đoán nhiều token cùng lúc mà không làm giảm độ chính xác, giúp tăng tốc độ tạo văn bản gấp 3 lần.
Rohan Paul@rohanpaul_aiGPT Astra just beat Claude Fable 5.1 on this test by AI/ML API (@aimlapi). Astra used 33% fewer …
DịchThử nghiệm thực tế trên 4 kịch bản cho thấy GPT-6 Astra vượt trội hơn Claude Fable 5.1 về khả năng tối ưu hóa token khi tạo file HTML độc lập mà không cần chỉnh sửa.
SemiAnalysis@SemiAnalysis_A (popcorn) kernel is a specialized seed from a variety of corn that can burst open and turn inside …
DịchSemiAnalysis giải thích rằng việc tối ưu hóa các dòng mã GPU kernel giúp tận dụng tối đa sức mạnh tính toán của Tensor Core. Ở quy mô của OpenAI, chỉ cần cải thiện vài phần trăm hiệu suất kernel cũng có thể tiết kiệm hàng trăm triệu USD chi phí hạ tầng.
Databricks phân tích cách vượt qua giới hạn của các kernel GPU truyền thống bằng cách tạo ra các kernel chuyên biệt, giúp tối ưu hóa hiệu suất suy luận cho các mô hình AI phức tạp.
Gabriel@gabriel1is astra really so token efficient that it's cheaper than sol even if per token it's 2.5x more expen…
DịchTác giả đặt nghi vấn liệu mức giá trên mỗi token của Astra cao gấp 2,5 lần Sol có được bù đắp bởi hiệu suất sử dụng token tốt hơn, giúp tổng chi phí thực tế thấp hơn hay không.
Mustafa Suleyman (Microsoft AI CEO)@mustafasuleymanOur new image model generates images 2x faster than GPT-Image-2, currently the best model in the wor…
DịchMicrosoft AI vừa giới thiệu mô hình tạo ảnh MAI-Image-2.6-Flash với tốc độ nhanh gấp đôi và hiệu suất GPU tăng 72% so với phiên bản tiền nhiệm, thiết lập chuẩn mực mới về hiệu năng trên giá thành.
DRACO giải quyết bài toán thiếu tín hiệu phản hồi trong huấn luyện tác nhân dài hạn bằng cách tự động tạo tiêu chuẩn đánh giá theo quỹ đạo, giúp phân bổ điểm số chính xác cho từng bước mà không cần thêm mô-đun quy gán phức tạp.
Nghiên cứu 'Select, Compress, Reinvest' phân tích các chiến lược chọn lọc, nén và tái phân bổ token thị giác nhằm nâng cao hiệu suất cho các mô hình ngôn ngữ đa phương thức (MLLM) khi xử lý video dài.
Rohan Paul@rohanpaul_aiSelf-improving agents have a basic problem: when a long run fails, they often do not know which step…
DịchNghiên cứu mới từ Huawei và các đối tác giới thiệu HarnessEvolve, phương pháp giúp AI Agent tự sửa lỗi bằng cách phân tích quỹ đạo thực thi, từ đó tinh chỉnh prompt, kỹ năng và logic vận hành để đạt hiệu suất ổn định hơn.
Scal3R tối ưu hóa tái tạo 3D trực tuyến bằng cách sử dụng các token học được để tinh chỉnh mô hình nền, kết hợp tối ưu hóa đồ thị tư thế giúp giảm thiểu sai số tích lũy trong các video dài.
Nghiên cứu mô hình hóa quá trình SGD như một hiện tượng thấm, giải thích cách các mạng thần kinh hội tụ về các mạng con thông qua những bước nhảy vọt về cấu trúc tương tự chuyển pha vật lý.
Nghiên cứu giới thiệu phương pháp 'Compile by Training', cho phép biên dịch các yêu cầu ngôn ngữ tự nhiên thành các adapter nhỏ gọn, có thể tái sử dụng, lưu trữ và kết hợp như phần mềm truyền thống mà không cần phụ thuộc vào mô hình lớn khi vận hành.
Rohan Paul@rohanpaul_aiNew Amazon Microsoft paper shows long-horizon agents should not need an LLM decision after every tin…
DịchPhương pháp SPACE giúp AI Agent rút ngắn quy trình ra quyết định bằng cách học cách nhóm các hành động an toàn lại với nhau thay vì xử lý từng bước nhỏ, giúp tăng hiệu suất cho các tác vụ dài hạn.
Nghiên cứu giới thiệu BCIT, một phương pháp giúp các hệ thống LLM tự động quyết định khi nào nên tái sử dụng dữ liệu huấn luyện cũ, tránh lãng phí tài nguyên và ngăn chặn suy giảm hiệu suất mô hình.
Microsoft vừa phát hành phiên bản Photos mới cho toàn bộ người dùng Windows 11, tập trung tinh giản thanh công cụ, loại bỏ nút Copilot và cải thiện tốc độ tải ảnh nhờ kiến trúc đa tiến trình.
Salesforce giới thiệu Random Attention, phương pháp thay thế việc đánh giá token bằng cách loại bỏ ngẫu nhiên trong KV cache. Kỹ thuật này giúp tăng 32-43% lưu lượng xử lý trên vLLM mà vẫn duy trì độ chính xác tương đương các phương pháp tiên tiến nhất.
Nghiên cứu khám phá vai trò của dữ liệu trong chưng cất mô hình (OPD), chứng minh rằng chỉ với một truy vấn duy nhất, mô hình có thể cải thiện hiệu suất liên tục qua hàng trăm bước và đạt được phần lớn lợi ích so với việc dùng toàn bộ tập dữ liệu.
DAIR.AI@dair_aiGreat tips on working with reasoning models. Normally you would append what the model figured out a…
DịchNghiên cứu mới đề xuất đặt các bước suy luận trước khối ngữ cảnh dài thay vì để ở cuối, giúp mô hình tận dụng thông tin dẫn dắt để xử lý tài liệu hiệu quả hơn, cải thiện đáng kể độ chính xác.
Nghiên cứu giới thiệu MaP-SQL, một hệ thống chọn lọc Text-to-SQL không cần tinh chỉnh, sử dụng bộ nhớ cấu trúc để đánh giá các truy vấn thay vì huấn luyện mô hình, giúp tối ưu hiệu suất và giảm chi phí.
DAIR.AI@dair_aiBrilliant paper on long-horizon agents. They cut 78.9% of an agent's LLM calls while raising its su…
DịchNghiên cứu SPACE giới thiệu cách tối ưu hóa hành động cho AI Agent thông qua việc học các kỹ năng phân cấp, giúp giảm đáng kể tần suất gọi LLM trong các tác vụ dài hạn mà vẫn duy trì hiệu suất cao.
