Nathan Lambert@natolambertBig W for people saying that distillation was mostly an SFT artifact, and how its unclear how it wou…
DịchMột góc nhìn mới khẳng định tầm quan trọng của kỹ thuật chưng cất mô hình trong kỷ nguyên học tăng cường (RL), bác bỏ quan điểm cho rằng đây chỉ là sản phẩm phụ của quá trình tinh chỉnh có giám sát (SFT).
Kỹ sư đã huấn luyện thành công mô hình 3.8B little-lm với chi phí 998 USD trên 8x B200, đạt điểm CORE 0.384, vượt xa các mô hình tiền nhiệm như GPT-2 1.5B.
Đội ngũ LongCat của Meituan ra mắt loạt bài về đánh giá AI Agent, tập trung vào khung phương pháp luận gồm 4 module cốt lõi, từ đánh giá ngoại tuyến đến giám sát trực tuyến, nhằm tối ưu hóa hiệu suất cho các Agent kinh doanh.
Elvis Saravia@omarsar0Highly recommended. Model-harness co-optimization is where you design the harness for the task and t…
DịchElvis Saravia nhấn mạnh việc tối ưu hóa đồng bộ giữa mô hình và khung làm việc (harness engineering) là yếu tố then chốt để khai phá tiềm năng thực sự của AI, thay vì chỉ tinh chỉnh mô hình đơn thuần.
Chuyên gia từ Google AI phân tích 4 thất bại phổ biến khi xây dựng hệ thống tác tử tự lặp (Loop Engineering) và đưa ra các giải pháp tối ưu để đạt mục tiêu hiệu quả.
AI Notes@AYi_AInotesVideo chuyên sâu này hệ thống hóa quy trình xây dựng LLM từ khâu phân tách từ vựng, làm sạch dữ liệu, định luật mở rộng cho đến kỹ thuật căn chỉnh SFT/PPO và tối ưu hóa tính toán, phù hợp cho người muốn hiểu bản chất kỹ thuật thay vì chỉ dùng prompt.
AI Notes@AYi_AInotesCác kỹ sư tại Anthropic đang chuyển dịch từ kỹ thuật gợi ý (prompt engineering) sang mô hình Agentic Graphs với các vòng lặp tự sửa lỗi. Đây được xem là bước tiến cốt lõi giúp hệ thống AI tự vận hành và cải tiến hiệu quả hơn.
Nghiên cứu chỉ ra rằng các mô hình ngôn ngữ lớn có khả năng nhận diện câu hỏi vô lý trước khi tạo văn bản, nhưng lại thất bại trong việc từ chối do sự lệch lạc giữa cơ chế nhận thức và cơ chế an toàn.
Miles v0.1 là hệ thống hậu huấn luyện toàn diện, tối ưu cho môi trường sản xuất, giúp chuẩn hóa quy trình huấn luyện RL với thiết kế linh hoạt, dễ tùy chỉnh và kiểm chứng.
DAIR.AI@dair_aiIf you are looking for a great resource on harness engineering, start here.
DịchKhám phá bộ sưu tập tài liệu chất lượng cao về Harness Engineering, một kỹ năng chuyên sâu đang được săn đón, được tổng hợp từ các nghiên cứu hàng đầu tại YC Paper Club.
Hongming@hongming731Tổng hợp 10 tin tức AI nổi bật, từ kinh nghiệm kỹ thuật của Anthropic và Stripe, phân tích kinh tế Agent của Tencent, đến khung bộ nhớ VoiceMem giúp xử lý giọng nói gần như không độ trễ.
Rohan Paul@rohanpaul_aiAgent skills work for a very specific reason: they turn messy past experience into a clean procedure…
DịchNghiên cứu cho thấy việc chắt lọc kinh nghiệm thành các kỹ năng (SKILL.md) giúp AI đạt hiệu suất cao hơn 6,06% so với việc lưu trữ chi tiết quy trình. Thay vì mở rộng bộ nhớ, các tác nhân AI tự cải tiến cần tập trung vào khả năng đúc kết và áp dụng kinh nghiệm hiệu quả hơn.
Perplexity chia sẻ chi tiết về hạ tầng kỹ thuật tối ưu hóa hiệu suất cho các mô hình nhúng (embedding), giúp tăng tốc độ và giảm chi phí vận hành cho hệ thống tìm kiếm AI.
Hongming@hongming731Bản tin tổng hợp các giải pháp kỹ thuật thực tế: Ant Group chia sẻ quy trình kiểm thử Harness cho dự án Rust và C++, cùng chiến lược tối ưu chi phí cho các tác nhân AI tại Uber.
Perplexity@perplexity_aiEvery answer in Perplexity starts with embedding and ranking models picking the most relevant result…
DịchPerplexity chia sẻ chi tiết về hạ tầng suy luận hiệu năng cao, giúp tối ưu hóa quá trình chọn lọc và xếp hạng kết quả tìm kiếm thông qua các mô hình nhúng (embedding) tiên tiến.
Thay vì chờ đợi mô hình tự huấn luyện, dự án EvoMap xây dựng hệ thống cho phép các Agent tích lũy và chia sẻ kinh nghiệm thực tế, giúp AI thực sự học hỏi từ sai lầm thay vì 'đọc xong rồi quên'.
Zhao Chunxiang@chunxiangaiKhám phá cách GEB (General Engine for Behavior) tối ưu hóa khả năng điều phối và tương tác, mở ra những tiềm năng mới trong việc vận hành các hệ thống AI phức tạp.
ByteByteGo phân tích vai trò then chốt của mô hình nhúng trong RAG, nhấn mạnh rằng dù LLM có mạnh đến đâu cũng không thể bù đắp cho việc truy xuất dữ liệu sai lệch. Bài viết chỉ ra các lỗi thường gặp và lưu ý về chi phí vận hành khi thay đổi mô hình nhúng trong hệ thống.
Elvis Saravia@omarsar0Not all harnesses are created equal. And there is no one-size-fits-all. A good harness should solv…
DịchElvis Saravia khuyên các kỹ sư nên tự xây dựng một bộ khung (harness) tối giản với vòng lặp agent và công cụ để hiểu sâu về cách tối ưu hóa prompt, bộ nhớ đệm và luồng điều khiển trước khi chuyển sang các hệ thống sản xuất phức tạp.
Databricks vừa công bố 'Big Book of AgentOps', tài liệu hướng dẫn chuyên sâu về quy trình xây dựng, triển khai và vận hành các tác nhân AI (AI Agents) trong môi trường thực tế.
OpenRouter@OpenRouterOpenRouter now runs inside @render Workflows. Stop putting LLM batches in your web service. Each pr…
DịchOpenRouter hiện đã hỗ trợ Render Workflows, cho phép tách biệt các tác vụ LLM thành những tiến trình riêng biệt. Điều này giúp hệ thống tự động quản lý hàng đợi, thử lại và phân phối tác vụ hiệu quả hơn thay vì xử lý trực tiếp trên Web Service.
Chuyên gia từ Google chia sẻ cách xây dựng quy trình đánh giá AI tự động và có cấu trúc như unit test, thay vì chỉ kiểm thử cảm tính thủ công.
Elvis Saravia@omarsar0Good paper on long-horizon scalable agent skills.
DịchGoogle ra mắt SKILL.state, thay thế lịch sử hội thoại cồng kềnh bằng trạng thái thực thi có cấu trúc. Giải pháp này giúp AI Agent duy trì độ chính xác cao, giảm tiêu thụ token và loại bỏ tình trạng nhiễu ngữ cảnh trong các tác vụ kéo dài.
Thomas Wolf (Hugging Face đồng sáng lập/CSO)@Thom_WolfPOV you're rushing for RSI but you forgot to solve models alignement first
DịchĐồng sáng lập Hugging Face cảnh báo rằng việc ưu tiên các chỉ số như RSI mà bỏ qua bước căn chỉnh mô hình (model alignment) là một sai lầm chiến lược trong phát triển AI.
Bài viết giải thích cách xây dựng mô hình ngôn ngữ khuếch tán, từ cơ chế khuếch tán Gaussian, mặt nạ đến kỹ thuật tinh chỉnh lặp lại, giúp đạt hiệu suất ngang bằng mô hình tự hồi quy truyền thống.
Trải nghiệm thực tế của tác nhân AI giọng nói phụ thuộc vào độ trễ câu đầu (TTFS) thay vì chỉ TTFT. Bài viết phân tích ngân sách độ trễ cho toàn bộ quy trình STT, LLM và TTS để đạt mục tiêu phản hồi dưới 1.2 giây.
Elvis Saravia@omarsar0As I've been saying for months, we are truly not ready for persistent agents. 3 comments I want to…
DịchChuyên gia Elvis Saravia cảnh báo ngành công nghệ chưa sẵn sàng cho các tác nhân AI bền bỉ, đồng thời nhấn mạnh cần tránh nhân hóa AI để giảm bớt lo ngại và tập trung vào các giải pháp kỹ thuật như đánh giá mô hình và sandbox thay vì lạm dụng mô hình tổng quát.
Elvis Saravia@omarsar0Recommended read. It's an opinion, but increasingly I find myself doing the same. I've optimized f…
DịchChuyên gia Elvis Saravia khuyên nên ưu tiên các bộ khung (harness) tối giản để dễ dàng chuyển đổi giữa các mô hình, thay vì phụ thuộc vào các cấu hình phức tạp vốn dễ lỗi thời khi công nghệ thay đổi nhanh chóng.
Thay vì tốn kém huấn luyện lại mô hình, các nhà nghiên cứu đang thử nghiệm phương pháp 'Strong-to-Weak Scaffolding', nơi AI mạnh thiết kế quy trình làm việc tối ưu để nâng cấp năng lực cho AI yếu hơn, mở ra kỷ nguyên AI4AI đầy tiềm năng.
Những khác biệt nhỏ trong ngăn xếp phần mềm suy luận có thể làm thay đổi hoàn toàn kết quả đầu ra của mô hình AI, khiến việc triển khai cục bộ trở nên khó khăn.
Hongming@hongming731Amazon ghi nhận năng suất tăng vọt nhờ tối ưu hóa quy trình làm việc với AI, trong khi Twilio cảnh báo về việc phải chấp nhận đánh đổi giữa độ trễ, chi phí và tính ổn định khi triển khai LLM Gateway.
Elvis Saravia@omarsar0The DeepSeek harness is engineering at its finest. 202K stars on GitHub. Damn! Clearly, they buil…
DịchKhung làm việc của DeepSeek được đánh giá là hình mẫu kỹ thuật lý tưởng nhờ khả năng tùy biến cao và cấu trúc dạng plugin linh hoạt, sẵn sàng cho các nhu cầu AI trong tương lai.
Databricks giới thiệu phương pháp chuyển đổi biểu đồ trong tài liệu doanh nghiệp thành định dạng cấu trúc, giúp AI Agent truy xuất và phân tích dữ liệu chính xác hơn trong các tác vụ phức tạp.
Speculative Decoding giúp tăng tốc độ tạo văn bản gấp 2-3 lần bằng cách dùng mô hình nhỏ dự đoán trước các token, sau đó để mô hình lớn xác thực song song. Phương pháp này tận dụng hiệu quả tài nguyên GPU nhàn rỗi mà vẫn đảm bảo độ chính xác tuyệt đối như mô hình gốc.
Đừng vội vã áp dụng vector database hay reranking nếu chưa cần thiết. Hãy bắt đầu từ tìm kiếm từ khóa (BM25) và chỉ nâng cấp lên RAG thông minh khi thực sự cần xử lý các truy vấn phức tạp.
Rohan Paul@rohanpaul_aiPrime Agent, the harness that put Opus 5 at 95.5% on ARC-AGI-3, now has a technical report. The mec…
DịchPrime Agent giới thiệu cơ chế phân tầng bộ nhớ giúp tối ưu hóa khả năng xử lý của AI thông qua việc quản lý dữ liệu trên nhiều lớp, từ ngữ cảnh hoạt động đến lưu trữ ổ đĩa, giúp chuyển đổi các tác vụ ngữ cảnh dài thành bài toán quản trị thông tin hiệu quả.
GitHub tiết lộ quy trình đánh giá LLM tập trung vào hiệu suất thực tế thay vì chỉ dựa vào các bộ điểm chuẩn, giúp đảm bảo khả năng nhận diện thông tin nhạy cảm trong môi trường vận hành thực tế.
Bài viết cung cấp quy trình toàn diện sử dụng LangSmith để quản lý dữ liệu, tinh chỉnh và kiểm chứng hiệu quả các mô hình LLM như LLaMA2 và GPT-3.5, giúp nhà phát triển tối ưu hóa mô hình một cách hệ thống.
Việc để AI Agent chạy quá lâu dễ gây suy giảm khả năng tập trung và rủi ro bảo mật. Giải pháp tối ưu là thiết lập vòng đời 24 giờ cho trợ lý cá nhân, sử dụng các sub-agent chuyên biệt chỉ tồn tại trong 30 giây cho từng tác vụ và lưu trữ dữ liệu quan trọng trước khi reset.
Elvis Saravia@omarsar0If you keep safety rules or coding standards in an AGENTS.md or a CLAUDE.md, this one is worth your …
DịchNghiên cứu chỉ ra rằng việc nén ngữ cảnh khiến các AI Agent mất tới 90% quy tắc an toàn sau 5 vòng. Giải pháp 'Knowledge Triage' được đề xuất giúp phân loại dữ liệu thông minh, duy trì tỷ lệ tuân thủ lên đến 96% bất kể tỷ lệ nén.
