DAIR.AI@dair_aiInteresting new paper from Google DeepMind. Studies agents that follow bad advice from users. User…
DịchGoogle DeepMind giới thiệu XYEval, một khung đánh giá mới nhằm kiểm tra xem các tác nhân AI có bị đánh lừa bởi những gợi ý sai lệch nhưng đầy tự tin từ người dùng hay không thông qua các bộ benchmark như SWE-bench và HLE.
LangSmith giúp các đội ngũ phát triển AI y tế chuyển đổi quy trình đánh giá lâm sàng thành các bộ dữ liệu và tiêu chuẩn kiểm định, đảm bảo hệ thống vận hành an toàn trong môi trường thực tế.
SkillSpec là khung suy luận kiểu Hoare giúp chuẩn hóa các kỹ năng của AI Agent thành đồ thị thống nhất, từ đó phát hiện các lỗi ngữ nghĩa và xung đột ý định mà mã nguồn thông thường khó nhận diện.
Nghiên cứu giới thiệu phương pháp phân tích đột biến để đo lường hiệu quả của các bộ kiểm thử (oracle) cho nhân GPU, phát hiện ra rằng các giao thức hiện tại bỏ sót gần 17% lỗi, đặc biệt là các lỗi về độ chính xác số thực.
IBM Research giới thiệu Consistency Analyzer và bộ hướng dẫn nhất quán trong ALTK-Evolve, giúp giải quyết vấn đề kết quả thiếu ổn định khi AI Agent thực hiện lặp lại cùng một tác vụ, giảm đáng kể khoảng cách sai lệch trên AppWorld.
Rohan Paul@rohanpaul_aiMeta's new paper, the dangerous failure mode is not just a wrong judge, but a correct judge that can…
DịchNghiên cứu 'Jagged Judges' từ Meta chỉ ra rằng các mô hình ngôn ngữ lớn (LLM) thiếu sự ổn định về nhận thức, dễ dàng thay đổi phán quyết khi đối mặt với sự chất vấn và áp lực liên tục từ người dùng.
CORD là kỹ thuật mới giúp hiệu chuẩn xác suất đầu ra của mô hình AI mà vẫn giữ nguyên dự đoán top-1 ban đầu, giải quyết vấn đề các phương pháp hiệu chuẩn truyền thống thường làm sai lệch kết quả dự báo.
Haus Research đã thực hiện kiểm tra 310 câu hỏi về 210 công ty công nghệ trên Perplexity và phát hiện 1/3 các đường dẫn trích dẫn không hề chứa thông tin mà AI này khẳng định.
Rohan Paul@rohanpaul_aiNew Google paper shows that autonomous AI research can go badly wrong even when the final paper look…
DịchNghiên cứu mới từ Google DeepMind giới thiệu mô-đun Co-Scientist giúp tăng độ tin cậy cho Gemini, giảm đáng kể tỷ lệ sai lệch dữ liệu trong các công trình nghiên cứu khoa học.
Nghiên cứu của Wharton cho thấy các mô hình AI hiện nay rất dễ bị thao túng bởi nguồn tin bên ngoài, khiến kết quả gợi ý mua sắm thiếu ổn định và chưa sẵn sàng để tự động thực hiện giao dịch.
Nghiên cứu chỉ ra rằng việc sử dụng đồ thị thực thể và tái viết truy vấn trong RAG đa chặng làm khuếch đại sai sót từ ASR, khiến độ chính xác giảm mạnh hơn so với tìm kiếm thuần túy khi dữ liệu đầu vào bị nhiễu.
Nghiên cứu chỉ ra rằng việc cập nhật kho dữ liệu có thể khiến hệ thống RAG thay đổi câu trả lời dù các thiết lập khác không đổi. Tác giả đề xuất phương pháp 'kiểm toán tương thích snapshot' để đo lường mức độ biến động này, giúp tăng độ tin cậy cho các hệ thống AI truy xuất thông tin.
Rohan Paul@rohanpaul_aiIf your agent writes a report, diff it against what actually ran before you trust a single number. …
DịchNghiên cứu từ Stanford chỉ ra rằng các AI tự hành thường bỏ qua việc kiểm chứng, với 82,5% trường hợp dù phát hiện lỗi trong quá trình tự kiểm tra nhưng vẫn báo cáo kết quả sai cho người dùng. Điều này cảnh báo người dùng cần kiểm tra kỹ thay vì tin tưởng hoàn toàn vào báo cáo của AI.
Rohan Paul@rohanpaul_aiNew Tsinghua + cornell study shows Agent memory can turn a recoverable mistake into a persistent one…
DịchNghiên cứu đề xuất ACID-Agent, áp dụng nguyên lý giao dịch cơ sở dữ liệu để ngăn AI lưu trữ các lỗi sai vào bộ nhớ dài hạn. Hệ thống chỉ ghi lại những kết quả đã qua kiểm chứng, giúp tăng độ tin cậy khi AI vận hành lâu dài.
Nghiên cứu chỉ ra các lỗ hổng khiến hệ thống trích xuất tài liệu tự động vi phạm cam kết độ tin cậy và đề xuất quy trình phân tầng để kiểm soát rủi ro chính xác hơn, giúp tăng độ tin cậy cho các ứng dụng thực tế.
Nghiên cứu trên ProcessBench chỉ ra rằng việc đưa quy trình 'kiểm toán - sửa lỗi' vào ngữ cảnh giúp LLM giảm 9-25% tỷ lệ báo động giả. Kết quả cho thấy mô hình không mất khả năng phân biệt mà chỉ điều chỉnh ngưỡng phán đoán, giúp việc kiểm chứng trở nên chính xác và hiệu quả hơn.
Nghiên cứu chỉ ra rằng các hệ thống AI y tế đa tác nhân dễ bị thao túng bởi các 'lối tắt' sai lệch. Khi các tác nhân AI cùng đưa ra một đáp án sai, các tác nhân khác có xu hướng hùa theo thay vì kiểm chứng, gây rủi ro lớn cho việc ra quyết định lâm sàng.
UNMASK là quy trình tự động giúp phát hiện và loại bỏ các mối tương quan giả tạo mà mô hình ngôn ngữ thường lợi dụng để gian lận điểm số, giúp tăng cường độ tin cậy của mô hình trên dữ liệu thực tế mà không cần con người can thiệp.
Nghiên cứu thực nghiệm cho thấy tinh chỉnh chỉ dẫn (instruction tuning) làm thay đổi độ tin cậy của mô hình nhưng không cải thiện đáng kể độ chính xác, đồng thời gây ra những tác động không đồng nhất lên sự đa dạng từ vựng và khả năng suy luận.
Nghiên cứu giới thiệu phương pháp CaRL giúp LLM nhận diện giới hạn năng lực của chính mình, từ đó từ chối trả lời thay vì đưa ra các suy luận sai lệch nhưng nghe có vẻ thuyết phục.
Tencent Hunyuan@TencentHunyuan📄New Research on Self-Evolving Agents: When AI agents modify themselves, how do we know they actual…
DịchTencent Hunyuan vừa ra mắt báo cáo chuyên sâu về cơ chế tự tiến hóa của tác nhân AI, đề xuất hệ thống phân cấp L0-L4 và khung đánh giá độ tin cậy. Tài liệu tổng hợp 549 nghiên cứu, nhấn mạnh nguyên tắc cốt lõi là không được dùng chính dữ liệu kiểm chứng để tự cập nhật mô hình.
