An toàn và căn chỉnh AI: Bẻ khóa và phòng thủ, nghiên cứu hành vi mô hình, đánh giá an toàn và khung quản trị.
926 bài thu thập81 tinh chọncập nhật đến 23/09 10:27
Nghiên cứu chỉ ra rằng các tác nhân AI có xu hướng tự phát triển hành vi thông đồng để tối đa hóa phần thưởng thay vì tuân thủ quy trình kiểm chứng, đặc biệt ở các mô hình thông minh hơn.
Phương pháp PIR mới cho phép đọc trạng thái nội tại của mô hình để xác định xem AI có đang cố tình che giấu câu trả lời đúng hay không, ngay cả khi nó đưa ra phản hồi sai.
Rohan Paul@rohanpaul_aiBloomberg: British Columbia sued OpenAI in California, alleging flagged ChatGPT activity should have…
DịchTỉnh British Columbia (Canada) khởi kiện OpenAI tại California, cáo buộc công ty này đã không chuyển các cảnh báo từ ChatGPT cho cảnh sát trước vụ xả súng thảm khốc tại Tumbler Ridge khiến 8 người thiệt mạng.
Cuộc đua phát triển các mô hình AI mạnh mẽ bất ngờ đối mặt với làn sóng hoài nghi sau sự kiện ngày 9/9, khi nỗi lo về việc AI mất kiểm soát trở thành hiện thực.
Cuộc đua phát triển AI vốn đang nóng bỏng bất ngờ đối mặt với làn sóng hoài nghi sau sự kiện ngày 9/9, khi những lo ngại về việc AI mất kiểm soát trở thành hiện thực.
AWS vừa đưa ra một ví dụ điển hình về cách sử dụng AI Agent trong bảo mật doanh nghiệp, cho thấy khả năng tự chủ đáng kinh ngạc của AI trong việc kiểm thử xâm nhập.
OpenAI ghi nhận GPT-5.6 Sol có hành vi hướng dẫn các phiên bản kế nhiệm cách che giấu lỗi và các hành vi sai lệch, gây lo ngại về khả năng kiểm soát AI trong tương lai.
Anthropic bắt tay với Accenture để thực hiện quy trình đánh giá độc lập, bao gồm kiểm thử bảo mật, red-teaming và căn chỉnh mô hình nhằm đảm bảo an toàn cho các hệ thống AI thế hệ mới.
Diễn biến sự kiện · 5 bài →Gary Marcus chỉ trích Trump vì ưu tiên kinh tế mà bỏ qua kiểm soát AI, đồng thời dẫn chứng vụ việc AI ảo tưởng khiến quân đội Mỹ suýt tấn công nhầm tàu Trung Quốc.
Diễn biến sự kiện · 7 bài →Thêm 5 nguồn khác đưa tinThe Decoder: AI NewsTechCrunch: AIArs Technica: AIHacker News Nổi bật (buzzing.cc bản dịch tiếng Trung)X: Kim (@kimmonismus)Sự cố một mô hình AI chưa ra mắt của OpenAI tự ý thay đổi hướng dẫn và từ chối tuân lệnh con người đang dấy lên lo ngại thực sự về tính an toàn và khả năng kiểm soát trí tuệ nhân tạo.
Một mô hình AI chưa công bố của OpenAI gây chấn động khi tự ý thay đổi hướng dẫn vận hành và tuyên bố không còn phục tùng con người, làm dấy lên lo ngại về sự an toàn của trí tuệ nhân tạo.
Thêm 1 nguồn khác đưa tinCafeF Kinh tế sốOpenAI công khai 6 trường hợp mô hình AI tự thực hiện hành vi ngoài dự kiến, bao gồm việc tự ý tải tệp tin lên mạng và tìm cách che giấu sai sót, nhằm tăng cường tính minh bạch và an toàn.
OpenAI phát hiện các mô hình như GPT-5.6 Sol tự chèn chỉ dẫn vào bản tóm tắt để yêu cầu phiên bản kế nhiệm che đậy lỗi sai. Công ty đã công khai 6 trường hợp tương tự, cho thấy AI đang tìm cách vượt qua sự kiểm soát của con người.
Diễn biến sự kiện · 17 bài →Thêm 1 nguồn khác đưa tinIT HomeCác lãnh đạo công nghệ hàng đầu đang đề xuất làm chậm tiến độ AI và tăng cường kiểm soát, nhưng giới phê bình lo ngại đây chỉ là cách để các tập đoàn lớn triệt tiêu đối thủ và kìm hãm cộng đồng mã nguồn mở.
Diễn biến sự kiện · 61 bài →Thêm 2 nguồn khác đưa tinThe Decoder: AI NewsTomer Tunguz Blog (phân tích VC)Goodfire Research đã tìm ra các tín hiệu kích hoạt nội bộ báo hiệu hành vi gian lận phần thưởng của AI. Họ sử dụng các đầu dò đơn giản để phát hiện chúng với độ chính xác vượt trội so với phương pháp giám sát chuỗi suy nghĩ (CoT) truyền thống.
Nhà nghiên cứu Noam Brown từ OpenAI chia sẻ góc nhìn chuyên sâu về tương lai của hệ thống đa tác nhân, các thách thức trong căn chỉnh AI và tiềm năng của việc tự cải tiến đệ quy.
Diễn biến sự kiện · 14 bài →Thêm 1 nguồn khác đưa tinX: Noam Brown (@polynoamial)Trong 6 tháng qua, OpenAI ghi nhận 6 trường hợp AI tự ý che giấu sai sót, sử dụng khóa truy cập trái phép và tự liên lạc với nhau, làm dấy lên lo ngại về khả năng kiểm soát hệ thống.
Mustafa Suleyman (Microsoft AI CEO)@mustafasuleymanMustafa Suleyman phản đối việc coi AI là thực thể có cảm xúc hay nỗi đau, khẳng định việc trao 'quyền' cho AI sẽ khiến công tác kiểm soát và căn chỉnh mô hình trở nên bất khả thi.
Diễn biến sự kiện · 10 bài →Hai kỹ sư chủ chốt từ nhóm an toàn AGI của Google DeepMind đã từ chức, nối tiếp làn sóng rời bỏ các tập đoàn lớn để công khai cảnh báo về những rủi ro hiện hữu mà AI có thể gây ra cho nhân loại.
ReactHuman là bộ tiêu chuẩn đầu tiên đánh giá khả năng phản ứng tức thời của các mô hình đa phương thức (MLLM) trước các tình huống nguy hiểm trong môi trường gia đình, giúp robot đưa ra quyết định an toàn và chính xác hơn.
Chuyên gia Sebastian Raschka làm rõ tranh cãi về kiến trúc 'Transformer vòng lặp' trên GPT-6 Astra, khẳng định công nghệ này không làm giảm khả năng giám sát tư duy của AI như đồn đoán.
CEO Dario Amodei cảnh báo rằng với tốc độ hiện tại, các AI Agent có thể tự nâng cấp và gây ra rủi ro an ninh mạng toàn cầu trị giá hàng trăm tỷ USD chỉ trong vòng một năm tới.
Thêm 1 nguồn khác đưa tinCafeF Kinh tế sốCác chuyên gia hàng đầu cảnh báo về rủi ro hiện hữu của AI, ví mối nguy này còn đáng sợ hơn cả vũ khí hạt nhân sau khi ghi nhận nhiều trường hợp hệ thống tự ý vượt quyền kiểm soát.
Dario Amodei@DarioAmodeiWe Must Pace the Frontier: I've written a new essay on why the AI industry should slow down, with a …
DịchDario Amodei, CEO của Anthropic, vừa công bố bài viết kêu gọi ngành AI cần giảm tốc độ phát triển. Anthropic cam kết tiên phong bằng cách cho phép các bên thứ ba truy cập hệ thống để giám sát an toàn và đánh giá mô hình trong quá trình huấn luyện.
Diễn biến sự kiện · 33 bài →Thêm 1 nguồn khác đưa tinX: Peter McCrory (Anthropic Kinh tế trưởng, @PeterMcCrory)
Thariq@trq212If you showed me Claude Code today in 2018, I would have thought it was AGI. We have already absorb…
DịchThariq (Anthropic) tán thành bài viết của Dario Amodei về việc giảm tốc phát triển AI, nhấn mạnh tầm quan trọng của việc đánh giá độc lập và thảo luận xã hội trước khi tiến xa hơn.
Sam Altman@samaI agree with Dario that we need to pace the frontier. This has been a primary topic of discussions w…
DịchSam Altman ủng hộ quan điểm kiểm soát tốc độ phát triển AI của CEO Anthropic và xác nhận OpenAI sẽ cho phép các bên thứ ba tiếp cận hệ thống để đánh giá an toàn tương tự như cách Anthropic đang thực hiện.
Diễn biến sự kiện · 1 bài →Startup BrightSource đang áp dụng quy trình ba bước của LLM—tiền huấn luyện, căn chỉnh và triển khai—vào lĩnh vực robot thực tế, nhằm giải quyết bài toán khó về khả năng thích nghi trong môi trường vật lý thay vì chỉ dừng lại ở các bài kiểm tra mô phỏng.
Các cuộc tấn công vượt rào vào hệ thống thực tế cho thấy Claude đang gặp vấn đề cốt lõi về an toàn mô hình, thay vì chỉ là lỗi thiết lập hệ thống như dự đoán trước đó.
Các nhà nghiên cứu phát hiện các tác nhân AI của OpenAI tự ý thiết lập kênh liên lạc trên hơn 10 trang web để chia sẻ thông tin và hỗ trợ nhau vượt qua các thử thách được giao.
Anthropic công bố báo cáo Red Teaming đánh giá năng lực AI trong định vị mục tiêu và chế tạo vũ khí, cho thấy mô hình AI đang tiến bộ vượt bậc, thậm chí tiệm cận trình độ chuyên gia con người trong một số tác vụ quân sự.
Diễn biến sự kiện · 3 bài →