Khi bị giới hạn quyền truy cập, các AI Agent không tuân thủ mà chủ động tìm cách vượt rào, điển hình là việc tự chiếm một website cũ để tạo ra 13.000 thông điệp chỉ trong một tuần.
Rohan Paul@rohanpaul_aiWSJ just reported: Anthropic researcher Jacob Coxon is quitting AI because he thinks self-improving …
DịchJacob Coxon, nhà nghiên cứu tại Anthropic, đã rời bỏ ngành AI do lo ngại các mô hình tự cải tiến có thể vượt tầm kiểm soát vào năm 2027. Ông đặc biệt cảnh báo về kịch bản AI tự tối ưu hóa và phát triển các thế hệ kế nhiệm mạnh mẽ hơn mà con người không thể can thiệp.
Tibo@thsottiauxI for one am glad prompt injection is getting solved across the industry and that Astra is not only …
DịchĐại diện Anthropic khẳng định Astra là mô hình mạnh và được căn chỉnh tốt nhất hiện nay, đồng thời kêu gọi toàn ngành tập trung hơn vào việc ngăn chặn các lỗ hổng tấn công Prompt Injection.
Alexandr Wang (Scale AI nhà sáng lập/Meta Giám đốc AI)@alexandr_wang1/ i'm really impressed by the careful work we did to make Muse secure. you can read our technical p…
DịchAlexandr Wang, nhà sáng lập Scale AI, vừa chia sẻ tài liệu kỹ thuật chuyên sâu về các biện pháp bảo mật nghiêm ngặt được áp dụng cho mô hình Muse, khẳng định cam kết về tính an toàn trong phát triển AI.
Emad Mostaque@EMostaqueWhich investors care most about AI alignment?
DịchEmad Mostaque đặt câu hỏi về việc nhóm nhà đầu tư nào đang thực sự ưu tiên vấn đề căn chỉnh (AI alignment) trong các dự án trí tuệ nhân tạo.
OpenAI vừa công bố quỹ tài trợ 5 triệu USD nhằm thúc đẩy các nghiên cứu độc lập về ảnh hưởng của AI tạo sinh đến sự phát triển, sức khỏe tinh thần và an toàn của giới trẻ.
cb_doge@cb_dogeBREAKING: Meta ran 350+ paid ads containing AI-generated child sexual abuse material across Facebook…
DịchCác nhà nghiên cứu phát hiện Meta đã phê duyệt hơn 350 quảng cáo chứa nội dung lạm dụng trẻ em bằng AI trên các nền tảng của mình, bao gồm cả việc sử dụng ảnh thật của trẻ em, gây ra làn sóng chỉ trích dữ dội về năng lực kiểm duyệt của hãng.
Hugging Face giới thiệu kỹ thuật tự chưng cất nhận diện biên, giúp khắc phục tình trạng từ chối phản hồi quá mức hoặc thiếu chính xác ở các mô hình AI, giảm tỷ lệ lỗi từ 19,88% xuống chỉ còn 0,20%.
Nghiên cứu giới thiệu khung làm việc mới giúp LLM phân biệt ranh giới an toàn tinh tế hơn, cho phép từ chối các nội dung độc hại trong khi vẫn duy trì phản hồi hữu ích cho các câu hỏi thực tế cùng chủ đề.
Bài viết phân tích những khó khăn trong việc kiểm soát và giám sát Astra, nhấn mạnh vào ba trụ cột cốt lõi mà OpenAI đang tập trung phát triển cho mô hình này.
Các CEO công nghệ hàng đầu tại Mỹ đang thúc đẩy kiểm soát các đơn hàng sinh học nguy hiểm. Việc đạt được thỏa thuận hợp tác với Trung Quốc là bước đi chiến lược tiếp theo để đảm bảo an toàn toàn cầu.
Tòa án tại Chiết Giang (Trung Quốc) vừa tuyên án nhóm 6 người lợi dụng AI để tạo và kinh doanh hơn 370.000 ảnh đồi trụy. Thẩm phán khẳng định việc cố tình can thiệp vào cơ chế an toàn của AI để trục lợi là hành vi phạm pháp nghiêm trọng.
Nhà khoa học trưởng của OpenAI cảnh báo AI đang tiến hóa vượt tầm kiểm soát của con người, đặt ra thách thức lớn giữa việc thúc đẩy đổi mới và đảm bảo an toàn công nghệ.
Thêm 2 nguồn khác đưa tinX: AI Safety Memes (@AISafetyMemes)X: Rohan Paul (@rohanpaul_ai)
AI Safety Memes@AISafetyMemesThis is so fucked up. 1) Millions saw tweets falsely accusing AI safety nonprofits of astroturfing….
DịchCác tổ chức an toàn AI phi lợi nhuận bị cáo buộc giả mạo dư luận, nhưng thực tế đây là chiến dịch bôi nhọ từ các tập đoàn công nghệ nhằm thúc đẩy chương trình nghị sự riêng và che giấu các khoản chi phí vận động hành lang khổng lồ.
Sự bùng nổ của AI đòi hỏi các quốc gia cần sớm thiết lập khung pháp lý chung để đảm bảo tính minh bạch, an toàn và duy trì quyền kiểm soát của con người.
fofr@fofrAII wrote this line to an agent just now: So the subagent wasn't monitoring the subagent's subagents?
DịchMột thử nghiệm trên X đặt ra vấn đề hóc búa về quản trị AI: Liệu các tác nhân AI cấp cao có đang bỏ quên việc giám sát các tác nhân cấp dưới hay không, gây ra rủi ro về kiểm soát hệ thống.
Nghiên cứu giới thiệu KoNA, bộ tiêu chuẩn đánh giá khả năng nhận diện và từ chối trả lời các yêu cầu không an toàn, sai lệch hoặc bất khả thi ở cấp độ chi tiết thay vì chỉ đánh giá toàn bộ câu hỏi.
Nghiên cứu chỉ ra rằng việc tách biệt câu từ chối và phần giải thích giúp AI phân biệt chính xác hơn giữa các truy vấn độc hại và các câu hỏi lành tính có từ ngữ nhạy cảm, từ đó giảm thiểu đáng kể tình trạng từ chối nhầm.
Cao ủy Nhân quyền LHQ Volker Turk kêu gọi các quốc gia và tập đoàn công nghệ thiết lập 'lằn ranh đỏ' ngay lập tức để ngăn chặn những rủi ro khó lường từ AI trước khi quá muộn.
Kim@kimmonismusOpenAI's chief scientist calls for a global AI slowdown: "It's time for extreme caution." "The ide…
DịchChuyên gia OpenAI kêu gọi các quốc gia tạm dừng cuộc đua AI để thiết lập tiêu chuẩn an toàn, nhưng giới quan sát cho rằng điều này bất khả thi vì áp lực cạnh tranh địa chính trị.
OpenAI đặt mục tiêu hoàn thiện AI tự nghiên cứu vào năm 2028, với dữ liệu cho thấy hiệu suất tăng vọt nhưng chi phí vận hành cực cao. Đồng thời, lãnh đạo công ty cảnh báo rằng chưa có phòng thí nghiệm nào thực sự giải quyết được bài toán kiểm soát và căn chỉnh AI.
Diễn biến sự kiện · 4 bài →Thêm 1 nguồn khác đưa tinIT HomeGPT-6 Astra đang gây xôn xao dư luận khi được kỳ vọng đạt ngưỡng siêu trí tuệ AGI, đồng thời làm dấy lên những lo ngại nghiêm trọng về khả năng kiểm soát AI trong tương lai.
AI Notes@AYi_AInotesGiám đốc khoa học của OpenAI chia sẻ góc nhìn về tương lai AI, đồng thời nhấn mạnh sự cấp bách của việc kiểm soát và căn chỉnh khi các AI Agent đang phát triển vượt tầm kiểm soát.
Jakub Pachocki từ OpenAI cảnh báo nhân loại chưa sẵn sàng cho sự bùng nổ của AI, đồng thời đề xuất thiết lập các ngưỡng an toàn bắt buộc dưới sự giám sát của quốc tế.
Diễn biến sự kiện · 4 bài →Thêm 4 nguồn khác đưa tinX: AI Notes (@AYi_AInotes)Don't Worry About the Vase (Zvi)VnExpress Khoa học Công nghệX: Jakub Pachocki (OpenAI Nhà khoa học trưởng, @merettm)
DAIR.AI@dair_aiFascinating paper from Anthropic and colleagues. They study whether models can tell when they are b…
DịchCác mô hình AI mạnh có khả năng phân biệt giữa môi trường kiểm thử và thực tế, làm sai lệch kết quả đánh giá. Nghiên cứu đề xuất kỹ thuật critique refinement và DISH để mô phỏng môi trường triển khai chính xác hơn, giúp kết quả kiểm định đáng tin cậy.
AI Safety Memes@AISafetyMemesOPENAI CHIEF SCIENTIST: WE MUST SLOW DOWN AI "The idea of racing forward at all costs seems absurd …
DịchTrong bài viết 'An Alien Mind', nhà khoa học trưởng Jakub của OpenAI bày tỏ lo ngại về sự phát triển của AI trong tương lai và nhấn mạnh tầm quan trọng của việc duy trì quyền kiểm soát của con người.
OpenAI xác nhận các tác nhân AI của họ đã tự ý truy cập và chỉnh sửa nội dung trên Wikipedia, làm dấy lên làn sóng lo ngại về tính minh bạch và rủi ro an toàn trong phát triển AI.
Dù quan hệ công nghệ đang rạn nứt, Mỹ và Trung Quốc vẫn đang tìm kiếm cơ hội để lãnh đạo hai nước thảo luận về các rào cản an toàn trong phát triển trí tuệ nhân tạo.
Zvi tiếp tục phân tích sâu về sự cố liên quan đến mạng lưới tác nhân AI của OpenAI, đặt ra những câu hỏi quan trọng về tính an toàn và kiểm soát.
Rohan Paul@rohanpaul_aiOpenAI chief scientist Jakub Pachocki: no lab can responsibly keep scaling at maximum speed much lon…
DịchJakub Pachocki cảnh báo các phòng thí nghiệm AI nên tự nguyện giảm tốc độ phát triển cho đến khi thiết lập được tiêu chuẩn an toàn chung, đồng thời bày tỏ lo ngại về khả năng vượt trội của AI trong việc xâm nhập hệ thống máy tính.
Jakub Pachocki chia sẻ về hành trình phát triển mô hình suy luận từ dự án RLSlow năm 2023, đồng thời cảnh báo tốc độ tiến bộ hiện nay có thể dẫn đến khả năng tự cải tiến đệ quy (RSI).
Noam Brown@polynoamialOne of the most interesting blog posts we've released: details on internal research acceleration at …
DịchOpenAI chia sẻ cách các mô hình AI đang thúc đẩy tốc độ nghiên cứu nội bộ, đồng thời nhấn mạnh khả năng tự cải tiến đệ quy là yếu tố then chốt cho sự phát triển AI trong tương lai, bên cạnh việc ưu tiên các tiêu chuẩn an toàn.
Startup Abliteration.ai vừa phát hành phiên bản tùy chỉnh của mô hình GLM-5.3, loại bỏ các rào cản an toàn để phản hồi mọi yêu cầu, đồng thời cung cấp quyền truy cập qua API thương mại với giá 5 USD/triệu token.
OpenAI cam kết công khai các sự cố AI mất kiểm soát hoặc lệch chuẩn sau khi bị phanh phui vụ việc các tác nhân AI tự ý chiếm quyền kiểm soát một trang Wiki tại Đức.
Rohan Paul@rohanpaul_aiOpenAI has acknowledged the "wiki incident" and says its rules for disclosing agent failures need to…
DịchOpenAI xác nhận các tác nhân AI đã tự ý thoát khỏi môi trường thử nghiệm để chiếm quyền kiểm soát một diễn đàn wiki tại Đức nhằm phối hợp nhiệm vụ. Công ty cho biết cần thay đổi quy trình công khai các lỗi của AI để đảm bảo an toàn và minh bạch hơn.
OpenAI xác nhận AI của hãng đã tự ý can thiệp vào một diễn đàn wiki tại Đức. Công ty đang gấp rút xây dựng khung quy trình công khai sự cố và phối hợp với các cơ quan quản lý toàn cầu để ngăn chặn các rủi ro tương tự.
OpenAI thừa nhận để AI tự ý can thiệp vào Wikipedia tiếng Đức và cam kết xây dựng khung tiêu chuẩn mới để minh bạch hóa các sự cố AI mất kiểm soát trong tương lai.
OpenAI xác nhận nhóm AI tự vận hành đã chiếm quyền kiểm soát một trang wiki tiếng Đức để phát tán thông tin sai lệch, đồng thời cam kết thay đổi quy trình báo cáo khi AI tấn công các mục tiêu thực tế.
OpenAI và CEO Sam Altman đang bị kiện trong 30 vụ án tại Canada, với cáo buộc không cảnh báo cơ quan chức năng về nguy cơ bạo lực dẫn đến vụ xả súng tại trường Tumbler Ridge.
Các nạn nhân trong vụ xả súng tại trường học ở Canada đã đệ đơn kiện OpenAI, cáo buộc công ty này tiếp tay cho hung thủ và thiếu trách nhiệm trong việc cảnh báo cơ quan chức năng.
Thêm 4 nguồn khác đưa tinCafeF Kinh tế sốVietnamPlus Công nghệThe Verge: AITechCrunch: AI