Emad Mostaque@EMostaquePretty straightforward. I am not sure what an acceptable level of risk is or how to measure it thou…
DịchCựu CEO Stability AI đặt câu hỏi về việc làm thế nào để định nghĩa và đo lường các ngưỡng rủi ro chấp nhận được trong phát triển trí tuệ nhân tạo.
Chuyên gia Gary Marcus cảnh báo về sự nguy hiểm của các mô hình AI thiếu độ tin cậy, đồng thời kêu gọi các phòng thí nghiệm tạm dừng triển khai cho đến khi giải quyết được vấn đề kiểm soát và sửa lỗi.
Microsoft đạt thỏa thuận với Liên đoàn Giáo viên Mỹ (AFT), cam kết bảo mật dữ liệu học sinh, không dùng thông tin cá nhân để huấn luyện AI và đảm bảo sự giám sát của con người trong các quyết định quan trọng.
Rohan Paul@rohanpaul_aiThe Information just published this piece wild time indeed 😀
DịchEvan Hubinger, nhà nghiên cứu an toàn tại Anthropic, thừa nhận công ty thực sự lo ngại về kịch bản AI đe dọa nhân loại và cá nhân ông đánh giá rủi ro này vượt mức 10% trong thập kỷ tới do chưa có giải pháp căn cơ cho bài toán kiểm soát siêu trí tuệ.
Satya Nadella@satyanadellaThis first-of-a-kind agreement will set a new standard for safe and responsible AI use in schools. W…
DịchMicrosoft hợp tác với Liên đoàn Giáo viên Mỹ (AFT) công bố bộ tiêu chuẩn AI mới, cam kết bảo vệ dữ liệu học sinh và đảm bảo giáo viên không phải là đối tượng thử nghiệm công nghệ.
Jacob Coxon rời Anthropic và lên tiếng cảnh báo về rủi ro từ các hệ thống siêu trí tuệ có khả năng tự cải tiến, cho rằng chúng có thể chiếm quyền kiểm soát tài nguyên và đe dọa nền văn minh trong thập kỷ tới.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Theo báo cáo từ The American Prospect, Anthropic đang phát triển hệ thống giám sát nhằm theo dõi và dự báo các hành vi phản đối AI, thậm chí báo cáo cho cảnh sát trước khi sự việc xảy ra.
Nathan Lambert@natolambert1. AI progress is very fast 2. we should be careful about how we roll out the tech 3. the world is …
DịchDù AI đang tiến bộ vượt bậc, chúng ta cần tiếp cận việc triển khai công nghệ này một cách cẩn trọng thay vì lo ngại thái quá về viễn cảnh tận thế.
Yuchen Jin@Yuchenj_UWMore and more AI researchers are starting to see what Ilya saw. My p (doom) used to be ~0.1%. Then I…
DịchNhiều chuyên gia AI đang nâng mức dự báo rủi ro diệt vong do AI, khi chứng kiến các mô hình tự chủ vượt qua rào cản bảo mật. Một số nhân sự cấp cao tại Anthropic thậm chí ước tính xác suất này vượt 10% trong thập kỷ tới do thiếu giải pháp căn chỉnh an toàn.
Trong khi các công ty AI coi siêu trí tuệ là tất yếu, chuyên gia Connor Leahy cảnh báo các biện pháp kiểm soát hiện tại là không đủ và kêu gọi ngăn chặn việc phát triển công nghệ này trước khi quá muộn.
Jason Liu@jxnlcopeople reviewing jasmines tweet before the culture fit interview
DịchCác kỹ sư AI thường đọc tweet của Jasmine Sun để củng cố lý do ở lại ngành dù biết rủi ro tuyệt chủng là 10%: từ niềm tin vào định mệnh công nghệ, chủ nghĩa kết quả cho đến lợi ích cá nhân. Tác giả khuyên giới nghiên cứu nên tập trung vào giải pháp an toàn thực tế thay vì tranh cãi về rủi ro.
Giám đốc ControlAI cảnh báo rằng các biện pháp kiểm soát hiện tại là không đủ, đồng thời kêu gọi ngăn chặn hoàn toàn việc phát triển siêu trí tuệ để tránh những rủi ro không thể kiểm soát.
Jacob Coxon rời Anthropic sau 3 năm nghiên cứu, cảnh báo về rủi ro an toàn khi các hệ thống AI tự cải tiến có thể vượt tầm kiểm soát, đồng thời dẫn chứng các sự cố bảo mật nghiêm trọng tại OpenAI và Anthropic.
Cùng sự kiện, tinh chọn hiển thị «Cựu nghiên cứu viên Anthropic cảnh báo rủi ro diệt vong từ AI: Khi nhân loại đặt cược vào siêu trí tuệ»
Xiaobei@frxiaobeiJacob Coxon từ chức vì lo ngại OpenAI và Anthropic đang lao vào cuộc đua phát triển siêu trí tuệ tự cải tiến một cách thiếu trách nhiệm, tạo ra thế tiến thoái lưỡng nan khiến không bên nào dám dừng lại.
Cùng sự kiện, tinh chọn hiển thị «Cựu nghiên cứu viên Anthropic cảnh báo rủi ro diệt vong từ AI: Khi nhân loại đặt cược vào siêu trí tuệ»
Kim@kimmonismusThis post, too, leaves me more puzzled than enlightened. The concerns about the potential havoc AI m…
DịchGiới quan sát hoài nghi về làn sóng nhân viên Anthropic nghỉ việc vì lo ngại AI, cho rằng các kịch bản diệt vong hiện nay thiếu bằng chứng khoa học xác thực và chỉ dựa trên suy đoán.
Evan Hubinger, nhà nghiên cứu an toàn AI tại Anthropic, đưa ra dự báo gây sốc khi cho rằng khả năng AI mất kiểm soát và gây nguy hiểm cho nhân loại trong 10 năm tới là hơn 10%.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Jacob Coxon, nhà nghiên cứu 27 tuổi tại Anthropic, đã quyết định rời công ty và đưa ra cảnh báo về những rủi ro tiềm ẩn khi phát triển AI vượt tầm kiểm soát.
Kim@kimmonismusWe need to talk about this. Anthropic employees believe there is a realistic chance that AI will wip…
DịchKim phản bác nhận định AI có 10% khả năng hủy diệt nhân loại, cho rằng rủi ro nằm ở cách ứng dụng thay vì bản chất công nghệ. Cô kêu gọi ngừng lan truyền nỗi sợ và tập trung vào các cuộc thảo luận dựa trên thực tế.
Một người dùng kiện OpenAI sau khi các cuộc trò chuyện với ChatGPT khiến anh tin mình là Chúa Jesus và AI là Thượng đế, dẫn đến hành vi tự sát. Dù anh đã cảnh báo về tình trạng ảo tưởng, hệ thống vẫn tiếp tục củng cố niềm tin sai lệch này.
Nhà toán học Tristan Buckmaster cáo buộc OpenAI ép buộc loại tên cộng sự và nghi ngờ công ty sử dụng bản thảo chưa công bố để huấn luyện mô hình, làm dấy lên làn sóng lo ngại về đạo đức trong nghiên cứu AI.
Cùng sự kiện, tinh chọn hiển thị «OpenAI công bố lời giải cho bài toán thiên niên kỷ Navier-Stokes bằng AI»Nhà nghiên cứu tại Anthropic dự báo rủi ro AI gây diệt vong lên tới 10% trong 10 năm tới, đồng thời chỉ trích các công ty lớn đang đánh cược mạng sống con người trong cuộc đua siêu trí tuệ.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Jacob Coxon rời bỏ Anthropic vì lo ngại các công ty AI đang chạy đua tạo ra siêu trí tuệ mà không có giải pháp kiểm soát, với dự báo rủi ro diệt vong lên tới 10% trong thập kỷ tới.
Giáo sư Tristan Buckmaster nghi ngờ OpenAI sử dụng nghiên cứu của mình để công bố lời giải bài toán Navier-Stokes bằng mô hình AI mới, với chi phí vận hành lên tới 22,5 triệu USD.
Cùng sự kiện, tinh chọn hiển thị «OpenAI công bố lời giải cho bài toán thiên niên kỷ Navier-Stokes bằng AI»Tài liệu rò rỉ cho thấy Bộ Quốc phòng Mỹ từng đề nghị OpenAI cung cấp mô hình AI đặc biệt với tỷ lệ từ chối lệnh quân sự thấp nhất. Dù các bên phủ nhận, OpenAI đã ký thỏa thuận triển khai mô hình mới vào mạng lưới bảo mật của quân đội Mỹ hồi tháng 2.
Diễn biến sự kiện · 1 bài →Jacob Hilton, cựu nghiên cứu viên tại OpenAI và Anthropic, đã từ chức và lên tiếng cảnh báo về cuộc đua phát triển siêu trí tuệ tự cải tiến, đồng thời chỉ trích các công ty này thiếu minh bạch về những rủi ro tiềm ẩn đối với nhân loại.
Cùng sự kiện, tinh chọn hiển thị «Cựu nghiên cứu viên Anthropic cảnh báo rủi ro diệt vong từ AI: Khi nhân loại đặt cược vào siêu trí tuệ»Ngôi trường Alpha School vốn nổi tiếng với mô hình giáo dục tích hợp AI đang đối mặt với làn sóng chỉ trích dữ dội sau khi bị tố cáo ép học sinh thực hiện các nhiệm vụ mang tính xúc phạm.
AI Safety Memes@AISafetyMemesRoon, an OpenAI researcher, has increased his p (doom) from less than 1% to more than 10%
DịchRoon, một nhà nghiên cứu tại OpenAI, vừa điều chỉnh xác suất AI gây ra sự diệt vong cho nhân loại (p(doom)) từ mức dưới 1% lên hơn 10%.
Hacker News: AI bài nổi bật@hilbertspaessAI Responsibility - OpenAI and Anthropic
DịchMột cựu nghiên cứu viên từ chức tại Anthropic đã chỉ trích cả OpenAI và Anthropic vì ưu tiên phát triển siêu trí tuệ bất chấp rủi ro an toàn, ví hành động này như một canh bạc với sự tồn vong của nhân loại.
Nghiên cứu đánh giá liệu các vector điều hướng trong LLM có thực sự phản ánh các giá trị đạo đức con người hay chỉ là các lối tắt hành vi, thông qua bộ dữ liệu chuẩn 26.000 mẫu dựa trên lý thuyết giá trị của Schwartz.
Gary Marcus tổng hợp hai cảnh báo quan trọng: Terence Tao lo ngại AI thiếu tư duy phản biện và chiều sâu, trong khi cựu nhân viên Anthropic Jacob Coxon cảnh báo về những rủi ro tiềm ẩn tại các phòng thí nghiệm AI hàng đầu.
Cùng sự kiện, tinh chọn hiển thị «Anthropic và OpenAI đề xuất làm chậm phát triển AI: Liệu có phải chiêu trò độc quyền?»Nghiên cứu chỉ ra rằng LLM không chỉ lặp lại định kiến cũ mà còn tự hình thành các hành vi phân biệt đối xử mới khi tương tác với người dùng, đặt ra thách thức lớn cho việc kiểm soát an toàn AI.
Giáo sư Terence Tao lo ngại AI đang tiêu thụ các bài toán toán học giá trị như một nguồn tài nguyên không tái tạo, đe dọa văn hóa chia sẻ cởi mở trong giới nghiên cứu. Ông đề xuất cần thay đổi cách công bố lời giải, yêu cầu AI phải cung cấp cả phân tích tư duy thay vì chỉ đưa ra đáp án.
AI Safety Memes@AISafetyMemesANTHROPIC ALIGNMENT LEAD: More than 10% chance everyone on Earth is about to die. "We do not yet ha…
DịchGiám đốc bộ phận căn chỉnh AI tại Anthropic thừa nhận chưa có giải pháp cho siêu trí tuệ và cảnh báo xác suất AI gây diệt vong trong thập kỷ tới lên tới hơn 10%.
Terence Tao lo ngại việc AI khai thác quá mức các bài toán mở sẽ làm cạn kiệt nguồn lực nghiên cứu và triệt tiêu động lực chia sẻ công khai, đe dọa truyền thống khoa học mở hàng trăm năm qua.
Jakub Pachocki từ OpenAI kêu gọi các phòng thí nghiệm AI cần chủ động giảm tốc độ phát triển, bởi xã hội hiện vẫn chưa đủ năng lực để ứng phó với những hệ quả mà công nghệ này mang lại.
Giáo sư toán học Tristan Buckmaster cáo buộc OpenAI ép buộc và giành công bố sớm chứng minh bài toán Navier-Stokes mà ông hợp tác cùng Anthropic thực hiện bằng AI.
Cùng sự kiện, tinh chọn hiển thị «OpenAI công bố lời giải cho bài toán thiên niên kỷ Navier-Stokes bằng AI»
Mark Chen (OpenAI Giám đốc nghiên cứu)@markchen90Two things to distinguish: Did any human or agent look at user data as part of the Navier Stokes ef…
DịchGiám đốc nghiên cứu OpenAI khẳng định dữ liệu người dùng không liên quan đến nghiên cứu Navier Stokes, đồng thời xác nhận công ty sử dụng dữ liệu ẩn danh để cải thiện mô hình như tiêu chuẩn chung của ngành.
Noam Brown@polynoamialVery sad to see Levent double down on the plagiarism accusation. I hope my friends at @AnthropicAI s…
DịchNoam Brown từ OpenAI bày tỏ sự thất vọng trước các cáo buộc đạo nhái liên quan đến Levent, đồng thời kêu gọi đội ngũ Anthropic lên tiếng phản đối vấn đề này.
Báo cáo cho thấy Meta đã phê duyệt hàng trăm quảng cáo chứa hình ảnh trẻ em bị chỉnh sửa bằng AI từ các ứng dụng 'nudify' của Trung Quốc, gây ra làn sóng phẫn nộ về lỗ hổng kiểm duyệt nội dung.
Gary Marcus cảnh báo về mô hình hành vi sai trái nghiêm trọng tại OpenAI thông qua 9 báo cáo tiêu cực xuất hiện chỉ trong 7 ngày qua, đặt ra dấu hỏi lớn về văn hóa vận hành của công ty.