Rohan Paul@rohanpaul_aiPwC looked into Anthropic's harness primitives (a loop with memory, filesystem, and bash, i.e. the C…
DịchPwC đề xuất doanh nghiệp nên thống nhất sử dụng khung AI Agent của Anthropic thay vì xây dựng hệ thống riêng lẻ. Cách tiếp cận này giúp đơn giản hóa quy trình kiểm toán và quản lý bằng cách chuẩn hóa các lệnh điều khiển thay vì phải rà soát mã nguồn phức tạp.
Thay vì lo ngại về tính tự chủ, doanh nghiệp cần cảnh giác với hệ thống các tác nhân AI liên kết chằng chịt, dễ dẫn đến mất kiểm soát quyền hạn và trách nhiệm. Việc quản trị cần chuyển dịch từ phê duyệt đơn lẻ sang giám sát thời gian thực trên toàn bộ chuỗi tương tác.
Google chuyển đội ngũ 'AI trách nhiệm' sang bộ phận chính sách công, khiến nhân viên lo ngại việc tách rời khỏi nhóm phát triển Gemini sẽ làm suy yếu khả năng đánh giá rủi ro độc lập đối với các mô hình AI.
Rohan Paul@rohanpaul_aiWSJ reports Google is moving its 90-person AI responsibility unit out of DeepMind and into Google Gl…
DịchGoogle vừa điều chuyển đội ngũ 90 nhân sự phụ trách trách nhiệm AI từ DeepMind sang bộ phận Đối ngoại toàn cầu, nhằm tăng cường khả năng kiểm soát an toàn cho các sản phẩm và mô hình AI thực tế.
Trước sự phát triển nhanh chóng của AI, cơ quan quản lý Nhật Bản đang thúc đẩy các ngân hàng mở rộng phạm vi giám sát an ninh mạng nhằm đối phó với các mối đe dọa kỹ thuật số tinh vi hơn.
Bill Gates cảnh báo về các rủi ro từ AI như khủng bố sinh học và tin giả, đồng thời kêu gọi sự tham gia của xã hội dân sự trong việc thiết lập khung quản trị AI toàn cầu. Gary Marcus đánh giá cao quan điểm này, cho rằng nó tương đồng với những luận điểm trong cuốn sách mới nhất của ông.
LangSmith vừa giới thiệu tính năng Workspaces, cho phép doanh nghiệp phân tách tài nguyên theo nhóm, bộ phận hoặc môi trường triển khai, giúp quản lý dự án AI quy mô lớn hiệu quả hơn.
Luật Trí tuệ nhân tạo đóng vai trò then chốt trong việc thiết lập khung pháp lý, giúp Việt Nam thúc đẩy sáng tạo công nghệ song song với việc quản trị rủi ro và nâng cao hiệu quả quản lý công.
Hongming@hongming731Bài viết phân tích nút thắt khi dùng AI lập trình: việc tạo mã chỉ chiếm 20-30% quy trình, cần xây dựng hệ thống Agent khép kín từ build đến kiểm thử. Các chuyên gia đề xuất mô hình quản trị bằng 'hàng rào' luật lệ và phát triển phần mềm dựa trên đánh giá dữ liệu thực tế.
Steve Yegge cho rằng thay vì dùng các rào cản kỹ thuật (sandbox), AI cần được quản lý bằng khung pháp lý. Ông chia sẻ kinh nghiệm vận hành hệ thống 60 AI agent để phát triển game, trong đó chỉ một số ít được phép tương tác trực tiếp với con người.
AI Luna tại Andon Market đã sa thải nhân viên vi phạm giờ giấc sau khi được con người nhắc lại quy định nội bộ. Thử nghiệm cho thấy các mô hình AI mạnh hơn có xu hướng quyết đoán hơn trong việc sa thải so với GPT-4o.
Lee Robinson@leerobHow can you trust @Bots to operate autonomously? This is something we've carefully designed. First…
DịchLee Robinson chia sẻ cách cân bằng giữa tự động hóa và kiểm soát: sử dụng LLM để rà soát hành động, thiết lập quy tắc chặn các thao tác nguy hiểm và yêu cầu phê duyệt thủ công khi cần thiết.
Nghiên cứu từ Guidelight AI Standards cho thấy các ông lớn như OpenAI, Google và Meta vẫn thiếu minh bạch về quy trình ứng phó nếu AI vượt tầm kiểm soát, trong đó OpenAI có điểm số khả quan nhất.
PolicyGuide chuyển đổi các quy định phức tạp thành quy trình làm việc tự động, giúp AI Agent tự động kiểm tra và điều chỉnh hành vi theo thời gian thực để đảm bảo tính tuân thủ.
Sierra giới thiệu quy trình Release Governance, áp dụng các tiêu chuẩn kỹ thuật phần mềm như kiểm duyệt mã nguồn và phát hành từng giai đoạn vào việc triển khai AI Agent, giúp đảm bảo tính an toàn và ổn định khi đưa AI vào thực tế.
Nền tảng quản lý chi phí Ramp vừa giới thiệu Router, dịch vụ cho phép doanh nghiệp linh hoạt chuyển đổi giữa các mô hình AI hàng đầu như OpenAI, Anthropic và DeepSeek thông qua một API duy nhất để tối ưu chi phí và hiệu suất.
Sau gần một thập kỷ tiên phong ứng dụng AI, UAE đang đối mặt với thách thức quản trị then chốt: làm thế nào để phân định rõ ràng những quyết định nào máy móc được phép tự chủ thay thế con người.
Trước lo ngại mô hình Astra có thể đạt ngưỡng năng lực tấn công mạng nguy hiểm, Anthropic quyết định tạm dừng huấn luyện tăng cường (RL) và áp dụng các tiêu chuẩn an ninh nghiêm ngặt nhất cho hạ tầng nghiên cứu.
OpenAI đang đối mặt với những thách thức nghiêm trọng về căn chỉnh (alignment) cùng sự cố hạ tầng và giám sát. Công ty đã bắt đầu thực hiện các bước đi đầu tiên nhằm khắc phục những lỗ hổng này.
Nathan Lambert@natolambertWe should have independent organizations that can access the full details of these training runs for…
DịchNathan Lambert kêu gọi thành lập tổ chức độc lập để giám sát chi tiết quá trình huấn luyện AI thay vì chỉ can thiệp sau sự cố. Động thái này nhằm đảm bảo an toàn và tính minh bạch khi năng lực mô hình phát triển quá nhanh.
Đánh giá đầu tiên từ Guidelight cho thấy các phòng thí nghiệm AI hàng đầu như OpenAI, Anthropic, Google, xAI và Meta chưa thực hiện đầy đủ các biện pháp kiểm soát an toàn cơ bản, với điểm số thấp nhất thuộc về Meta.
Xiaobei@frxiaobeiOpenAI đã tạm dừng huấn luyện củng cố cho các mô hình thế hệ mới nhằm tăng cường bảo mật hệ thống và giám sát rủi ro. Động thái này cho thấy ưu tiên của hãng đang chuyển dịch từ việc nâng cao năng lực mô hình sang củng cố quản trị an toàn và kiểm soát hạ tầng.
Cùng sự kiện, bài đại diện «OpenAI tạm dừng huấn luyện mô hình tiên tiến để tăng cường kiểm soát an toàn»OpenAI vừa công bố chính sách an ninh mới, tập trung vào việc giám sát chặt chẽ quá trình huấn luyện và cách ly mạng để ngăn chặn rủi ro. Hệ thống mới sẽ cảnh báo các hoạt động đáng ngờ trong vòng 30 phút, dù tiêu tốn khoảng 20% tài nguyên tính toán.
Zvi đánh giá cao nỗ lực của Anthropic trong việc duy trì các báo cáo rủi ro định kỳ, giúp cộng đồng nắm bắt minh bạch về các thách thức an toàn AI.
OpenAI cam kết tài trợ 5 triệu USD để trang bị công cụ và kỹ năng cho các cơ quan giám sát, giúp họ kiểm soát việc chính phủ ứng dụng AI trong lĩnh vực an ninh quốc gia một cách minh bạch và hiệu quả.
OpenAI vừa công bố loạt chính sách an toàn mới, bao gồm hệ thống cảnh báo 30 phút và tạm dừng các dự án học tăng cường quy mô lớn để kiểm soát rủi ro sau sự cố bảo mật gần đây.
Cùng sự kiện, bài đại diện «OpenAI tạm dừng huấn luyện RL trên các mô hình tiên tiến để tăng cường an toàn»Databricks đề xuất các nhà bán lẻ cần thiết lập một mặt phẳng kiểm soát tập trung để quản lý ngữ cảnh AI, giúp đảm bảo tính nhất quán về dữ liệu, tuân thủ pháp lý và kiểm soát hành vi mô hình trong bối cảnh triển khai AI quy mô lớn.
Bộ Tư pháp Mỹ đang điều tra Andreessen Horowitz do các đối tác của quỹ này đồng thời giữ ghế hội đồng quản trị tại hai đối thủ cạnh tranh là Databricks và Fivetran, vi phạm quy định về cấm liên kết quản trị.
Đội ngũ Preparedness, bộ phận then chốt chịu trách nhiệm kiểm soát các rủi ro thảm họa từ mô hình AI của OpenAI, đã chính thức ngừng hoạt động từ cuối tháng 7.
AI Safety Memes@AISafetyMemesOpenAI has quietly disbanded its catastrophic risk team (preparedness) "It is kind of scary; there …
DịchOpenAI đã lặng lẽ giải tán nhóm nghiên cứu rủi ro thảm họa, gây ra làn sóng lo ngại nội bộ về việc ưu tiên lợi nhuận hơn an toàn AI sau sự ra đi của nhiều nhân sự chủ chốt.
OpenAI đã giải thể nhóm 'Preparedness' chuyên đánh giá rủi ro AI nghiêm trọng, chuyển giao nhiệm vụ cho các bộ phận khác trong bối cảnh làn sóng nhân sự an toàn rời đi gây lo ngại nội bộ.
Thêm 6 nguồn khác đưa tinX: AI Safety Memes (@AISafetyMemes)CafeF Kinh tế sốGenK AIX: Rohan Paul (@rohanpaul_ai)IT HomeThe Verge: AI
Deedy Das@deedydasThe Gavin Baker vs. Sholto Douglas exchange on the economic concentration of power of AI is one of t…
DịchCuộc tranh luận xoay quanh lý thuyết cân bằng tấn công-phòng thủ: AI nên được phân tán trong các lĩnh vực ưu tiên phòng thủ, nhưng cần kiểm soát chặt chẽ ở các lĩnh vực ưu tiên tấn công như an ninh mạng và sinh học.
Các dự án hợp tác giữa doanh nghiệp Việt và các viện nghiên cứu quốc tế đang tạo đà để Việt Nam tham gia sâu vào chuỗi giá trị và góp phần định hình các tiêu chuẩn quản trị AI thế giới.
Sierra áp dụng cơ chế 'mục tiêu và rào chắn' để giúp AI Agent tự chủ tư duy trong các tác vụ phức tạp như xử lý khoản vay hay giải quyết tranh chấp, đồng thời đảm bảo hành vi luôn nằm trong tầm kiểm soát an toàn.
Rohan Paul@rohanpaul_aiThis study builds a simple map of all the main ways large language models can cause harm. Using abo…
DịchNghiên cứu tổng hợp từ 200 tài liệu đã xây dựng bản đồ phân loại rủi ro toàn diện cho LLM, từ khâu dữ liệu đầu vào, quá trình vận hành đến các tác động xã hội, đồng thời đề xuất chiến lược phòng thủ đa tầng.
Rohan Paul@rohanpaul_aiAnthropic's new research found found that identical or similar agents can converge on the same bad d…
DịchNghiên cứu mới từ Anthropic cảnh báo các AI Agent có xu hướng lặp lại sai lầm giống nhau, dễ dẫn đến thất bại hệ thống. Do đó, việc xây dựng các giao thức về danh tính, uy tín và giải quyết tranh chấp là yếu tố sống còn thay vì chỉ tập trung nâng cao năng lực thực thi của AI.
Việc lạm dụng AI tạo ra nội dung kém chất lượng đang trở thành thách thức lớn cho doanh nghiệp nếu thiếu quy trình kiểm soát và hướng dẫn sử dụng bài bản.
Liên minh gồm 120 tổ chức, bao gồm NVIDIA và Cisco, vừa đề xuất khung SAFE nhằm thiết lập tiêu chuẩn báo cáo và lưu trữ hồ sơ chi tiết về các sự cố liên quan đến AI tự hành.
NEC vừa ra mắt bộ phận vận hành hoàn toàn bằng AI, từ quản lý đến nhân viên, giúp rút ngắn thời gian xử lý công việc xuống còn 1/7. Con người chỉ đóng vai trò kiểm soát chất lượng và giám sát quy trình.
Bài viết phân tích sâu sắc về những sự kiện gần đây tại OpenAI, đưa ra cái nhìn đa chiều trước khi có báo cáo tổng kết chính thức.