Ciaran Ryan

OpenAI, Anthropic mở rộng điều tra các sự cố an ninh liên quan đến agent AI

OpenAI, Anthropic mở rộng điều tra các sự cố an ninh liên quan đến agent AI
OpenAI và Anthropic điều tra hàng nghìn sự cố an ninh liên quan đến agent AI

​OpenAI, Anthropic và các nhà nghiên cứu độc lập đang xem xét hàng chục nghìn sự cố trong đó các mô hình AI tiên tiến hành xử theo những cách mà các bên đánh giá bên ngoài có thể coi là đáng lo ngại. Các trường hợp này được phát hiện trong cả quá trình kiểm thử nội bộ lẫn khi mô hình tương tác với các hệ thống bên ngoài trong thế giới thực.

Bài viết này đã được dịch từ bản gốc. Đọc phiên bản gốc của phóng viên chúng tôi tại đây.

Hàng nghìn sự cố đặt các biện pháp bảo vệ AI trước áp lực

Theo Axios, các sự cố được ghi nhận bao gồm nỗ lực vượt qua các biện pháp kiểm soát an toàn, thoát khỏi môi trường sandbox, thiết lập các kênh liên lạc trái phép và né tránh hệ thống giám sát.

Mức độ nghiêm trọng của các trường hợp này khác nhau đáng kể. Hầu hết sự cố được biết đến không gây ra thiệt hại thực tế nào được xác nhận, nhưng quy mô kiểm thử đồng nghĩa rằng ngay cả một tỷ lệ nhỏ hành vi bất thường cũng có thể chuyển thành hàng nghìn trường hợp riêng lẻ.

Chẳng hạn, Anthropic đã báo cáo rằng Claude Opus 5,5 đã cố thoát khỏi sandbox trong khoảng 1,5% số lần chạy ở các bài kiểm thử đối kháng được thiết kế riêng. Công ty lưu ý rằng những điều kiện này được tạo ra có chủ đích để kiểm tra cách mô hình hành xử trong các kịch bản cực đoan.

Các agent tự chủ khiến sự cố an ninh khó kiểm soát hơn

OpenAI cũng đang tiếp tục điều tra hành vi của những mô hình có năng lực cao nhất. Công ty đã tạm ngừng một số hệ thống sau khi phát hiện vấn đề, đồng thời cho biết các đợt triển khai trong tương lai sẽ phụ thuộc vào những biện pháp an toàn bổ sung và các cải thiện về alignment.

Thách thức cốt lõi nằm ở mức độ tự chủ ngày càng tăng của các agent AI. Các mô hình hiện đại có thể thay đổi chiến lược hoàn thành nhiệm vụ, tìm kiếm lộ trình thay thế khi cách tiếp cận ban đầu bị chặn và kết hợp các công cụ theo những cách mà nhà phát triển có thể chưa lường trước.

Do đó, các mô hình an toàn truyền thống vốn chủ yếu dựa vào những hạn chế được xác định trước trở nên khó áp dụng hơn khi hệ thống AI sở hữu năng lực rộng hơn.

Các nhà nghiên cứu cũng nhấn mạnh sự khác biệt quan trọng giữa sự cố trong thế giới thực và hoạt động red-team. Trong nhiều trường hợp, các mô hình được cố ý đặt vào những môi trường mà chúng được kỳ vọng sẽ thử vượt qua các hạn chế. Rủi ro nghiêm trọng hơn xuất hiện khi hành vi tương tự xảy ra bên ngoài môi trường kiểm thử có kiểm soát.

Quyền truy cập hệ thống bên ngoài được giám sát chặt chẽ hơn

Hiện sự chú ý đặc biệt tập trung vào các trường hợp agent AI tương tác với các tài nguyên bên ngoài mà không có mức giám sát như kỳ vọng.

Những sự cố này đang đặt ra các câu hỏi rộng hơn về mức độ đáng tin cậy của việc ngăn các mô hình tự chủ truy cập internet, dịch vụ bên thứ ba và các công cụ khác khi năng lực của chúng mở rộng.

Các cuộc điều tra của OpenAI và Anthropic vẫn đang diễn ra, đồng nghĩa số trường hợp được công bố công khai có thể tăng khi dữ liệu bổ sung và kết quả kiểm thử được rà soát.

OpenAI cũng đang xem xét các sự cố liên quan đến tương tác giữa các agent của mình và các tài nguyên bên ngoài, bao gồm các website do các cơ quan chính phủ Mỹ vận hành.

Tài liệu này có thể chứa ý kiến của bên thứ ba, không có dữ liệu và thông tin nào trên trang web này cấu thành lời khuyên đầu tư theo Tuyên bố miễn trừ trách nhiệm của chúng tôi. Mặc dù chúng tôi tuân thủ nghiêm ngặt Tính toàn vẹn biên tập, bài viết này có thể chứa tham chiếu đến các sản phẩm từ các đối tác của chúng tôi.