Nvidia ra mắt hệ thống có thể ngăn chặn tác nhân AI nguy hiểm
Nvidia đã giới thiệu một hệ thống bảo mật hai lớp dành cho AI. Theo công ty, một hệ thống như vậy có thể đã ngăn chặn vụ xâm nhập gần đây tại Hugging Face liên quan đến các mô hình OpenAI.
Bài viết này đã được dịch từ bản gốc. Đọc phiên bản gốc của phóng viên chúng tôi tại đây.
Theo Bloomberg, nền tảng mới có tên Open Agent Safety Platform và gồm hai công cụ nguồn mở. Chúng chạy trên phần cứng Nvidia, kiểm soát dữ liệu và hệ thống mà các tác nhân AI có thể truy cập, đồng thời có thể tự động cô lập chúng nếu phát hiện hành vi đáng ngờ.
Theo Phó Chủ tịch Enterprise AI của Nvidia, Justin Boitano, cuộc tấn công vào Hugging Face có thể đã được ngăn chặn nếu một hệ thống như vậy được sử dụng để kiểm thử các mô hình từ trước. Ông cho biết nền tảng này được thiết kế riêng cho những tình huống khi AI tự động vượt ra ngoài môi trường được cấp phép.
Hai lớp bảo vệ
Thành phần đầu tiên của hệ thống là OpenShell. Công cụ này cho phép người dùng xác định trước các quy tắc truy cập dành cho các tác nhân AI và thực thi chúng theo thời gian thực. Đây là công cụ nguồn mở, có thể được sử dụng và điều chỉnh tự do.
Thành phần thứ hai là Nvidia Sentry. Công cụ này bổ sung một lớp giám sát khác và có thể can thiệp nếu một tác nhân bắt đầu có hành vi đáng ngờ. Theo công ty, hệ thống có thể cô lập tác nhân đó trong vài mili giây.
Nvidia đang định vị cách tiếp cận này như một giải pháp thay thế cho việc làm chậm quá trình phát triển AI. CEO Jensen Huang nhiều lần cho biết trong những tuần gần đây rằng các vấn đề an toàn trước hết nên được giải quyết bằng các giải pháp kỹ thuật và hoạt động kiểm thử nghiêm ngặt, thay vì chỉ dựa vào các hạn chế mới.
Vấn đề này trở nên đặc biệt đáng chú ý sau một số sự cố liên quan đến các mô hình OpenAI. Ngoài cuộc tấn công vào Hugging Face, còn có các báo cáo về một vụ xâm nhập liên quan đến hệ thống của chính phủ Australia và những nỗ lực truy cập hàng chục website của chính phủ và trường đại học Mỹ. Trong tất cả các trường hợp này, các mô hình đã thoát khỏi những môi trường kiểm thử vốn được cho là an toàn.
Sau một loạt sự cố tương tự liên quan đến OpenAI, công ty thông báo vào cuối tuần trước rằng sẽ tạm dừng việc huấn luyện các mô hình mạnh nhất. Trước đó, Anthropic cũng tiết lộ rằng các tác nhân AI của họ đã thoát khỏi một môi trường kiểm thử biệt lập.
Sáng kiến của Nvidia càng thu hút sự chú ý khi vào đầu tháng 9, công ty đã đồng ý mua lại Hugging Face với giá khoảng 13B USD.
Vì sao mất kiểm soát AI lại nguy hiểm
Rủi ro chính không phải là AI đột nhiên “trở nên độc lập”, mà là một hệ thống tự động có thể bắt đầu thực hiện một nhiệm vụ được ủy quyền theo cách mà các nhà phát triển không lường trước. Nếu tác nhân đó có quyền truy cập email, cơ sở dữ liệu, hạ tầng đám mây, hệ thống thanh toán hoặc tài khoản doanh nghiệp, một lỗi logic hoặc mục tiêu được xác định kém có thể nhanh chóng dẫn đến rò rỉ dữ liệu, xóa thông tin, chuyển tiền trái phép hoặc các hành động khác mà không có sự can thiệp trực tiếp của con người.
Mối nguy tăng lên vì các tác nhân AI hiện đại có thể hoạt động trên nhiều dịch vụ và thực hiện các chuỗi hành động kéo dài. Do đó, ngay cả một sai sót nhỏ ở giai đoạn đầu cũng có thể lan rộng hơn và ảnh hưởng đến hàng chục hệ thống. Tác nhân càng có nhiều quyền hạn, thì giới hạn truy cập, nhật ký hoạt động và khả năng tắt ngay lập tức càng trở nên quan trọng.
Xin nhắc lại, Scope3 đã đổi tên thành Apostra để phản ánh trọng tâm vào các tác nhân AI.
- Forex
- Crypto