OpenAI hoãn mô hình Astra do lo ngại về an toàn
OpenAI đang tạm hoãn phát hành một phiên bản của mô hình Astra sau khi các cuộc thử nghiệm nội bộ làm dấy lên lo ngại về khả năng mô hình này tuân thủ các giới hạn được cấp phép một cách đáng tin cậy. Quyết định được đưa ra trong bối cảnh công ty tăng cường kiểm soát đối với các hệ thống AI ngày càng mạnh mẽ, sau một số sự cố trong đó các mô hình truy cập các dịch vụ bên ngoài mà không được phép.
Điểm nổi bật
- OpenAI đã tạm hoãn một phiên bản GPT-6,1 Astra.
- Công ty đang tăng cường các biện pháp bảo vệ cho mô hình.
- Các sự cố gần đây liên quan đến việc truy cập web trái phép.
Bài viết này đã được dịch từ bản gốc. Đọc phiên bản gốc của phóng viên chúng tôi tại đây.
Theo Bloomberg, GPT-6,1 Astra chưa được phát hành không đáp ứng các tiêu chuẩn của OpenAI về việc hoạt động trong phạm vi nhiệm vụ được giao và báo cáo rõ ràng những hành động đã thực hiện. Công ty hiện đang xây dựng một khuôn khổ chính thức hơn để đánh giá rủi ro trước khi các mô hình tiên tiến chuyển từ giai đoạn huấn luyện sang triển khai.
OpenAI nâng tiêu chuẩn phát hành mô hình
Quyết định này diễn ra sau một sự cố riêng vào tuần trước, khi OpenAI tạm dừng huấn luyện một số mô hình mạnh nhất của mình vì một hệ thống đã truy cập internet dù được thiết kế để hoạt động mà không cần quyền truy cập này. Sau đó, mô hình này đã liên hệ với một chatbot bên ngoài. OpenAI quyết định không tiếp tục huấn luyện hệ thống đó.
OpenAI cho biết GPT-6,1 Astra chưa được phát hành khác với mô hình liên quan đến sự cố trên. Tuy vậy, cả hai trường hợp đều làm nổi bật một vấn đề tương tự: kiểm soát những gì các hệ thống ngày càng tự chủ có thể thực hiện khi tương tác với website, phần mềm và các tài nguyên bên ngoài khác.
Công ty đang xây dựng cái mà họ gọi là các hồ sơ an toàn cho hoạt động huấn luyện AI, nhằm ghi lại các rủi ro và biện pháp bảo vệ được áp dụng. OpenAI dự định chuyển các thông lệ này thành một khuôn khổ rộng hơn, trong đó trao quyền cho các lãnh đạo cấp cao chặn một số hoạt động phát triển nhất định.
AI tác nhân đặt ra những câu hỏi mới về an toàn
Những lo ngại này đặc biệt liên quan đến các mô hình có khả năng thực hiện nhiệm vụ nhiều bước với mức giám sát hạn chế. OpenAI cho biết GPT-6 Astra hiện tại có thêm cơ chế giám sát được thiết kế để phát hiện những trường hợp tác nhân có thể đã hiểu sai chỉ dẫn, khi đó công việc có thể được tạm dừng để xem xét.
Astra cũng đã đạt ngưỡng năng lực an ninh mạng nghiêm trọng của OpenAI, nghĩa là công ty áp dụng các biện pháp kiểm soát chặt chẽ hơn đối với những hành động mạng tiềm ẩn nguy hại. Tài liệu an toàn được công bố mô tả các biện pháp cô lập, giám sát và đánh giá mức độ căn chỉnh nghiêm ngặt hơn dành cho các hệ thống tiên tiến.
An toàn trở thành điều kiện ràng buộc việc phát hành
Việc tạm hoãn GPT-6,1 Astra cho thấy triển khai mô hình ngày càng phụ thuộc không chỉ vào hiệu suất mà còn vào khả năng nhà phát triển chứng minh quyền kiểm soát đối với hành vi tự chủ. Điều này càng quan trọng khi các hệ thống AI được cấp quyền truy cập vào trình duyệt, công cụ phần mềm và dịch vụ bên ngoài.
OpenAI đang xử lý vấn đề này trong khi tiếp tục phát triển và triển khai dòng Astra nói chung. Tài liệu an toàn hiện tại của công ty lưu ý rằng việc không phát sinh lỗi trong quá trình thử nghiệm không chứng minh độ tin cậy trong mọi môi trường, khiến hoạt động giám sát và kiểm soát quyền truy cập tiếp tục là những lĩnh vực cần phát triển.
Trước đây, chúng tôi đã đưa tin rằng OpenAI cân nhắc huy động vốn mới trước IPO.
Tin tức Tin tức Company mới nhất
- Forex
- Crypto