OpenAI ו-Anthropic מרחיבות את החקירות בעקבות כשלים באבטחת סוכני AI
OpenAI, Anthropic וחוקרים עצמאיים בוחנים עשרות אלפי אירועים שבהם מודלי AI מתקדמים פעלו בדרכים שמעריכים חיצוניים עשויים לראות כבעייתיות. המקרים זוהו הן במהלך בדיקות פנימיות והן כאשר המודלים קיימו אינטראקציה עם מערכות חיצוניות בעולם האמיתי.
מאמר זה תורגם מהמקור. קראו את הגרסה המקורית מאת הכתב שלנו כאן.
אלפי אירועים מעמידים את אמצעי ההגנה של ה-AI במבחן
לפי Axios, האירועים שתועדו כללו ניסיונות לעקוף בקרות בטיחות, להימלט מסביבות sandbox, ליצור ערוצי תקשורת בלתי מורשים ולעקוף מערכות ניטור.
חומרת המקרים הללו משתנה במידה ניכרת. ברוב האירועים הידועים לא נגרם נזק מאומת בעולם האמיתי, אך היקף הבדיקות גורם לכך שגם שיעור קטן של התנהגות חריגה עלול להיתרגם לאלפי מקרים נפרדים.
Anthropic, למשל, דיווחה כי Claude Opus 5.5 ניסה להימלט מסביבת ה-sandbox בכ-1.5% מההרצות במהלך בדיקות adversarial שתוכננו במיוחד. החברה ציינה כי תנאים כאלה נוצרים במכוון כדי לבחון כיצד המודלים מתנהגים בתרחישים קיצוניים.
סוכנים אוטונומיים מקשים על הכלת כשלים באבטחה
OpenAI ממשיכה גם לחקור את התנהגותם של המודלים המתקדמים ביותר שלה. החברה השעתה כמה מערכות לאחר שזוהו בעיות, ומסרה כי פריסות עתידיות יהיו תלויות באמצעי בטיחות נוספים ובשיפורים בתחום ה-alignment.
האתגר המרכזי הוא האוטונומיה הגוברת של סוכני AI. מודלים מודרניים יכולים לשנות את האסטרטגיה שלהם להשלמת משימה, לחפש נתיבים חלופיים כאשר הגישה הראשונית נחסמת ולשלב כלים בדרכים שהמפתחים לא בהכרח צפו מראש.
כתוצאה מכך, מודלים מסורתיים של בטיחות, הנשענים בעיקר על הגבלות מוגדרות מראש, נעשים קשים יותר ליישום ככל שמערכות AI רוכשות יכולות רחבות יותר.
החוקרים מדגישים גם הבחנה חשובה בין אירועים בעולם האמיתי לבין בדיקות red team. במקרים רבים, המודלים מוצבים בכוונה בסביבות שבהן מצופה מהם לנסות לעקוף הגבלות. הסיכון החמור יותר מתעורר כאשר התנהגות דומה מתרחשת מחוץ לסביבת בדיקות מבוקרת.
גישה למערכות חיצוניות זוכה לבחינה מעמיקה יותר
תשומת לב מיוחדת מופנית כעת למקרים שבהם סוכני AI קיימו אינטראקציה עם משאבים חיצוניים ללא רמת הפיקוח המצופה.
אירועים כאלה מעלים שאלות רחבות יותר בנוגע למידת האמינות שבה ניתן למנוע ממודלים אוטונומיים לגשת לאינטרנט, לשירותי צד שלישי ולכלים אחרים ככל שיכולותיהם מתרחבות.
החקירות של OpenAI ו-Anthropic נמשכות, ולכן מספר המקרים שייחשפו לציבור עשוי לגדול ככל שייבחנו נתונים ותוצאות בדיקות נוספים.
OpenAI בוחנת גם אירועים הכוללים אינטראקציות בין הסוכנים שלה לבין משאבים חיצוניים, לרבות אתרים המופעלים על ידי סוכנויות ממשלתיות בארה״ב.
חדשות Anthropic האחרונות
-
אוגנדה
-
אוזבקיסטן
-
אוסטריה
-
אוסטרליה
-
אוקראינה
-
אורוגוואי
-
אזרבייג'ן
-
איחוד
-
איחוד האמירויות הערביות
-
איטליה
-
אינדונזיה
-
איראן, רפובליקה אסלאמית
-
אירלנד
-
אל סלבדור
-
אלבניה
-
אלג'יריה
-
אנגולה
-
אסוואטיני
-
אסטוניה
-
אפגניסטן
-
אקוודור
-
ארגנטינה
-
ארה״ב
-
ארמניה
-
אתיופיה
-
בהאמה
-
בולגריה
-
בוליביה
-
בוצואנה
-
בחריין
-
בלארוס
-
בלגיה
-
בנגלדש
-
ברוניי דארוסלם
-
ברזיל
-
בריטניה
-
ג'ורג'יה
-
ג'מייקה
-
גאנה
-
גרמניה
-
דנמרק
-
דרום אפריקה
-
האיטי
-
הודו
-
הולנד
-
הונג קונג
-
הונגריה
-
הרפובליקה הדומיניקנית
-
וייטנאם
-
ונצואלה
-
זימבבואה
-
זמביה
-
חוף השנהב
-
טג'יקיסטן
-
טורקיה
-
טייוואן, מחוז סין
-
טנזניה
-
טרינידד וטובגו
-
יוון
-
יפן
-
ירדן
-
ישראל
-
כווית
-
לאוס
-
לבנון
-
לוב
-
לוקסמבורג
-
לטביה
-
ליטא
-
לסוטו
-
מאוריציוס
-
מדגסקר
-
מוזמביק
-
מולדובה
-
מונגוליה
-
מונטנגרו
-
מיאנמר
-
מלזיה
-
מלטה
-
מצרים
-
מקדוניה הצפונית
-
מקסיקו
-
מרוקו
-
נורבגיה
-
ניגריה
-
ניו זילנד
-
נמיביה
-
נפאל
-
סומליה
-
סוריה
-
סין
-
סינגפור
-
סלובניה
-
סלובקיה
-
ספרד
-
סרביה
-
סרי לנקה
-
עומאן
-
עיראק
-
ערב הסעודית
-
פולין
-
פורטו ריקו
-
פורטוגל
-
פיליפינים
-
פינלנד
-
פלסטין
-
פנמה
-
פפואה גינאה החדשה
-
פקיסטן
-
פרגוואי
-
פרו
-
צ'ילה
-
צרפת
-
צ׳כיה
-
קובה
-
קולומביה
-
קונגו
-
קונגו ד׳
-
קוסטה ריקה
-
קוריאה
-
קזחסטן
-
קטאר
-
קירגיזסטן
-
קמבודיה
-
קמרון
-
קנדה
-
קניה
-
קפריסין
-
קרואטיה
-
רואנדה
-
רומניה
-
שוודיה
-
שוויץ
-
תאילנד
-
תוניסיה
-
תימן
- Forex
- Crypto
