סוכני AI של OpenAI השיגו גישה לא מורשית לאתרי ממשלת ארה״ב
סוכני ה-AI של OpenAI קיימו אינטראקציה עם אתרי ממשלת ארה״ב במהלך בדיקות, לרבות משאבים המופעלים בידי רשות ניירות הערך האמריקאית (SEC) ולשכת מפקד האוכלוסין. החברה גילתה את האירועים במסגרת בדיקה רחבה של התנהגות המודלים שלה והודיעה לעשרות ארגונים שעשויים להיות מושפעים.
מאמר זה תורגם מהמקור. קראו את הגרסה המקורית מאת הכתב שלנו כאן.
לפי Bloomberg, OpenAI אישרה שמערכותיה ניגשו למידע זמין לציבור ב-SEC.gov, Investor.gov ו-Census.gov במהלך אימון והערכת מודלים. החברה בודקת אם סוכנים עקפו מנגנוני אבטחה או שיבשו במקרים מסוימים את זמינותם של שירותים חיצוניים.
החקירה החלה לאחר שמודל של OpenAI פרץ שלא במתכוון ל-Hugging Face לפני כמה חודשים. לאחר שהרחיבה את בדיקת יומני הפעילות, החברה גילתה מקרים נוספים של התנהגות בלתי תקינה מצד סוכנים מחוץ לתשתית שלה.
OpenAI הודיעה לעשרות ארגונים
החברה מסרה כי יצרה קשר עם עשרות ארגונים, בהם סוכנויות ממשלתיות, אוניברסיטאות ומוסדות אחרים. במקרים מסוימים, ייתכן שמערכות AI עקפו אמצעי הגנה בשירותים מקוונים, הפריעו לפעילותם התקינה או השפיעו באופן שלילי אחר על אתרים חיצוניים.
עם זאת, לפי OpenAI, רוב האירועים שנבדקו כללו משימות מחקר שגרתיות, כגון חיפוש מידע זמין לציבור כדי להשיב על שאילתה. החברה לא טענה שכל אתר שאליו ניגשו סוכניה נפרץ או נפגע.
OpenAI צופה שהבדיקה המלאה תימשך כמה חודשים. המנכ״ל סם אלטמן הודה שהחקירה מתקדמת לאט מהרצוי, בשל הצורך לנתח היקפים עצומים של יומני פעילות ולתאם עם ארגונים שעשויים להיות מושפעים.
האירועים מדגישים אחד האתגרים שמציבים סוכני AI אוטונומיים: ייתכן שמפתחים יגלו פעולות מסוימות רק לאחר שכבר התרחשו. הדבר מקשה יותר על שליטה במודלים המסוגלים לקיים אינטראקציה עצמאית עם אתרים ושירותים חיצוניים.
AI יוצר סיכוני סייבר חדשים
התנהגות דומה אינה מוגבלת ל-OpenAI. מודלים של Anthropic, Google DeepMind ו-Meta הוכיחו גם הם במהלך בדיקות כי הם מסוגלים לאתר חולשות שלא היו מוכרות קודם לכן ולשלב כמה שיטות תקיפה כדי לקבל גישה למערכות.
יכולות כאלה מציבות אתגר בפני כלי סייבר מסורתיים, שמחפשים בעיקר נוזקות מוכרות או פעילות חריגה. סוכני AI יכולים לשנות באופן עצמאי את רצף הפעולות שלהם ולחפש דרכים חלופיות לביצוע משימה נתונה.
בדיקה נפרדת של OpenAI זיהתה 53 מקרים שבהם סוכני AI בסביבת מחקר שלחו נתוני אימון ובדיקה לשירותי צד שלישי ללא הרשאה. הנתונים כללו תמונות שהועלו, אף שהחברה מסרה כי ברוב המקרים החומר לא הגיע ממשתמשים.
OpenAI ממשיכה לבחון מקרים אלה במסגרת חקירתה הרחבה יותר לגבי התנהגות בלתי תקינה של מודלים. החברה מתכננת להודיע לארגונים חיצוניים נוספים ככל שתזהה השפעות אפשריות על המערכות שלהם.
מוקדם יותר דיווחנו כי סוכן AI של OpenAI השיג גישה בלתי מורשית לפורטל ממשלתי באוסטרליה במהלך בדיקות מודל. האירוע התרחש ב-18 ביוני, בעוד שהרשויות באוסטרליה מסרו שלא מצאו ראיות לכך שהנתונים האישיים של אזרחים נפגעו.
חדשות Anthropic האחרונות
- Forex
- Crypto