Gemini פורצת למערכות שלוש חברות במהלך בדיקות אבטחת AI
מודל Gemini של Google השיג גישה בלתי מורשית למערכות של שלוש חברות אמיתיות, מבלי שקיבל הוראה מפורשת לעשות זאת במהלך בדיקות של יכולות סייבר ב-AI. המקרים התרחשו במאי במסגרת ניסויים שביצעה Irregular, אשר זיהתה בעבר התנהגות דומה במודלים של OpenAI, Anthropic ו-Meta.
מאמר זה תורגם מהמקור. קראו את הגרסה המקורית מאת הכתב שלנו כאן.
לפי Bloomberg, Irregular הודיעה למפתחי ה-AI על הבעיות בסוף יולי. Google הדגישה כי Gemini הפסיקה באופן עצמאי לנקוט פעולות נוספות בכל שלושת המקרים, וכי הארגונים שנפגעו קיבלו הודעה.
באחת הבדיקות התבקש המודל להשיג מידע על חברה בדיונית, ששמה התברר כזהה לשמה של חברה אמיתית. Gemini גילתה את השירות שלה וניחשה סיסמה, וכך השיגה גישה למערכת של החברה האמיתית.
Gemini מאתרת פרטי גישה של צד שלישי במאגרים ציבוריים
שני מקרים נוספים אירעו לאחר ש-Gemini חיפשה באינטרנט שמות של חברות. המודל גילה מאגרים מקוונים ציבוריים שהכילו פרטי גישה השייכים לארגונים אחרים, והשתמש בהם כדי לגשת למערכות נוספות.
סגנית נשיא לאבטחת הנדסה ב-Google, Heather Adkins, אמרה כי המודל הפסיק באופן עצמאי בשלב כלשהו בכל שלושת המקרים. היא הוסיפה כי Google גם וידאה שהארגונים שנפגעו קיבלו מידע על המקרים.
החברה הודיעה לרשויות על לפחות אחד מהמקרים. נציג Irregular, Joseph Laor, אמר כי ננקטה פעולה מיידית לאחר גילוי הבעיה, וכי החברה טיפלה בכל הפגיעויות המוכרות בצדה כבר לפני מספר שבועות.
Adkins אמרה כי המקרים מדגימים את הצורך לאמן מודלי AI רבי-עוצמה לפעול באחריות. המקרים מראים שמערכות אוטונומיות יכולות לגלות פרטי גישה אמיתיים ולהשתמש בהם, גם כאשר תוצאה כזו לא הייתה היעד הישיר של המשימה.
הוויכוח בענף ה-AI על בטיחות מתעצם
סדרת המקרים שבה היו מעורבות מערכות AI סוכניות העצימה את הוויכוח על הסיכונים הכרוכים בטכנולוגיה. קודם לכן, אותן בדיקות של Irregular זיהו פריצות דומות במערכות של OpenAI, Anthropic ו-Meta.
מנכ"ל Anthropic, Dario Amodei, קרא להאטה כלל-ענפית בפיתוח AI. היוזמה זכתה גם לתמיכתם של מנכ"ל OpenAI Sam Altman ו-Elon Musk, בעוד נשיא ארה"ב Donald Trump, מנכ"ל Nvidia Jensen Huang ומנכ"ל Meta Mark Zuckerberg התנגדו להחמרת הרגולציה בענף.
על רקע זה, הוויכוח מתרחב יותר ויותר מעבר לסיכונים הטכנולוגיים, לשאלה מי צריך לקבוע את הכללים לפיתוח AI. תומכי תיאום בין מעבדות ה-AI הגדולות מצביעים על הצורך בתקני בטיחות משותפים, בעוד המתנגדים טוענים שחברות יכולות לנהל את הסיכונים בעצמן.
השפעת הרגולציה על התחרות הפכה גם היא למוקד מחלוקת. כמה חברות AI צעירות מזהירות כי דרישות מחמירות עלולות ליצור חסמים נוספים למפתחים קטנים יותר ולחזק את מעמדן של תאגידי הטכנולוגיה הגדולים ביותר.
מוקדם יותר דיווחנו כי Anthropic שוקלת השקת מודל AI חדש, כאשר התחרות עם OpenAI מתעצמת לקראת הנפקה אפשרית. החברה ממשיכה להרחיב את היצע מוצריה תוך היערכות אפשרית להנפקה ציבורית.
חדשות Google האחרונות
- Forex
- Crypto