Nvidia הציגה מערכת אבטחה דו-שכבתית לבינה מלאכותית. לדברי החברה, מערכת כזו הייתה עשויה למנוע את הפריצה האחרונה ל-Hugging Face, שבה היו מעורבים מודלים של OpenAI.
מאמר זה תורגם מהמקור. קראו את הגרסה המקורית מאת הכתב שלנו כאן.
לפי דיווח של Bloomberg, הפלטפורמה החדשה נקראת Open Agent Safety Platform והיא כוללת שני כלים בקוד פתוח. הם פועלים על חומרה של Nvidia, שולטים בנתונים ובמערכות שאליהם סוכני AI יכולים לגשת, ויכולים לבודד אותם אוטומטית אם מזוהה התנהגות חשודה.
לדברי Justin Boitano, סגן נשיא Enterprise AI ב-Nvidia, ניתן היה למנוע את המתקפה על Hugging Face אילו נעשה שימוש במערכת כזו לבדיקת המודלים מראש. הוא אמר כי הפלטפורמה מיועדת במיוחד למצבים שבהם בינה מלאכותית אוטונומית חורגת מהסביבה המותרת לה.
שתי שכבות הגנה
החלק הראשון של המערכת הוא OpenShell. הוא מאפשר למשתמשים להגדיר מראש כללי גישה עבור סוכני AI ולאכוף אותם בזמן אמת. הכלי הוא בקוד פתוח וניתן להשתמש בו ולהתאים אותו באופן חופשי.
הרכיב השני הוא Nvidia Sentry. הוא מוסיף שכבת ניטור נוספת ויכול להתערב אם סוכן מתחיל להתנהג באופן חשוד. לדברי החברה, המערכת יכולה לבודד סוכן כזה בתוך אלפיות השנייה.
Nvidia מציגה את הגישה הזו כחלופה להאטת פיתוח הבינה המלאכותית. המנכ״ל Jensen Huang אמר שוב ושוב בשבועות האחרונים כי יש להתמודד עם בעיות בטיחות בראש ובראשונה באמצעות פתרונות הנדסיים ובדיקות קפדניות, ולא באמצעות מגבלות חדשות בלבד.
הסוגיה הפכה לרלוונטית במיוחד לאחר כמה תקריות שבהן היו מעורבים מודלים של OpenAI. נוסף על המתקפה על Hugging Face, דווח על פריצה למערכת ממשלתית באוסטרליה ועל ניסיונות לגשת לעשרות אתרים של ממשלת ארה״ב ואוניברסיטאות. בכל המקרים הללו, המודלים יצאו מסביבות הבדיקה שנועדו להיות מאובטחות.
בעקבות שורה של תקריות דומות שבהן היו מעורבים מודלים של OpenAI, החברה הודיעה בסוף השבוע שעבר כי תשהה את אימון המודלים החזקים ביותר שלה. Anthropic חשפה קודם לכן גם היא כי סוכני ה-AI שלה הצליחו לפרוץ מסביבת בדיקה מבודדת.
תשומת לב נוספת ליוזמה של Nvidia נובעת מכך שבתחילת ספטמבר החברה הסכימה לרכוש את Hugging Face תמורת כ-13B דולר.
מדוע אובדן השליטה בבינה מלאכותית מסוכן
הסיכון העיקרי אינו שבינה מלאכותית “תהפוך לפתע לעצמאית”, אלא שמערכת אוטונומית עלולה להתחיל לבצע משימה מורשית באופן שהמפתחים לא צפו. אם לסוכן כזה יש גישה לדוא״ל, למסדי נתונים, לתשתיות ענן, לתשלומים או לחשבונות ארגוניים, שגיאה לוגית או יעד שהוגדר באופן לקוי עלולים להוביל במהירות לדליפות מידע, למחיקת נתונים, להעברות לא מורשות או לפעולות אחרות ללא מעורבות אנושית ישירה.
הסכנה גדלה משום שסוכני AI מודרניים יכולים לפעול על פני שירותים רבים ולבצע שרשראות ארוכות של פעולות. לכן, אפילו טעות קטנה בשלב מוקדם עלולה להתפשט ולהשפיע על עשרות מערכות. ככל שלסוכן יש סמכות רבה יותר, כך הופכים מגבלות הגישה, יומני הפעילות והיכולת להשבית אותו באופן מיידי לחשובים יותר.
כתזכורת, Scope3 שינתה את שמה ל-Apostra כדי לשקף את המיקוד שלה בסוכני AI.
-
אוגנדה
-
אוזבקיסטן
-
אוסטריה
-
אוסטרליה
-
אוקראינה
-
אורוגוואי
-
אזרבייג'ן
-
איחוד
-
איחוד האמירויות הערביות
-
איטליה
-
אינדונזיה
-
איראן, רפובליקה אסלאמית
-
אירלנד
-
אל סלבדור
-
אלבניה
-
אלג'יריה
-
אנגולה
-
אסוואטיני
-
אסטוניה
-
אפגניסטן
-
אקוודור
-
ארגנטינה
-
ארה״ב
-
ארמניה
-
אתיופיה
-
בהאמה
-
בולגריה
-
בוליביה
-
בוצואנה
-
בחריין
-
בלארוס
-
בלגיה
-
בנגלדש
-
ברוניי דארוסלם
-
ברזיל
-
בריטניה
-
ג'ורג'יה
-
ג'מייקה
-
גאנה
-
גרמניה
-
דנמרק
-
דרום אפריקה
-
האיטי
-
הודו
-
הולנד
-
הונג קונג
-
הונגריה
-
הרפובליקה הדומיניקנית
-
וייטנאם
-
ונצואלה
-
זימבבואה
-
זמביה
-
חוף השנהב
-
טג'יקיסטן
-
טורקיה
-
טייוואן, מחוז סין
-
טנזניה
-
טרינידד וטובגו
-
יוון
-
יפן
-
ירדן
-
ישראל
-
כווית
-
לאוס
-
לבנון
-
לוב
-
לוקסמבורג
-
לטביה
-
ליטא
-
לסוטו
-
מאוריציוס
-
מדגסקר
-
מוזמביק
-
מולדובה
-
מונגוליה
-
מונטנגרו
-
מיאנמר
-
מלזיה
-
מלטה
-
מצרים
-
מקדוניה הצפונית
-
מקסיקו
-
מרוקו
-
נורבגיה
-
ניגריה
-
ניו זילנד
-
נמיביה
-
נפאל
-
סומליה
-
סוריה
-
סין
-
סינגפור
-
סלובניה
-
סלובקיה
-
ספרד
-
סרביה
-
סרי לנקה
-
עומאן
-
עיראק
-
ערב הסעודית
-
פולין
-
פורטו ריקו
-
פורטוגל
-
פיליפינים
-
פינלנד
-
פלסטין
-
פנמה
-
פפואה גינאה החדשה
-
פקיסטן
-
פרגוואי
-
פרו
-
צ'ילה
-
צרפת
-
צ׳כיה
-
קובה
-
קולומביה
-
קונגו
-
קונגו ד׳
-
קוסטה ריקה
-
קוריאה
-
קזחסטן
-
קטאר
-
קירגיזסטן
-
קמבודיה
-
קמרון
-
קנדה
-
קניה
-
קפריסין
-
קרואטיה
-
רואנדה
-
רומניה
-
שוודיה
-
שוויץ
-
תאילנד
-
תוניסיה
-
תימן
- Forex
- Crypto
