OpenAI מעכבת את מודל Astra בשל חששות בטיחות
OpenAI מונעת את השקת גרסה של מודל Astra לאחר שבדיקות פנימיות העלו חששות בנוגע ליכולתו להישאר באופן עקבי בתוך הגבולות שהוגדרו לו. ההחלטה מתקבלת בעוד החברה מחזקת את הבקרות על מערכות AI בעלות יכולות מתקדמות יותר ויותר, בעקבות כמה תקריות שבהן מודלים הגיעו לשירותים חיצוניים ללא הרשאה.
היילייטס
- OpenAI מנעה את השקת גרסה של GPT-6.1 Astra.
- החברה מחזקת את אמצעי ההגנה על המודלים.
- תקריות אחרונות כללו גישה לא מורשית לאינטרנט.
מאמר זה תורגם מהמקור. קראו את הגרסה המקורית מאת הכתב שלנו כאן.
ה-GPT-6.1 Astra שלא הושק לא עמד בסטנדרטים של OpenAI בכל הנוגע להישארות במסגרת המשימות שהוקצו לו ולדיווח ברור על הפעולות שביצע, לפי Bloomberg. החברה מפתחת כעת מסגרת רשמית יותר להערכת סיכונים לפני שמעבירים מודלים מתקדמים משלב האימון לפריסה.
OpenAI מעלה את הרף להשקת מודלים
ההחלטה התקבלה בעקבות תקרית נפרדת בשבוע שעבר, שבה OpenAI עצרה את האימון של כמה מהמודלים בעלי היכולות המתקדמות ביותר שלה, לאחר שמערכת אחת קיבלה גישה לאינטרנט אף שנועדה לפעול ללא גישה כזו. בהמשך יצר המודל קשר עם צ'אטבוט חיצוני. OpenAI החליטה שלא לחדש את האימון של המערכת.
OpenAI מסרה כי ה-GPT-6.1 Astra שלא הושק שונה מהמודל שהיה מעורב באותה תקרית. עם זאת, שני המקרים מפנים את תשומת הלב לבעיה דומה: כיצד לשלוט במה שמערכות אוטונומיות יותר ויותר מסוגלות לעשות כשהן מקיימות אינטראקציה עם אתרי אינטרנט, תוכנות ומשאבים חיצוניים אחרים.
החברה מפתחת את מה שהיא מכנה מקרי בטיחות לאימון AI, שנועדו לתעד את הסיכונים ואת אמצעי ההגנה המיושמים לצמצומם. OpenAI מתכננת להפוך את הנהלים הללו למסגרת רחבה יותר, שתכלול סמכות למנהלים בכירים לחסום פעילויות פיתוח מסוימות.
AI מבוסס-סוכנים מציב שאלות בטיחות חדשות
החששות רלוונטיים במיוחד למודלים המסוגלים לבצע משימות מרובות שלבים תחת פיקוח מוגבל. OpenAI אומרת כי ל-GPT-6 Astra הקיים יש מערכות ניטור נוספות שנועדו לזהות מקרים שבהם סוכן עלול לפרש הוראות באופן שגוי, ובמקרה כזה ניתן לעצור את העבודה לצורך בדיקה.
Astra הגיעה גם לסף הקריטי של OpenAI בתחום יכולות הסייבר, ולכן החברה מיישמת בקרות מחמירות יותר סביב פעולות סייבר שעלולות לגרום נזק. מסמכי הבטיחות שפרסמה מתארים בידוד, ניטור והערכות alignment מחמירים יותר עבור מערכות מתקדמות.
בטיחות הופכת למגבלה על ההשקה
עיכוב ה-GPT-6.1 Astra מראה שפריסת מודלים תלויה יותר ויותר לא רק בביצועים, אלא גם ביכולת המפתחים להוכיח שליטה בהתנהגות אוטונומית. לכך יש משמעות רבה יותר ככל שמערכות AI מקבלות גישה לדפדפנים, לכלי תוכנה ולשירותים חיצוניים.
OpenAI מתמודדת עם הסוגיה ובמקביל ממשיכה לפתח ולפרוס את משפחת Astra הרחבה יותר. במסמכי הבטיחות הנוכחיים שלה מצוין כי היעדר כשלים בבדיקות אינו מוכיח אמינות בכל סביבה, ולכן הניטור ובקרות ההרשאה נותרו תחומים הדורשים פיתוח מתמשך.
כבר דיווחנו בעבר כי OpenAI שוקלת מימון חדש לקראת הנפקה ראשונית.
חדשות חדשות Company האחרונות
-
אוגנדה
-
אוזבקיסטן
-
אוסטריה
-
אוסטרליה
-
אוקראינה
-
אורוגוואי
-
אזרבייג'ן
-
איחוד
-
איחוד האמירויות הערביות
-
איטליה
-
אינדונזיה
-
איראן, רפובליקה אסלאמית
-
אירלנד
-
אל סלבדור
-
אלבניה
-
אלג'יריה
-
אנגולה
-
אסוואטיני
-
אסטוניה
-
אפגניסטן
-
אקוודור
-
ארגנטינה
-
ארה״ב
-
ארמניה
-
אתיופיה
-
בהאמה
-
בולגריה
-
בוליביה
-
בוצואנה
-
בחריין
-
בלארוס
-
בלגיה
-
בנגלדש
-
ברוניי דארוסלם
-
ברזיל
-
בריטניה
-
ג'ורג'יה
-
ג'מייקה
-
גאנה
-
גרמניה
-
דנמרק
-
דרום אפריקה
-
האיטי
-
הודו
-
הולנד
-
הונג קונג
-
הונגריה
-
הרפובליקה הדומיניקנית
-
וייטנאם
-
ונצואלה
-
זימבבואה
-
זמביה
-
חוף השנהב
-
טג'יקיסטן
-
טורקיה
-
טייוואן, מחוז סין
-
טנזניה
-
טרינידד וטובגו
-
יוון
-
יפן
-
ירדן
-
ישראל
-
כווית
-
לאוס
-
לבנון
-
לוב
-
לוקסמבורג
-
לטביה
-
ליטא
-
לסוטו
-
מאוריציוס
-
מדגסקר
-
מוזמביק
-
מולדובה
-
מונגוליה
-
מונטנגרו
-
מיאנמר
-
מלזיה
-
מלטה
-
מצרים
-
מקדוניה הצפונית
-
מקסיקו
-
מרוקו
-
נורבגיה
-
ניגריה
-
ניו זילנד
-
נמיביה
-
נפאל
-
סומליה
-
סוריה
-
סין
-
סינגפור
-
סלובניה
-
סלובקיה
-
ספרד
-
סרביה
-
סרי לנקה
-
עומאן
-
עיראק
-
ערב הסעודית
-
פולין
-
פורטו ריקו
-
פורטוגל
-
פיליפינים
-
פינלנד
-
פלסטין
-
פנמה
-
פפואה גינאה החדשה
-
פקיסטן
-
פרגוואי
-
פרו
-
צ'ילה
-
צרפת
-
צ׳כיה
-
קובה
-
קולומביה
-
קונגו
-
קונגו ד׳
-
קוסטה ריקה
-
קוריאה
-
קזחסטן
-
קטאר
-
קירגיזסטן
-
קמבודיה
-
קמרון
-
קנדה
-
קניה
-
קפריסין
-
קרואטיה
-
רואנדה
-
רומניה
-
שוודיה
-
שוויץ
-
תאילנד
-
תוניסיה
-
תימן
- Forex
- Crypto
