Majestic Labs מציגה שרת AI חדש להתמודדות עם צווארי הבקבוק של Nvidia
חברת השבבים הישראלית Majestic Labs פועלת בחודשים האחרונים מתחת לרדאר לאחר שגייסה 100 מיליון דולר כדי לפתח שרת בינה מלאכותית חדש לשוק מרכזי הנתונים. החברה טוענת כי הארכיטקטורה שלה נועדה להתמודד עם מגבלת הזיכרון בשרתי AI ולהוזיל את העלות לכל טוקן עבור מפעילי חוות שרתים.
היילייטס
- Majestic Labs חשפה את שרת 'פרומתאוס' עם 128 טרה-בייט זיכרון, פי כמה מהשרתים מבוססי Blackwell של Nvidia, שמוגדר לטפל במחסור בזיכרון לעיבוד AI.
- במקום GPU של Nvidia, שרתים מבוססים על מעבדי Ignite בהתאמה אישית הנשענים על ARM ו-RISC-V, תומכים ב-PyTorch ובמערכת Triton של OpenAI, ומפחיתים תלות ב-CUDA.
- החברה טוענת לתפוקה כלכלית פי 10–50 בטוקנים לכל מגה-וואט ולכל דולר בהשוואה לשרתים קיימים, עם אספקת המוצר ללקוחות ראשונים בשנה הבאה.
ארכיטקטורת זיכרון רחבה ותכנון שרת מחדש
לפי ראיון שפורסם ב-Globes, מנכ"ל החברה עופר שחם אמר כי Majestic Labs בונה את שרת "פרומתאוס" מן היסוד במקום להסתפק בפיתוח מעבד גרפי חלופי, במטרה לפתור את אחת הבעיות המרכזיות בעיבוד AI, מחסור בזיכרון זמין למעבד.לדבריו, השרת מצויד בכמות זיכרון גבוהה משמעותית מזו של שרת סטנדרטי מבוסס Blackwell של Nvidia, עם נפח זמין של 128 טרה-בייט, בעוד שבפועל הארכיטקטורה אמורה להעניק גישה רחבה בהרבה לזיכרון לכל מעבד. שחם לא חשף את סוג הזיכרון שבו משתמשת החברה, אך אמר כי לא מדובר ב-HBM, וההערכה בכתבה היא שהרכיבים נרכשים מ-Micron, Samsung ו-SK hynix.
במקום GPU של Nvidia, החברה מפתחת מעבדים משלה בשם Ignite, או AIU. המעבדים נשענים על קניין רוחני של ARM, על תכנון פנימי של Majestic Labs ועל פלטפורמת RISC-V, והם מותאמים להפעלת יישומי AI בסביבות פיתוח כמו PyTorch ובמערכת Triton של OpenAI, בניסיון לצמצם את התלות במערכת CUDA של Nvidia.
שחם טוען כי הגישה הזאת גם מפחיתה את הצורך במעבדי תקשורת ייעודיים בין שבבים, משום שהתקשורת מתבצעת דרך הזיכרון. לדבריו, המבנה המקובל כיום גורם למעבדים להמתין לנתונים חלק ניכר מהזמן, לצרוך חשמל רב ולהיתקל במה שמכונה בתעשייה "קיר הזיכרון", במיוחד כאשר מודלי השפה ממשיכים לגדול.
מיקוד בהסקה והבטחה ליתרון תפעולי
החברה אינה מציגה את עצמה כמתחרה על מחיר השרת הבודד, אלא על התפוקה הכלכלית של חוות השרתים. שחם אמר כי המערכת של Majestic Labs מסוגלת לייצר בין פי 10 לפי 50 יותר טוקנים לכל מגה-וואט ולכל דולר שמושקע בתשתית, יעד שמכוון ישירות למפעילי מרכזי נתונים גדולים ולחברות ענן.לטענתו, לקוחות בתחום בוחנים בעיקר כמה טוקנים ניתן לייצר ולמכור מתוך קיבולת החשמל הזמינה, ולא רק את מחיר החומרה עצמה. הוא הוסיף כי החברה מבקשת לשמור על רווחיות ולא להיגרר לתחרות מחירים מול Nvidia, שלה יתרון מובהק בהיקפי ייצור ובהנחות מסחריות.
לפי שחם, Majestic Labs כבר עובדת עם כמה לקוחות בשלב האב-טיפוס, והמוצר המוגמר יישלח ללקוחות הראשונים בשנה הבאה. לדבריו, השרתים והשבבים של החברה מיועדים בראש ובראשונה למשימות inference ולהפעלת סוכנים, אם כי הם עשויים להתאים גם לאימון מודלים, עם מיקוד במודלי שפה וברשתות עצביות מבוססות גרף או טבלה.
המסר הרחב יותר של החברה נוגע לעלויות ההון והאנרגיה בשוק ה-AI. בכתבה צוין כי חמש ענקיות הענן, Amazon, Google, Microsoft, Meta ו-Tesla, הוציאו 443 מיליארד דולר בשנה שעברה וההוצאה שלהן צפויה לעלות ל-602 מיליארד דולר השנה, מה שמדגיש את גודל ההזדמנות עבור פתרונות שמבטיחים שיפור ביעילות התפעולית של תשתיות AI.
בכתבה קודמת שלנו על התרחבות חוות השרתים בישראל בעקבות ביקושי ה-AI, סקרנו את ההסכם בעפולה שבו Crusoe שוכרת כ-40 מגוואט ממתחם שמקימה קבוצת ענן. ציינו שהאתר צפוי להתרחב בהמשך עד סביב 100 מגוואט, והדגשנו כיצד המרוץ לקיבולת עיבוד הופך יותר ויותר למרוץ אחר חשמל ותשתיות מתאימות.
- Forex
- Crypto