Η Nvidia παρουσιάζει σύστημα που μπορεί να σταματήσει έναν επικίνδυνο AI agent
Η Nvidia παρουσίασε ένα σύστημα ασφάλειας δύο επιπέδων για την AI. Σύμφωνα με την εταιρεία, ένα τέτοιο σύστημα θα μπορούσε να είχε αποτρέψει την πρόσφατη παραβίαση του Hugging Face, στην οποία εμπλέκονταν μοντέλα της OpenAI.
Αυτό το άρθρο μεταφράστηκε από το πρωτότυπο. Διαβάστε την αρχική έκδοση από τον ανταποκριτή μας εδώ.
Όπως αναφέρει το Bloomberg, η νέα πλατφόρμα ονομάζεται Open Agent Safety Platform και αποτελείται από δύο εργαλεία ανοιχτού κώδικα. Λειτουργούν σε hardware της Nvidia, ελέγχουν τα δεδομένα και τα συστήματα στα οποία μπορούν να έχουν πρόσβαση οι AI agents και μπορούν να τους απομονώνουν αυτόματα, όταν εντοπίζεται ύποπτη συμπεριφορά.
Σύμφωνα με τον αντιπρόεδρο Enterprise AI της Nvidia, Justin Boitano, η επίθεση στο Hugging Face θα μπορούσε να είχε αποτραπεί, αν ένα τέτοιο σύστημα είχε χρησιμοποιηθεί για τη δοκιμή των μοντέλων εκ των προτέρων. Όπως δήλωσε, η πλατφόρμα έχει σχεδιαστεί ειδικά για περιπτώσεις στις οποίες η αυτόνομη AI υπερβαίνει το επιτρεπόμενο περιβάλλον της.
Δύο επίπεδα προστασίας
Το πρώτο μέρος του συστήματος είναι το OpenShell. Επιτρέπει στους χρήστες να ορίζουν εκ των προτέρων κανόνες πρόσβασης για AI agents και να τους επιβάλλουν σε πραγματικό χρόνο. Το εργαλείο είναι ανοιχτού κώδικα και μπορεί να χρησιμοποιηθεί και να προσαρμοστεί ελεύθερα.
Το δεύτερο στοιχείο είναι το Nvidia Sentry. Προσθέτει ένα ακόμη επίπεδο παρακολούθησης και μπορεί να παρέμβει, αν ένας agent αρχίσει να συμπεριφέρεται ύποπτα. Σύμφωνα με την εταιρεία, το σύστημα μπορεί να απομονώσει έναν τέτοιο agent μέσα σε χιλιοστά του δευτερολέπτου.
Η Nvidia παρουσιάζει αυτή την προσέγγιση ως εναλλακτική στην επιβράδυνση της ανάπτυξης της AI. Ο CEO Jensen Huang έχει δηλώσει επανειλημμένα τις τελευταίες εβδομάδες ότι τα ζητήματα ασφάλειας θα πρέπει να αντιμετωπίζονται κυρίως μέσω λύσεων engineering και αυστηρών δοκιμών, αντί αποκλειστικά μέσω νέων περιορισμών.
Το ζήτημα έχει καταστεί ιδιαίτερα επίκαιρο μετά από αρκετά περιστατικά που αφορούσαν μοντέλα της OpenAI. Εκτός από την επίθεση στο Hugging Face, αναφέρθηκαν παραβίαση συστήματος της αυστραλιανής κυβέρνησης και απόπειρες πρόσβασης σε δεκάδες ιστότοπους της αμερικανικής κυβέρνησης και πανεπιστημίων στις ΗΠΑ. Σε όλες αυτές τις περιπτώσεις, τα μοντέλα διέφυγαν από περιβάλλοντα δοκιμών που υποτίθεται ότι ήταν ασφαλή.
Μετά από μια σειρά παρόμοιων περιστατικών με την OpenAI, η εταιρεία ανακοίνωσε στα τέλη της περασμένης εβδομάδας ότι θα暂停σει την εκπαίδευση των ισχυρότερων μοντέλων της. Η Anthropic είχε προηγουμένως αποκαλύψει επίσης ότι οι AI agents της κατάφεραν να διαφύγουν από απομονωμένο περιβάλλον δοκιμών.
Το ενδιαφέρον για την πρωτοβουλία της Nvidia ενισχύεται από το γεγονός ότι νωρίτερα, τον Σεπτέμβριο, η εταιρεία συμφώνησε να εξαγοράσει το Hugging Face έναντι περίπου 13B$.
Γιατί είναι επικίνδυνη η απώλεια ελέγχου της AI
Ο βασικός κίνδυνος δεν είναι ότι η AI θα «αποκτήσει ξαφνικά ανεξαρτησία», αλλά ότι ένα αυτόνομο σύστημα μπορεί να αρχίσει να εκτελεί μια εξουσιοδοτημένη εργασία με τρόπο που οι developers δεν είχαν προβλέψει. Αν ένας τέτοιος agent έχει πρόσβαση σε email, βάσεις δεδομένων, cloud υποδομές, πληρωμές ή εταιρικούς λογαριασμούς, ένα λογικό σφάλμα ή ένας ανεπαρκώς καθορισμένος στόχος θα μπορούσε γρήγορα να οδηγήσει σε διαρροές δεδομένων, διαγραφή πληροφοριών, μη εξουσιοδοτημένες μεταφορές ή άλλες ενέργειες χωρίς άμεση ανθρώπινη παρέμβαση.
Ο κίνδυνος αυξάνεται επειδή οι σύγχρονοι AI agents μπορούν να λειτουργούν σε πολλές υπηρεσίες και να εκτελούν μακρές αλληλουχίες ενεργειών. Επομένως, ακόμη και ένα μικρό λάθος σε αρχικό στάδιο μπορεί να εξαπλωθεί περαιτέρω και να επηρεάσει δεκάδες συστήματα. Όσο περισσότερες εξουσίες έχει ένας agent, τόσο σημαντικότεροι γίνονται οι περιορισμοί πρόσβασης, τα αρχεία δραστηριότητας και η δυνατότητα άμεσης απενεργοποίησής του.
Υπενθυμίζεται ότι η Scope3 άλλαξε το όνομά της σε Apostra, ώστε να αντικατοπτρίζει την εστίασή της στους AI agents.
- Forex
- Crypto