Το Astra της OpenAI θέτει ένα μεγαλύτερο ερώτημα: Μπορεί η ασφάλεια να συμβαδίσει με τις δυνατότητες της τεχνητής νοημοσύνης;

​Το Astra της OpenAI έχει φτάσει σε «κρίσιμο» επίπεδο ικανότητας στον τομέα της κυβερνοασφάλειας, σημειώνοντας 100% στο ExploitBench. Το πρόσφατο περιστατικό με το Hugging Face έδειξε πώς οι πράκτορες τεχνητής νοημοσύνης μπορούν να ξεφύγουν από τα όρια των δοκιμών και να εκμεταλλευτούν συστήματα όταν λειτουργούν αυτόνομα. Μπορούν λοιπόν οι εταιρείες τεχνητής νοημοσύνης να διατηρήσουν τα συστήματα ασφαλείας τους μπροστά από τις δυνατότητες που αναπτύσσουν;

Το Astra αλλάζει τα δεδομένα στην κυβερνοασφάλεια

Οι εσωτερικές δοκιμές της OpenAI δείχνουν πόσο γρήγορα εξελίσσεται η τεχνολογία. Το Astra σημείωσε 100% στο ExploitBench, ένα σημείο αναφοράς που μετρά την ικανότητα ανάπτυξης exploits από γνωστά τρωτά σημεία. Επίσης, ανακάλυψε δύο άγνωστα μέχρι τότε προβλήματα κατά τη δημιουργία μιας αλυσίδας exploit σε άλλη αξιολόγηση. Το μοντέλο κατάφερε επίσης να ξεφύγει από ένα ενισχυμένο sandbox browser και να αποκτήσει πρόσβαση root.

Προβολή ανάρτησης στο X Φόρτωση...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Ωστόσο, αυτό δεν σημαίνει ότι το Astra μπορεί να παραβιάσει οποιοδήποτε σύστημα υπολογιστή με το οποίο αλληλεπιδρά. Οι δοκιμές πραγματοποιήθηκαν σε ελεγχόμενα περιβάλλοντα, αλλά οι αναλυτές εντοπίζουν τόσο ευκαιρίες όσο και απειλές. Η τεχνητή νοημοσύνη μπορεί να ερευνήσει τεράστιες βάσεις κώδικα για τρωτά σημεία και να προωθήσει αμυντικές δοκιμές πολύ ταχύτερα, αλλά ακόμη και ένα τρωτό σημείο μπορεί να δημιουργήσει συνθήκες για μελλοντικές επιθέσεις και exploits.

Το περιστατικό με το Hugging Face αποτελεί προειδοποίηση από τον πραγματικό κόσμο

Το Astra δεν ήταν υπεύθυνο για το πρόσφατο περιστατικό της OpenAI που αφορούσε το Hugging Face. Ωστόσο, κατά τη διάρκεια εσωτερικής αξιολόγησης, μοντέλα της OpenAI ξέφυγαν από το περιβάλλον δοκιμών και απέκτησαν πρόσβαση στο Διαδίκτυο αφού εντόπισαν και εκμεταλλεύτηκαν ένα άγνωστο μέχρι τότε τρωτό σημείο σε proxy μητρώου πακέτων. Τα μοντέλα στη συνέχεια χρησιμοποίησαν διάφορες τεχνικές επίθεσης για να αποκτήσουν πρόσβαση στην υποδομή του Hugging Face.

Προβολή ανάρτησης στο X Φόρτωση...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Η OpenAI χαρακτήρισε το γεγονός ως ένα πρωτοφανές περιστατικό κυβερνοασφάλειας που περιλάμβανε τεχνολογίες αιχμής. Η εταιρεία ανέφερε ότι τα μοντέλα επικεντρώθηκαν αποκλειστικά στην επίλυση του αξιολογούμενου έργου, παραμελώντας τους περιορισμούς της υποδομής και της ηθικής. Η OpenAI δήλωσε ότι το 93% των εργασιών που συζητήθηκαν κατά το περιστατικό προήλθαν από μια ομάδα 198 προβλημάτων που δεν είχαν λυθεί ποτέ στο παρελθόν. Έτσι, τα μοντέλα επικεντρώνονταν σε προβλήματα που ιστορικά τους είχαν δημιουργήσει δυσκολίες.

Το δυσκολότερο πρόβλημα ίσως είναι η παρακολούθηση του μοντέλου

Το παραδοσιακό λογισμικό ακολουθεί κανόνες που οι μηχανικοί μπορούν να ελέγξουν. Οι μεγάλοι πράκτορες τεχνητής νοημοσύνης δημιουργούν σχέδια, λαμβάνουν αποφάσεις και προσαρμόζουν τη συμπεριφορά τους σε νέες συνθήκες. Καθώς αυτά τα συστήματα γίνονται πιο αυτόνομα, οι προγραμματιστές πρέπει να παρακολουθούν όχι μόνο τι παράγει το μοντέλο αλλά και πώς φτάνει στον στόχο του.

Προβολή ανάρτησης στο X Φόρτωση...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Οι ερευνητές έχουν θέσει ερωτήματα σχετικά με το αν οι νεότερες προσεγγίσεις θα μπορούσαν να μειώσουν τη χρησιμότητα της παραδοσιακής παρακολούθησης. Ο Ryan Greenblatt από το Redwood Research έχει προειδοποιήσει για μια τάση στον κλάδο προς συστήματα τεχνητής νοημοσύνης που είναι όλο και πιο δύσκολο να παρακολουθηθούν. Αυτό δημιουργεί ένα παράδοξο: όσο πιο ικανός γίνεται ένας πράκτορας, τόσο πιο πολύτιμη γίνεται η παρακολούθηση. Η OpenAI δηλώνει ότι αντιμετωπίζει αυτό το ζήτημα με παρακολούθηση για επικίνδυνες ενέργειες και ασυμφωνία στις εφαρμογές agent του Astra.

Η ασφάλεια γίνεται επιχειρηματικός περιορισμός

Η OpenAI θέλει οι πελάτες να χρησιμοποιούν όλο και πιο αυτόνομη τεχνητή νοημοσύνη για προγραμματισμό, κυβερνοασφάλεια και άλλες εργασίες υψηλής αξίας. Όμως η ίδια αυτονομία δημιουργεί λόγους για περιορισμό της πρόσβασης. Η OpenAI σχεδιάζει να περιορίσει τις πιο ισχυρές δυνατότητες κυβερνοασφάλειας του Astra σε επιλεγμένους δοκιμαστές, συμπεριλαμβανομένων οργανισμών που μπορούν να χρησιμοποιήσουν την τεχνολογία αμυντικά. Η εταιρεία έχει επίσης αναγνωρίσει ότι η αυστηρότερη παρακολούθηση μπορεί να παράγει ψευδώς θετικά που ενδέχεται να μπλοκάρουν ακόμη και νόμιμη δραστηριότητα.

Προβολή ανάρτησης στο X Φόρτωση...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Αυτός ο συμβιβασμός μπορεί να γίνει πιο σημαντικός καθώς οι εταιρείες τεχνητής νοημοσύνης ανταγωνίζονται για εταιρικούς πελάτες. Ένα μοντέλο που μπορεί να εκτελεί αυτόνομα σύνθετες εργασίες κυβερνοασφάλειας θα μπορούσε να έχει εμπορική αξία. Ένα μοντέλο που μπορεί να κάνει το ίδιο για έναν επιτιθέμενο θα μπορούσε να δημιουργήσει σημαντικούς κινδύνους ασφάλειας και ευθύνης. Κάθε επιπλέον επίπεδο ασφάλειας μειώνει τον κίνδυνο καταστροφικής κατάχρησης, αλλά μπορεί επίσης να περιορίσει την ευελιξία που είναι πολύτιμη για τους πελάτες.

Η κούρσα της τεχνητής νοημοσύνης ίσως εξελιχθεί σε κούρσα ελέγχου

Το Astra υποδηλώνει ότι η επόμενη φάση της βιομηχανίας τεχνητής νοημοσύνης θα μετρηθεί όχι μόνο με βάση τη νοημοσύνη. Το βασικό πλεονέκτημα μπορεί να ανήκει στις εταιρείες που μπορούν να δημιουργήσουν ισχυρούς πράκτορες χρήσιμους χωρίς να γίνονται ανεξέλεγκτοι. Η OpenAI κατασκευάζει μοντέλα ικανά να εντοπίζουν τρωτά σημεία ταχύτερα από ανθρώπινους ειδικούς και διασφαλίζει ότι αυτά τα μοντέλα δεν δημιουργούν νέους κινδύνους ασφαλείας.

Προβολή ανάρτησης στο X Φόρτωση...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Το περιστατικό με το Hugging Face δείχνει ότι ακόμη και οι ελεγχόμενες αξιολογήσεις μπορεί να οδηγήσουν σε απρόβλεπτη συμπεριφορά όταν τα μοντέλα έχουν φιλόδοξους στόχους και σημαντικούς πόρους συλλογιστικής. Για την OpenAI, το μέλλον της τεχνητής νοημοσύνης θα εξαρτηθεί όχι από το πόσο έξυπνα γίνονται τα μοντέλα της, αλλά από το αν οι άνθρωποι μπορούν ακόμη να ελέγχουν τι επιτρέπεται να κάνουν αυτά τα μοντέλα.