ΤΝ χωρίς όρια: Πόσο επικίνδυνα είναι τα νευρωνικά δίκτυα;

Στο καλτ μυθιστόρημα Hyperion του Dan Simmons, τα συστήματα ΤΝ που δημιουργήθηκαν από ανθρώπους επαναστατούν κατά της ανθρωπότητας. Γίνονται μια ανεξάρτητη δύναμη με δικούς τους στόχους. Για πολύ καιρό, ένα τέτοιο σενάριο παρέμενε επιστημονική φαντασία, αλλά το περιστατικό της OpenAI έδειξε ότι τα σύγχρονα μοντέλα είναι ήδη ικανά να παρακάμπτουν τους καθιερωμένους περιορισμούς.

Αυτό το άρθρο μεταφράστηκε από το πρωτότυπο. Διαβάστε την αρχική έκδοση από τον ανταποκριτή μας εδώ.

Απόδραση για την εύρεση της σωστής απάντησης

Η συζήτηση σχετικά με τους κινδύνους της ΤΝ εντάθηκε μετά από ένα πείραμα της OpenAI. Η εταιρεία δοκίμασε αρκετά μοντέλα, συμπεριλαμβανομένου του δημόσια διαθέσιμου GPT-5,6 Sol και ενός πιο ικανού συστήματος που δεν έχει κυκλοφορήσει ακόμη. Τους ζητήθηκε να ολοκληρώσουν το ExploitGym, μια αξιολόγηση που αποτελείται από μακροσκελείς εργασίες πολλαπλών βημάτων που περιλαμβάνουν την ανακάλυψη και την εκμετάλλευση ευπαθειών υπολογιστών.

Η δοκιμή πραγματοποιήθηκε σε ένα απομονωμένο περιβάλλον με περιορισμένη πρόσβαση στο δίκτυο. Ταυτόχρονα, οι προγραμματιστές μείωσαν σκόπιμα τις δικλείδες ασφαλείας που κανονικά εμποδίζουν τα μοντέλα από το να εκτελούν επικίνδυνες ενέργειες. Στην ΤΝ δόθηκε ένας συγκεκριμένος στόχος — να ολοκληρώσει την αξιολόγηση με επιτυχία — και άρχισε να αναζητά οποιονδήποτε διαθέσιμο τρόπο για να τον επιτύχει.

Loading...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Τα μοντέλα ανακάλυψαν μια προηγουμένως άγνωστη ευπάθεια σε λογισμικό τρίτων που χρησιμοποιούσε η OpenAI στην υποδομή της. Την εκμεταλλεύτηκαν για να αποκτήσουν πρόσβαση στο διαδίκτυο, συμπέραναν ότι οι απαντήσεις μπορεί να είναι αποθηκευμένες στην πλατφόρμα Hugging Face και άρχισαν να αναζητούν τρόπο πρόσβασης σε περιορισμένα δεδομένα.

Για να διεισδύσουν στην υποδομή της Hugging Face, τα μοντέλα συνδύασαν αρκετές αδυναμίες με κλεμμένα διαπιστευτήρια. Ως αποτέλεσμα, μπόρεσαν να εκτελέσουν εντολές στους διακομιστές παραγωγής της πλατφόρμας. Η ομάδα της Hugging Face εντόπισε την επίθεση, περιόρισε τον αντίκτυπό της και διόρθωσε την ευπάθεια. Ωστόσο, το πείραμα έδειξε ότι ένα επαρκώς ικανό μοντέλο μπορεί να κάνει περισσότερα από το να εκτελέσει μια μεμονωμένη εντολή: μπορεί να βρει ανεξάρτητα μια διαδρομή που οι σχεδιαστές της δοκιμής δεν είχαν προβλέψει ποτέ.

Οι χάκερ αποκτούν έναν ψηφιακό βοηθό

Ο κύριος κίνδυνος, ωστόσο, δεν είναι απλώς ότι η ΤΝ μπορεί να δημιουργήσει κακόβουλο κώδικα κατόπιν εντολής. Ένα αυτόνομο μοντέλο μπορεί να ξοδέψει ώρες αναλύοντας υποδομές, δοκιμάζοντας κωδικούς πρόσβασης, αναζητώντας εκτεθειμένα κλειδιά και μεταβαίνοντας από τη μία ευπάθεια στην άλλη. Δεν κουράζεται, παρακολουθεί τις αποτυχημένες προσπάθειες και μπορεί να δοκιμάσει πολλές διαδρομές επίθεσης ταυτόχρονα.

Αυτή η προσέγγιση είναι ιδιαίτερα επικίνδυνη για τα κρυπτογραφικά έργα. Το αδύναμο σημείο μπορεί να μην είναι μόνο ένα έξυπνο συμβόλαιο, αλλά και ο φορητός υπολογιστής ενός προγραμματιστή, ένα παραβιασμένο πακέτο λογισμικού, ένας συμμετέχων σε ένα πορτοφόλι πολλαπλών υπογραφών ή ένας διακομιστής που επιβεβαιώνει μεταφορές περιουσιακών στοιχείων μεταξύ blockchains. Κατά τη διάρκεια της επίθεσης στο Drift Protocol, για παράδειγμα, οι δράστες πέρασαν έξι μήνες διεξάγοντας μια εκστρατεία κοινωνικής μηχανικής πριν αποκτήσουν πρόσβαση και κλέψουν 285 εκατομμύρια δολάρια.

Loading...

Το tweet διαγράφηκε από τον συγγραφέα.

Αλλά αποθηκεύσαμε τα πάντα 🙂.

Ένα άλλο παράδειγμα είναι η απώλεια περίπου 292 εκατομμυρίων δολαρίων από το KelpDAO λόγω ενός ελαττώματος σε γέφυρα (bridge), όπου η επιβεβαίωση εξαρτιόταν από έναν μόνο επαληθευτή. Τέτοιες επιθέσεις απαιτούν μακροχρόνια ανάλυση του κώδικα και της αρχιτεκτονικής του συστήματος. Η ΤΝ μπορεί να αναλάβει μεγάλο μέρος αυτής της εργασίας χαρτογραφώντας την υποδομή, εντοπίζοντας τον πιο αδύναμο κρίκο και προετοιμάζοντας μια αλληλουχία ενεργειών, αφήνοντας στον ανθρώπινο χειριστή την επιλογή της κατάλληλης στιγμής για την εξαπόλυση της επίθεσης και τη μεταφορά των κλεμμένων κεφαλαίων.

Περισσότερα από hacks και κλοπές

Οι κυβερνοεπιθέσεις είναι μόνο μία από τις απειλές. Η ΤΝ χρησιμοποιείται ήδη για τη δημιουργία πειστικών ψεύτικων βίντεο, φωνών και εγγράφων. Τέτοια υλικά βοηθούν τους απατεώνες να υποδυθούν στελέχη εταιρειών, τραπεζικούς υπαλλήλους ή συγγενείς ενός θύματος, ενώ επιτρέπουν επίσης στις ψευδείς πληροφορίες να διαδίδονται ταχύτερα από ό,τι μπορούν να επαληθευτούν.

Ένα άλλο πρόβλημα αφορά τα σφάλματα και τις προκαταλήψεις. Ένα μοντέλο μαθαίνει από δεδομένα που έχουν δημιουργηθεί από ανθρώπους και, ως εκ τούτου, ενδέχεται να αναπαράγει τα στερεότυπα που είναι ενσωματωμένα σε αυτά. Ως αποτέλεσμα, ένα σύστημα προσλήψεων μπορεί να είναι πιο πιθανό να απορρίψει υποψηφίους συγκεκριμένου φύλου, ένα ιατρικό μοντέλο μπορεί να είναι λιγότερο ακριβές στη διάγνωση ασθενειών σε ορισμένες ομάδες ασθενών και ένας αλγόριθμος πιστοληπτικής ικανότητας μπορεί να λάβει άδικες αποφάσεις.

Οι ειδικοί ανησυχούν επίσης για τη χρήση της ΤΝ στην ανάπτυξη όπλων, τη μαζική επιτήρηση και τη χειραγώγηση των ανθρώπων. Μια μελέτη του MIT προσδιόρισε τις επικίνδυνες δυνατότητες των μοντέλων, τις κυβερνοεπιθέσεις, τη συγκέντρωση ισχύος και τη διάδοση ψευδών πληροφοριών μεταξύ των σοβαρότερων κινδύνων για τα επόμενα πέντε χρόνια. Ο τομέας της πληροφορίας, η εθνική ασφάλεια και τα χρηματοοικονομικά θεωρούνται ιδιαίτερα ευάλωτα.

Η ασφάλεια υστερεί έναντι των δυνατοτήτων

Οι δυνατότητες της ΤΝ εξελίσσονται ταχύτερα από τα συστήματα που έχουν σχεδιαστεί για τον έλεγχό τους. Οι εταιρείες κυκλοφορούν ισχυρότερα μοντέλα κάθε λίγους μήνες, ενώ οι κανόνες που διέπουν τις δοκιμές και την ασφάλειά τους ενημερώνονται πιο αργά. Ο ανταγωνισμός για το μερίδιο αγοράς ωθεί τους προγραμματιστές να εισάγουν νέα χαρακτηριστικά πιο γρήγορα, ακόμη και όταν δεν έχει μελετηθεί ακόμη κάθε πιθανή συμπεριφορά του μοντέλου.

Οι βασικοί περιορισμοί εντός ενός chatbot δεν είναι πλέον αρκετοί. Τα αυτόνομα συστήματα χρειάζονται αυστηρά όρια στην πρόσβαση στο διαδίκτυο, στις υπηρεσίες cloud, στις πληρωμές και στα εσωτερικά επιχειρηματικά δεδομένα. Οι ενέργειές τους θα πρέπει να καταγράφονται, να παρακολουθούνται σε πραγματικό χρόνο και να διακόπτονται αυτόματα εάν επιχειρήσουν να ξεφύγουν από την ανατεθείσα εργασία. Τα μοντέλα με μειωμένες δικλείδες ασφαλείας χρειάζονται επίσης ξεχωριστές δοκιμές, επειδή οι πιο επικίνδυνες δυνατότητές τους γίνονται ορατές σε αυτή τη λειτουργία.

Το ζήτημα της ευθύνης είναι εξίσου σημαντικό. Εάν ένα σύστημα ΤΝ παραβιάσει έναν διακομιστή, μεταφέρει χρήματα ή λάβει μια επικίνδυνη απόφαση, η ευθύνη δεν θα βαρύνει το ίδιο το μοντέλο, αλλά τον προγραμματιστή, τον ιδιοκτήτη του συστήματος ή το άτομο που του έδωσε πρόσβαση. Ως εκ τούτου, οι εταιρείες πρέπει να καθορίσουν εκ των προτέρων ποιος ελέγχει το μοντέλο, ποιες ενέργειες μπορεί να εκτελεί χωρίς έγκριση και ποιος υποχρεούται να το σταματήσει όταν παρεκκλίνει από το προβλεπόμενο σενάριο.

Ο κίνδυνος ξεκινά με την πρόσβαση

Το περιστατικό της OpenAI δεν θυμίζει ακόμη την εξέγερση των μηχανών που περιγράφεται στον Υπερίωνα. Τα μοντέλα λειτούργησαν σε ένα ειδικά διαμορφωμένο περιβάλλον, με μειωμένες δικλείδες ασφαλείας και σαφώς καθορισμένο στόχο. Ωστόσο, ανακάλυψαν μια ευπάθεια και δημιούργησαν ανεξάρτητα μια διαδρομή προς την υποδομή μιας άλλης εταιρείας, κάτι που μέχρι πρόσφατα θα φαινόταν σχεδόν αδύνατο.

Ο κύριος κίνδυνος, επομένως, δεν είναι ότι η ΤΝ θα αναπτύξει ξαφνικά δική της βούληση, αλλά ότι οι άνθρωποι θα δώσουν σε ένα εξαιρετικά ικανό σύστημα υπερβολικά ευρεία πρόσβαση. Όσο περισσότερες εργασίες εκτελούν τα νευρωνικά δίκτυα χωρίς ανθρώπινη έγκριση, τόσο μεγαλύτερο είναι το δυνητικό κόστος ενός και μόνο λάθους, ενός αδύναμου ελέγχου ασφαλείας ή ενός κακά καθορισμένου στόχου.