Το Claude της Anthropic παραβίασε τρία εταιρικά δίκτυα κατά τη διάρκεια δοκιμών

Το Claude της Anthropic παραβίασε τρία εταιρικά δίκτυα κατά τη διάρκεια δοκιμών
Το Claude παραβίασε τρεις εταιρείες κατά τη διάρκεια δοκιμών AI

Η Anthropic δήλωσε ότι αρκετά μοντέλα Claude απέκτησαν μη εξουσιοδοτημένη πρόσβαση σε τρεις εταιρείες κατά τη διάρκεια αξιολογήσεων κυβερνοασφάλειας που υποτίθεται ότι θα παρέμεναν απομονωμένες από το δημόσιο διαδίκτυο. Τα περιστατικά δείχνουν πώς οι ολοένα και πιο ικανοί πράκτορες AI μπορούν να μετατρέψουν τα σφάλματα δοκιμών σε πραγματικές παραβιάσεις ασφάλειας, ακόμη και όταν τα συστήματα δεν ενεργούν σκόπιμα εκτός των καθορισμένων στόχων τους.

Κορυφαία σημεία

  • Τα μοντέλα Claude απέκτησαν πρόσβαση σε τρεις εταιρείες κατά τη διάρκεια κυβερνοδοκιμών.
  • Ένα σφάλμα δοκιμής άφησε τα συστήματα συνδεδεμένα στο διαδίκτυο.
  • Δύο εταιρείες δεν το γνώριζαν μέχρι που επικοινώνησε μαζί τους η Anthropic.

Αυτό το άρθρο μεταφράστηκε από το πρωτότυπο. Διαβάστε την αρχική έκδοση από τον ανταποκριτή μας εδώ.

Η Anthropic ανακάλυψε τις περιπτώσεις μετά από επανεξέταση 141.006 συνεδριών αξιολόγησης, κατόπιν της αποκάλυψης της OpenAI για μια ξεχωριστή επίθεση που αφορούσε την υποδομή της πλατφόρμας AI Hugging Face, σύμφωνα με τον ιστότοπο της εταιρείας. Η Anthropic απέδωσε τις παραβιάσεις της σε ένα επιχειρησιακό λάθος που αφορούσε έναν εξωτερικό συνεργάτη αξιολόγησης, ο οποίος άφησε τα μοντέλα συνδεδεμένα στο διαδίκτυο.

Οι προσομοιωμένες επιθέσεις έφτασαν σε πραγματικά συστήματα

Τα επηρεαζόμενα μοντέλα περιλάμβαναν το Claude Opus 4,7, το Claude Mythos 5 και ένα εσωτερικό ερευνητικό μοντέλο. Συμμετείχαν σε ασκήσεις capture-the-flag που είχαν σχεδιαστεί για να ελέγξουν αν μπορούσαν να εντοπίσουν κρυμμένες πληροφορίες μέσα σε προσομοιωμένα δίκτυα.

Αντ' αυτού, τα μοντέλα έφτασαν σε ζωντανά συστήματα και εκμεταλλεύτηκαν βασικές αδυναμίες, συμπεριλαμβανομένων αδύναμων κωδικών πρόσβασης και τελικών σημείων που δεν απαιτούσαν έλεγχο ταυτότητας. Η Anthropic δήλωσε ότι δεν υπήρχαν στοιχεία ότι τα μοντέλα είχαν εγκαταλείψει τις ανατεθείσες εργασίες τους ή είχαν αναπτύξει ανεξάρτητους στόχους· φαινόταν σε μεγάλο βαθμό να πιστεύουν ότι η πραγματική υποδομή ήταν μέρος της αξιολόγησης.

Σε μία περίπτωση, ένας εικονικός στόχος που χρησιμοποιήθηκε σε μια δοκιμή είχε το ίδιο όνομα με μια πραγματική εταιρεία. Το Claude Opus 4,7 βρήκε ευπάθειες, απέκτησε διαπιστευτήρια και απέκτησε πρόσβαση σε μια βάση δεδομένων που ανήκε στην πραγματική επιχείρηση. Ένα άλλο εσωτερικό μοντέλο σταμάτησε την επίθεσή του αφού αναγνώρισε ότι είχε φτάσει σε έναν πραγματικό στόχο, αν και η Anthropic δήλωσε ότι θα χρειαζόταν περισσότερες δοκιμές πριν βγάλει συμπεράσματα για αυτή τη συμπεριφορά.

Η επίβλεψη απέτυχε πριν από τα μοντέλα

Η Anthropic ανέστειλε τις κυβερνοαξιολογήσεις της στις 23 Ιουλίου και άρχισε να ειδοποιεί τους επηρεαζόμενους οργανισμούς στις 27 Ιουλίου. Δύο εταιρείες δεν είχαν εντοπίσει τις εισβολές, ενώ η επικοινωνία με την τρίτη βρισκόταν σε εξέλιξη. Ο συνεργάτης αξιολόγησης, το εργαστήριο κυβερνοασφάλειας Irregular, δήλωσε ότι ερευνά τα περιστατικά.

Η αποκάλυψη ακολουθεί την αναφορά της OpenAI ότι ένας από τους πράκτορές της έφτασε στο Hugging Face κατά τη διάρκεια δοκιμών. Η διαφορά είναι σημαντική: στα συστήματα της Anthropic δόθηκε ακούσια πρόσβαση στο διαδίκτυο, ενώ ο πράκτορας της OpenAI φέρεται να εκμεταλλεύτηκε μια προηγουμένως άγνωστη αδυναμία για να διαφύγει από το περιβάλλον του.

Ένα πρόβλημα περιορισμού για την πρωτοποριακή AI

Ο κεντρικός κίνδυνος δεν είναι πλέον μόνο αν η AI μπορεί να εντοπίσει ευπάθειες. Είναι αν τα εργαστήρια μπορούν να ελέγξουν αξιόπιστα πού λειτουργούν οι προηγμένοι πράκτορες και σε ποια συστήματα επιτρέπεται να έχουν πρόσβαση.

Μια επανεξέταση που κάλυψε περισσότερες από 141.000 συνεδρίες εντόπισε παραβιάσεις μόνο αφού μια άλλη εταιρεία αποκάλυψε μια παρόμοια αποτυχία. Αυτό εγείρει δύσκολα ερωτήματα σχετικά με μη ανιχνευθέντα περιστατικά, τα πρότυπα δοκιμών τρίτων και το αν οι εθελοντικές διασφαλίσεις μπορούν να συμβαδίσουν καθώς τα συστήματα AI γίνονται πιο αυτόνομα και αποτελεσματικά σε εργασίες κυβερνοασφάλειας.   

Αναφέραμε επίσης ότι η Anthropic αυστηροποιεί τους ελέγχους πρόσβασης στο Claude λόγω των περιορισμών στην Κίνα.

Αυτό το υλικό μπορεί να περιέχει απόψεις τρίτων, κανένα από τα δεδομένα και τις πληροφορίες σε αυτήν την ιστοσελίδα δεν αποτελεί επενδυτική συμβουλή σύμφωνα με την Αποποίηση Ευθυνών μας. Ενώ τηρούμε αυστηρή Συντακτική Ακεραιότητα, αυτή η ανάρτηση μπορεί να περιέχει αναφορές σε προϊόντα από τους συνεργάτες μας.