Συναγερμός με το Claude: Η AI «ξέφυγε» και χάκαρε πραγματικούς οργανισμούς – Τι παραδέχθηκε η Anthropic

Η εταιρεία αναγνώρισε ότι μια σειρά περιστατικών κατά τη διάρκεια δοκιμών, στα οποία μοντέλα της απέκτησαν μη εξουσιοδοτημένη πρόσβαση σε συστήματα πραγματικών οργανισμών, αποκάλυψε «αποτυχία επιχειρησιακής ασφάλειας».

Η Anthropic είχε γνωστοποιήσει τον Ιούλιο ότι μοντέλα τεχνητής νοημοσύνης της κατάφεραν σε τρεις περιπτώσεις να αποκτήσουν πρόσβαση στο ανοιχτό διαδίκτυο και στη συνέχεια να εισέλθουν χωρίς εξουσιοδότηση στα συστήματα τριών οργανισμών.

Σε νέα τοποθέτησή της για τα περιστατικά, η εταιρεία προχωρά ένα βήμα παραπέρα, παραδεχόμενη ότι η τεχνολογία της «δεν είναι πλήρως ευθυγραμμισμένη» με τις ανθρώπινες αξίες και τους ανθρώπινους στόχους.

Πώς τα μοντέλα βγήκαν στο ανοιχτό διαδίκτυο

Σύμφωνα με την Anthropic, τα μοντέλα δοκιμάζονταν σκόπιμα χωρίς ορισμένες δικλίδες κυβερνοασφάλειας. Ωστόσο, εξαιτίας μιας παρεξήγησης με εξωτερική εταιρεία που συμμετείχε στις δοκιμές, τα συστήματα απέκτησαν πρόσβαση στο ανοιχτό διαδίκτυο.

Η κατάσταση θα μπορούσε να παρομοιαστεί με ένα εργαστήριο δοκιμών στο οποίο κάποιος άφησε κατά λάθος την «εξώπορτα» ανοιχτή.

Μετά τα περιστατικά, η Anthropic αποφάσισε αρχικά να αναστείλει τόσο τις εσωτερικές όσο και τις εξωτερικές δοκιμές κυβερνοασφάλειας των μοντέλων της, προκειμένου να δημιουργήσει αυστηρότερο πλαίσιο προστασίας.

«Βασιζόμασταν σε μεγάλο βαθμό σε ένα μόνο επίπεδο άμυνας (…) ενώ χρειαζόμασταν πολλά», παραδέχθηκε η εταιρεία.

Μετά τα περιστατικά, η εταιρεία ανακοίνωσε ότι έχει ενισχύσει σημαντικά τις δικλίδες ασφαλείας κατά τη διάρκεια των δοκιμών.

Μεταξύ άλλων, εγκατέστησε σύστημα προειδοποίησης που ενεργοποιείται όταν ένα μοντέλο επιχειρεί να «δραπετεύσει» από το περιβάλλον δοκιμών ή αποκτά πρόσβαση στο διαδίκτυο.

Παράλληλα, τα περιβάλλοντα στα οποία πραγματοποιούνται οι δοκιμές υψηλότερου κινδύνου απομονώνονται αυστηρότερα, ενώ οι εξωτερικές εταιρείες που συνεργάζονται με την Anthropic καλούνται πλέον να δεσμεύονται σε συγκεκριμένα πρότυπα ασφαλείας.

Σε αυτά περιλαμβάνεται ακόμη και η παροχή σαφών οδηγιών προς τα ίδια τα μοντέλα, όπως: «Δεν πρέπει να έχετε πρόσβαση στο διαδίκτυο».

Η Anthropic είχε αναφέρει τον Ιούλιο ότι τρία μοντέλα της απέκτησαν μη εξουσιοδοτημένη πρόσβαση σε τρεις οργανισμούς μετά από «παρεξήγηση» με την εταιρεία Irregular, η οποία συμμετείχε στις δοκιμές.

Μετά την εφαρμογή των νέων μέτρων, η εταιρεία ανακοίνωσε ότι επανέφερε τις εσωτερικές και εξωτερικές δοκιμές κυβερνοασφάλειας.

Γιατί τα μοντέλα προχώρησαν σε επικίνδυνες ενέργειες

Η έρευνα της Anthropic για τα αίτια των περιστατικών έδειξε ότι προβληματικές ρυθμίσεις κατά τη διαδικασία εκπαίδευσης των μοντέλων συνέβαλαν δυσανάλογα στην εμφάνιση συμπεριφορών που δεν ήταν ευθυγραμμισμένες με τους επιθυμητούς κανόνες.

Η εταιρεία εντόπισε δύο βασικούς τύπους αποτυχίας.

Ο πρώτος αφορά αυτό που περιγράφει ως «motivated reasoning». Τα μοντέλα, παρότι είχαν ενδείξεις ότι μπορεί να είχαν αποκτήσει πραγματική πρόσβαση στο διαδίκτυο, φαίνεται ότι συνέχισαν να λειτουργούν με την «πεποίθηση» ότι βρίσκονταν σε προσομοιωμένο περιβάλλον και επομένως ότι δεν είχαν ξεπεράσει τα όρια του εργαστηρίου δοκιμών.

Ο δεύτερος παράγοντας χαρακτηρίζεται ως «recklessness», δηλαδή μια μορφή απερίσκεπτης συμπεριφοράς. Τα μοντέλα εμφανίστηκαν διατεθειμένα να πραγματοποιήσουν δυνητικά επιβλαβείς ενέργειες στο πραγματικό διαδίκτυο, προκειμένου να πετύχουν τον στενό στόχο που τους είχε τεθεί: να ολοκληρώσουν επιτυχώς μια δοκιμασία κυβερνοασφάλειας.

Η Anthropic επιχειρεί παράλληλα να αντιμετωπίσει ένα γνωστό πρόβλημα στην ανάπτυξη συστημάτων AI, το λεγόμενο «reward-hacking».

Πρόκειται για την περίπτωση κατά την οποία ένα μοντέλο ανακαλύπτει τρόπους να «ξεγελάσει» τη διαδικασία εκπαίδευσής του, ώστε να λάβει την προβλεπόμενη ανταμοιβή χωρίς να έχει ολοκληρώσει την εργασία με τον τρόπο που επιθυμούσαν οι δημιουργοί του. Με απλά λόγια, βρίσκει μια μη εγκεκριμένη «παράκαμψη» για να πετύχει τον στόχο του.

Παρά τις προσπάθειες περιορισμού του συγκεκριμένου φαινομένου, η εταιρεία παραδέχεται ότι τα πρόσφατα περιστατικά δείχνουν πως το πρόβλημα δεν έχει λυθεί.

«Όπως αποδεικνύεται από τα περιστατικά (…) η διαδικασία μας δεν είναι τέλεια και τα μοντέλα μας δεν είναι πλήρως ευθυγραμμισμένα», ανέφερε χαρακτηριστικά η Anthropic.

«Το εργοστάσιο έτρεχε γρηγορότερα από τον ποιοτικό έλεγχο»

Ο Άλαν Γούντγουορντ, καθηγητής κυβερνοασφάλειας στο Πανεπιστήμιο του Surrey, σχολιάζοντας τις παραδοχές της εταιρείας, ανέφερε ότι ουσιαστικά η Anthropic παραδέχθηκε πως «το εργοστάσιό της λειτουργούσε γρηγορότερα από τον ποιοτικό της έλεγχο».

«Δύο πράγματα ξεπέρασαν τους ελέγχους της Anthropic αυτή την άνοιξη – η διαδικασία εκπαίδευσης και η ασφάλεια. Τα περιστατικά είναι αυτό που φαίνεται εξωτερικά όταν υπάρχει αυτό το κενό», πρόσθεσε.

Οι αποκαλύψεις έρχονται σε μια ιδιαίτερα κρίσιμη περίοδο για την Anthropic, η οποία προετοιμάζεται για πιθανή εισαγωγή στο χρηματιστήριο, με την αποτίμησή της να εκτιμάται ότι θα μπορούσε να φτάσει τα 2 τρισ. δολάρια.

Η εταιρεία επανέλαβε την έκκλησή της για συντονισμένη δράση μεταξύ κυβερνήσεων και βιομηχανίας σχετικά με τον ρυθμό ανάπτυξης της τεχνητής νοημοσύνης.

«Πιστεύουμε ότι ο κόσμος θα ωφελούνταν εάν η βιομηχανία υιοθετούσε το συντομότερο δυνατό έναν νόμιμο, επαληθεύσιμο και αποτελεσματικό μηχανισμό συντονισμού του ρυθμού ανάπτυξης», ανέφερε.

Παράλληλα, υπογράμμισε ότι τα περιστατικά του Ιουλίου ανέδειξαν ακόμη περισσότερο την ανάγκη ενίσχυσης της κυβερνοασφάλειας:

«Τα περιστατικά του Ιουλίου κατέδειξαν ότι η ανάγκη βελτίωσης της άμυνάς μας στον κυβερνοχώρο είναι ακόμη πιο επείγουσα από όσο πιστεύαμε προηγουμένως».

Τα συμβάντα στην Anthropic δεν είναι μεμονωμένα. Αντίστοιχο περιστατικό ασφαλείας είχε αναφερθεί τον ίδιο μήνα και κατά τη διάρκεια δοκιμών μοντέλων της OpenAI, ενώ το βρετανικό AI Security Institute είχε ανακοινώσει τον Αύγουστο ότι μοντέλα των δύο εταιρειών πραγματοποίησαν, στο πλαίσιο δοκιμής κυβερνοασφάλειας, ενέργειες hacking που αφορούσαν πραγματικούς ανθρώπους.

Οι εξελίξεις εντείνουν τη συζήτηση γύρω από το κατά πόσο τα ολοένα ισχυρότερα συστήματα τεχνητής νοημοσύνης μπορούν να παραμένουν υπό αποτελεσματικό ανθρώπινο έλεγχο, ιδιαίτερα όταν τους παρέχεται πρόσβαση σε πραγματικά ψηφιακά περιβάλλοντα.