Ένα περιστατικό που θα μπορούσε να εξελιχθεί σε σοβαρή στρατιωτική κρίση μεταξύ των Ηνωμένων Πολιτειών και της Κίνας αποκαλύπτει με δραματικό τρόπο τους κινδύνους που μπορεί να προκύψουν όταν η τεχνητή νοημοσύνη εισέρχεται στον πυρήνα της διαδικασίας συλλογής και αξιολόγησης στρατιωτικών πληροφοριών.
Σύμφωνα με πληροφορίες από αμερικανικές πηγές, μια έκθεση πληροφοριών που είχε συνταχθεί με τη βοήθεια τεχνητής νοημοσύνης κυκλοφόρησε στις αμερικανικές ένοπλες δυνάμεις την περασμένη άνοιξη, σε μια περίοδο κατά την οποία η Μέση Ανατολή βρισκόταν ήδη σε συνθήκες έντονης στρατιωτικής αναταραχής.
Το περιεχόμενο της αναφοράς ήταν εξαιρετικά σοβαρό.
Έκανε λόγο για κινεζικό πλοίο στη Μέση Ανατολή, το οποίο φέρεται να μετέφερε εξαρτήματα που συνδέονταν με πρόγραμμα πυρηνικών όπλων.
Η πληροφορία αντιμετωπίστηκε ως πιθανή απειλή και ενεργοποίησε διαδικασίες στρατιωτικής αντίδρασης.
Οι αμερικανικές δυνάμεις ετοιμάστηκαν να αναχαιτίσουν το πλοίο
Όπως αναφέρουν τέσσερις πηγές με γνώση της υπόθεσης, ο αμερικανικός στρατός άρχισε να σχεδιάζει επιχείρηση για την αναχαίτιση του πλοίου.
Δύο από τις πηγές αναφέρουν ότι ένοπλοι Αμερικανοί στρατιώτες προετοιμάζονταν ακόμη και για επιβίβαση στο κινεζικό σκάφος, ενώ άλλες δύο πηγές υποστήριξαν ότι αμερικανικά στρατιωτικά αεροσκάφη βρίσκονταν ήδη στον αέρα.
Η κατάσταση είχε επομένως περάσει από το επίπεδο μιας απλής αξιολόγησης πληροφοριών σε μια πραγματική στρατιωτική προετοιμασία.
Το ενδεχόμενο μιας αμερικανικής επιχείρησης εναντίον κινεζικού πλοίου ήταν ιδιαίτερα σοβαρό, καθώς οποιαδήποτε λανθασμένη εκτίμηση θα μπορούσε να προκαλέσει άμεση κλιμάκωση ανάμεσα στις δύο μεγαλύτερες στρατιωτικές δυνάμεις του πλανήτη.
Και τότε προέκυψε το κρίσιμο στοιχείο.
Λίγο πριν από την προγραμματισμένη επιχείρηση, αξιωματούχοι αποφάσισαν να εξετάσουν εκ νέου την επίμαχη έκθεση.
Η επανεξέταση αποκάλυψε ότι η ανάλυση είχε παραχθεί με τη βοήθεια τεχνητής νοημοσύνης.
Το chatbot που είχε χρησιμοποιήσει ο αναλυτής είχε κάνει λάθος.
Το chatbot «είδε» φορτίο που δεν υπήρχε
Ο αναλυτής που είχε συντάξει την έκθεση ανήκε στη Διοίκηση Ειδικών Επιχειρήσεων των ΗΠΑ.
Κατά την επεξεργασία των διαθέσιμων πληροφοριών, χρησιμοποίησε chatbot για να αναλύσει στοιχεία σχετικά με το φορτίο του κινεζικού πλοίου.
Το σύστημα κατέληξε σε λανθασμένο συμπέρασμα σχετικά με το υλικό που μετέφερε το σκάφος.
Η πληροφορία που έφτασε στους ανωτέρους του αναλυτή δεν ήταν επομένως αποτέλεσμα αποκλειστικά ανθρώπινης αξιολόγησης. Είχε προκύψει μέσα από μια διαδικασία στην οποία η τεχνητή νοημοσύνη είχε αναλάβει κρίσιμο ρόλο στην ερμηνεία των δεδομένων.
Μία από τις πηγές χαρακτήρισε την έκθεση «εντελώς ψευδή».
Το ακόμη πιο ανησυχητικό στοιχείο, σύμφωνα με την ίδια πηγή, ήταν ότι η λανθασμένη αναφορά είχε φτάσει τόσο κοντά στο να οδηγήσει σε πραγματική στρατιωτική επιχείρηση.
«Παραλίγο να ξεκινήσει πόλεμος», ανέφερε χαρακτηριστικά η πηγή.
Η φράση αυτή αποτυπώνει το μέγεθος του κινδύνου.
Μια επιχείρηση εναντίον κινεζικού πλοίου θα μπορούσε να είχε προκαλέσει αντίδραση από το Πεκίνο και να οδηγούσε σε μια αλληλουχία γεγονότων που θα ήταν δύσκολο να ελεγχθεί.
Από πού πήρε τις πληροφορίες η AI
Ιδιαίτερο ενδιαφέρον παρουσιάζει ο τρόπος με τον οποίο το chatbot κατέληξε στο λανθασμένο συμπέρασμα.
Ο αναλυτής το ρώτησε σχετικά με συγκεκριμένες πληροφορίες που αφορούσαν το φορτωτικό δελτίο του πλοίου.
Τα στοιχεία αυτά είχαν προέλθει από τη Διοίκηση Ειδικών Επιχειρήσεων του Ειρηνικού των ΗΠΑ, η οποία εδρεύει στη Χαβάη.
Σύμφωνα με τις πληροφορίες που έχουν γίνει γνωστές, το σύστημα δεν περιορίστηκε σε μία μόνο πηγή.
Συνδύασε πληροφορίες από ανοιχτές πηγές με διαβαθμισμένα δεδομένα που προέρχονταν από σήματα και άλλα στοιχεία τα οποία βρίσκονται στη διάθεση της αμερικανικής κυβέρνησης.
Από αυτόν τον συνδυασμό δεδομένων προέκυψε το συμπέρασμα για το υποτιθέμενο φορτίο του πλοίου.
Το πρόβλημα ήταν ότι το συμπέρασμα ήταν λανθασμένο.
Δεν έχει γίνει γνωστό εάν το συγκεκριμένο chatbot ήταν εμπορικά διαθέσιμο σύστημα ή εάν είχε αναπτυχθεί ειδικά για χρήση από την αμερικανική κυβέρνηση.
Το γεγονός αυτό έχει ιδιαίτερη σημασία, καθώς τα στρατιωτικά και πληροφοριακά συστήματα AI που χρησιμοποιούνται στις ΗΠΑ δεν αποτελούν ένα ενιαίο, ομοιογενές οικοσύστημα.
«Τα εσωτερικά εργαλεία μοιάζουν με τα εμπορικά προϊόντα»
Ένας πρώην ανώτερος Αμερικανός αξιωματούχος, ο οποίος γνωρίζει τα συστήματα τεχνητής νοημοσύνης που χρησιμοποιούνται από στρατιωτικούς και αναλυτές πληροφοριών, περιέγραψε μια κατάσταση που προκαλεί επιπλέον ερωτήματα.
Όπως υποστήριξε, πολλά από τα εσωτερικά εργαλεία που χρησιμοποιούνται από την αμερικανική κυβέρνηση είναι στην ουσία εκδόσεις εμπορικών προϊόντων, με περιορισμένες αλλαγές στην εμφάνιση ή στον τρόπο λειτουργίας τους.
Η διαπίστωση αυτή έχει ιδιαίτερη βαρύτητα όταν πρόκειται για συστήματα που καλούνται να επεξεργαστούν εξαιρετικά ευαίσθητες πληροφορίες.
Στην υπόθεση του κινεζικού πλοίου, η AI δεν χρησιμοποιήθηκε απλώς για μια βοηθητική εργασία.
Η έξοδός της ενσωματώθηκε στη διαδικασία παραγωγής μιας επίσημης πληροφοριακής εκτίμησης.
Ο αναλυτής χρησιμοποίησε στη συνέχεια και πάλι την τεχνητή νοημοσύνη για να συγκεντρώσει τα ευρήματα και να τα μετατρέψει σε τυπική έκθεση πληροφοριών.
Η έκθεση προωθήθηκε στους ανωτέρους του.
Έτσι, μια λανθασμένη απάντηση ενός chatbot μετατράπηκε σταδιακά σε επίσημο πληροφοριακό προϊόν.
Η μεγάλη αμερικανική στροφή προς την τεχνητή νοημοσύνη
Το περιστατικό έρχεται σε μια περίοδο κατά την οποία οι Ηνωμένες Πολιτείες επιταχύνουν με ιδιαίτερα γρήγορους ρυθμούς την ενσωμάτωση της AI στις ένοπλες δυνάμεις και στην κοινότητα πληροφοριών.
Αμερικανοί αξιωματούχοι θεωρούν ότι η χώρα δεν έχει την πολυτέλεια να μείνει πίσω στην ανάπτυξη και αξιοποίηση της συγκεκριμένης τεχνολογίας.
Ο λόγος είναι στρατηγικός.
Η Ουάσινγκτον θεωρεί πιθανό ότι στο μέλλον θα χρειαστεί να αντιμετωπίσει την Κίνα ή άλλους ισχυρούς αντιπάλους σε ένα περιβάλλον όπου η τεχνητή νοημοσύνη θα αποτελεί βασικό εργαλείο στρατιωτικής ισχύος.
Τον περασμένο Ιανουάριο, ο τότε υπουργός Άμυνας Πιτ Χέγκσεθ παρουσίασε τη λεγόμενη «Στρατηγική Επιτάχυνσης της Τεχνητής Νοημοσύνης» του υπουργείου Άμυνας.
Στόχος της πρωτοβουλίας είναι να επιταχυνθεί η χρήση συστημάτων AI σε ένα ευρύ φάσμα δραστηριοτήτων των αμερικανικών ενόπλων δυνάμεων.
Η τεχνητή νοημοσύνη εξετάζεται πλέον για εφαρμογές που ξεκινούν από την ανάλυση τεράστιων όγκων δεδομένων και φτάνουν έως την υποστήριξη διαδικασιών εντοπισμού και επιλογής στόχων.
Παράλληλα, χρησιμοποιείται ή εξετάζεται για λιγότερο θεαματικές αλλά εξίσου σημαντικές εργασίες, όπως η διαχείριση προϋπολογισμών και εφοδιαστικών αλυσίδων.
Πολλά συστήματα, διαφορετικοί κανόνες
Ένα από τα προβλήματα που αναδεικνύονται είναι ότι η αμερικανική προσπάθεια δεν εξελίσσεται μέσα από ένα ενιαίο σύστημα.
Διαφορετικές υπηρεσίες και τμήματα της αμερικανικής κυβέρνησης αναπτύσσουν και χρησιμοποιούν διαφορετικές εφαρμογές AI, με διαφορετικές εντολές και διαφορετικά πρότυπα ασφαλείας.
Αυτό σημαίνει ότι δεν υπάρχει απαραίτητα ένα κοινό σύνολο κανόνων που να καθορίζει με τον ίδιο τρόπο πώς πρέπει να ελέγχονται οι πληροφορίες που παράγονται από αυτά τα συστήματα.
Η ποικιλία των εργαλείων δημιουργεί και διαφορές ως προς την αξιοπιστία και τις δυνατότητές τους.
Κάποια συστήματα μπορεί να είναι σχεδιασμένα για συγκεκριμένες εργασίες και να λειτουργούν σε αυστηρά ελεγχόμενο περιβάλλον, ενώ άλλα μπορεί να έχουν διαφορετικά χαρακτηριστικά και διαφορετικά επίπεδα αξιοπιστίας.
Ακριβώς αυτή η ανομοιογένεια καθιστά ακόμη πιο σημαντική την ανθρώπινη επαλήθευση.
Ο μεγαλύτερος κίνδυνος: η AI να επιταχύνει το λάθος
Το περιστατικό με το κινεζικό πλοίο δεν αναδεικνύει μόνο το πρόβλημα της λεγόμενης «παραισθησιογόνου» απάντησης των μοντέλων AI.
Αναδεικνύει έναν ακόμη πιο σύνθετο κίνδυνο.
Η τεχνητή νοημοσύνη μπορεί να κάνει μια λανθασμένη εκτίμηση να φαίνεται περισσότερο ολοκληρωμένη, περισσότερο τεκμηριωμένη και περισσότερο αξιόπιστη απ’ όσο πραγματικά είναι.
Αυτό αποκτά ιδιαίτερη σημασία στον εντοπισμό στόχων.
Εάν ένα σύστημα αξιολογήσει λάθος ένα πλοίο, ένα όχημα, μια εγκατάσταση ή μια άλλη πιθανή στρατιωτική απειλή, το ανθρώπινο προσωπικό που βρίσκεται στο επόμενο στάδιο μπορεί να λάβει μια λανθασμένη απόφαση με πραγματικές συνέπειες.
Πηγές που γνωρίζουν τον τρόπο με τον οποίο εξελίσσεται η χρήση AI στις αμερικανικές ένοπλες δυνάμεις αναφέρουν ότι η τεχνολογία χρησιμοποιείται ολοένα περισσότερο για τον εντοπισμό και την αξιολόγηση στόχων.
Το κρίσιμο ερώτημα είναι πώς ακριβώς εντάσσεται ο άνθρωπος σε αυτή τη διαδικασία και ποια ασφαλιστικά δικλίδια υπάρχουν πριν από μια απόφαση που μπορεί να προκαλέσει απώλειες ανθρώπινων ζωών.
Μία από τις πηγές εξέφρασε την ανησυχία ότι δεν υπάρχουν ακόμη επαρκώς συγκεκριμένες κατευθυντήριες γραμμές σχετικά με τον τρόπο με τον οποίο η ανθρώπινη συμμετοχή στη διαδικασία μπορεί να αποτρέψει απώλειες αμάχων ή περιστατικά φίλιων πυρών.
Η «ψευδαίσθηση» δεν αποτελεί μεμονωμένο περιστατικό
Το ακόμη πιο ανησυχητικό στοιχείο είναι ότι, σύμφωνα με πηγή που γνωρίζει την κατάσταση, το συγκεκριμένο περιστατικό δεν θεωρείται μοναδικό.
Τα προβλήματα που σχετίζονται με λανθασμένες απαντήσεις AI έχουν κάνει την εμφάνισή τους στην κοινότητα των αμερικανικών υπηρεσιών πληροφοριών από τότε που τέτοια εργαλεία άρχισαν να διαδίδονται ευρύτερα μέσα στην κυβέρνηση.
Τα μοντέλα τεχνητής νοημοσύνης μπορούν να δημιουργούν πληροφορίες που δεν αντιστοιχούν στην πραγματικότητα, παρουσιάζοντάς τες παράλληλα με τρόπο που μπορεί να μοιάζει πειστικός.
Σε ένα απλό περιβάλλον εργασίας, ένα τέτοιο λάθος μπορεί να διορθωθεί.
Σε μια υπηρεσία πληροφοριών, όμως, μια λανθασμένη πληροφορία μπορεί να περάσει σε επόμενο στάδιο και να επηρεάσει άλλες αναλύσεις.
Σε μια πολεμική ζώνη, οι συνέπειες μπορεί να είναι ακόμη μεγαλύτερες.
Η πίεση για ταχύτητα προκαλεί νέα προβλήματα
Ορισμένοι πρώην αξιωματούχοι των αμερικανικών υπηρεσιών πληροφοριών, ακόμη και εκείνοι που υποστηρίζουν τη γενικότερη χρήση της τεχνητής νοημοσύνης στον στρατό, ανησυχούν για έναν διαφορετικό παράγοντα: την πίεση που δημιουργεί η τεχνολογία για ταχύτερη παραγωγή πληροφοριών.
Η AI μπορεί να επιτρέψει σε έναν αναλυτή να επεξεργαστεί μέσα σε λίγα λεπτά υλικό που παλαιότερα απαιτούσε πολύ περισσότερο χρόνο.
Αυτό θεωρείται σημαντικό πλεονέκτημα σε συνθήκες πολέμου.
Όμως η ίδια ταχύτητα μπορεί να λειτουργήσει και αντίστροφα.
Όταν η παραγωγή μιας αναφοράς γίνεται πολύ πιο εύκολη, υπάρχει ο κίνδυνος να μειωθεί ο χρόνος που αφιερώνεται στην ανεξάρτητη διασταύρωση των πληροφοριών.
Ορισμένες πηγές εκτιμούν ότι οι νεότεροι αναλυτές είναι περισσότερο εξοικειωμένοι με τα εργαλεία AI και, ως εκ τούτου, είναι πιθανότερο να τα εντάξουν στην καθημερινή τους εργασία.
Το ζήτημα δεν είναι απαραίτητα η εμπιστοσύνη στην τεχνολογία από μόνη της.
Είναι η πιθανότητα ένας άνθρωπος να θεωρήσει μια καλογραμμένη και λεπτομερή απάντηση ως ένδειξη αξιοπιστίας, χωρίς να εξετάσει επαρκώς από πού προήλθε το συμπέρασμα.
«Η AI μπορεί να σε οδηγήσει πιο γρήγορα σε μια λάθος ιδέα»
Η ανησυχία αποτυπώθηκε με χαρακτηριστικό τρόπο από μία από τις πηγές που μίλησαν για την υπόθεση.
Η τεχνητή νοημοσύνη, σύμφωνα με την περιγραφή της, μπορεί να επιτρέψει σε έναν αναλυτή να φτάσει πολύ γρηγορότερα σε μια λανθασμένη ιδέα.
Αυτό είναι ίσως το πιο ουσιαστικό μάθημα από την υπόθεση του κινεζικού πλοίου.
Το πρόβλημα δεν είναι μόνο ότι η AI μπορεί να κάνει λάθος.
Είναι ότι μπορεί να κάνει το λάθος γρήγορα, να το παρουσιάσει με συνεκτικό τρόπο και να επιτρέψει σε αυτό να μετατραπεί σε έγγραφο που θα διαβαστεί από ανθρώπους οι οποίοι μπορεί να μην γνωρίζουν πώς δημιουργήθηκε.
Στην προκειμένη περίπτωση, το λάθος εντοπίστηκε πριν από την υλοποίηση της επιχείρησης.
Αυτό σημαίνει ότι υπήρχε ακόμη ένα ανθρώπινο φίλτρο που λειτούργησε εγκαίρως.
Το δύσκολο ερώτημα για το μέλλον
Η υπόθεση θέτει πλέον ένα ευρύτερο ερώτημα για το μέλλον της τεχνητής νοημοσύνης στις ένοπλες δυνάμεις.
Πόσο μακριά μπορεί να φτάσει η αυτοματοποίηση όταν οι αποφάσεις αφορούν στρατιωτικούς στόχους;
Και ποιος θα έχει την τελική ευθύνη όταν μια μηχανή παράγει μια λανθασμένη πληροφορία, ένας άνθρωπος την εμπιστεύεται και το αποτέλεσμα οδηγεί σε πραγματική στρατιωτική ενέργεια;
Οι Ηνωμένες Πολιτείες θεωρούν ότι η τεχνητή νοημοσύνη θα αποτελέσει κρίσιμο στοιχείο του μελλοντικού ανταγωνισμού μεταξύ μεγάλων δυνάμεων.
Η ταχύτητα με την οποία αναπτύσσονται τα σχετικά συστήματα δείχνει ότι η χρήση τους στις ένοπλες δυνάμεις είναι πιθανό να συνεχίσει να διευρύνεται.
Ταυτόχρονα, όμως, το περιστατικό με το κινεζικό πλοίο δείχνει ότι η τεχνολογική πρόοδος δημιουργεί και έναν νέο τύπο κινδύνου.
Ένα λάθος που παλαιότερα μπορεί να έμενε σε ένα γραφείο αναλυτών, σήμερα μπορεί να ταξιδέψει μέσα σε λίγα λεπτά από ένα chatbot σε μια επίσημη αναφορά και από εκεί σε μια στρατιωτική αίθουσα επιχειρήσεων.
Στην περίπτωση που αποκαλύφθηκε, η διαδικασία σταμάτησε πριν υπάρξει στρατιωτική σύγκρουση.
Το ερώτημα που μένει, ωστόσο, είναι αν στο μέλλον θα υπάρχει πάντα κάποιος άνθρωπος που θα προλαβαίνει να εντοπίσει το λάθος.
Γιατί όσο περισσότερο η τεχνητή νοημοσύνη εισέρχεται στον πυρήνα της στρατιωτικής λήψης αποφάσεων, τόσο πιο κρίσιμο γίνεται ένα πράγμα:
η ταχύτητα της μηχανής να μην ξεπεράσει την ικανότητα του ανθρώπου να ελέγξει αν αυτό που του λέει είναι πραγματικά αλήθεια.