10 απαντήσεις για το ChatGPT, από έναν καθηγητή υπολογιστικής γλωσσολογίας

«Το βαθύτερο ελάττωμα των εργαλείων τεχνητής νοημοσύνης είναι ότι στερούνται την πιο κρίσιμη ικανότητα κάθε νοημοσύνης», έγραψε πολύ πρόσφατα στους New York Times ο ριζοσπαστικός και πάντα διαφωτιστικός Noam Chomsky, έγκριτος διανοούμενος και γλωσσολόγος από τις ΗΠΑ, όταν του ζητήθηκε τοποθέτηση για το ChatGPT, για να εξηγήσει ότι σημάδι πραγματικής νοημοσύνης δεν είναι να γνωρίζεις τι ισχύει ή τι θα μπορούσε να ισχύει –αυτά είναι έργα των πιθανοτήτων–, αλλά να γνωρίζεις επίσης όσα είναι αδύνατο να συμβούν.

Ενώ τα τωρινά διαθέσιμα AI chatbots, όπως ανέφερε ο Chomsky, φαίνεται να μιμούνται αποδοτικά την ανθρώπινη δημιουργικότητα και ευφυΐα, αυτό δεν είναι παρά αποτέλεσμα ενός μηχανισμού που βασίζεται σε στατιστικές πιθανότητες – δεν υπάρχει βαθύτερη γνώση των πραγμάτων, καμία δυνατότητα για κριτική ή ηθική σκέψη, ούτε δυνατότητα για εικασίες και εξηγήσεις με απαγωγή σε άτοπο, όπως σκέφτεται αυθόρμητα ο ανθρώπινος εγκέφαλος από μικρή ηλικία. Έτσι, τα μηχανήματα αυτά είναι καταδικασμένα να παράγουν «επιφανειακά και αμφίβολα αποτελέσματα».

Τα λόγια του διεθνώς διακεκριμένου γλωσσολόγου αναπαρήχθησαν σε πολλά Μέσα, ξορκίζοντας τη φρενίτιδα που μετά το λανσάρισμα των επίμαχων εργαλείων έχει ξεσπάσει, σε επενδυτικό και υπαρξιακό επίπεδο: «Είναι πιο έξυπνα από εμένα;», «Μήπως κινδυνεύω να μείνω χωρίς δουλεία;», «Πόσο μακριά είμαστε τελικά από το σημείο που τα μηχανήματα θα κυριεύσουν το ανθρώπινο είδος;». Τα αγωνιώδη αυτά ερωτήματα δείχνουν μεταξύ άλλων πόσο άγνωστος είναι ο τρόπος λειτουργίας των συγκεκριμένων μηχανημάτων, άρα και τα όριά τους.

Για τις απαραίτητες διευκρινίσεις, απευθυνθήκαμε στον Στέργιο Χατζηκυριακίδη, καθηγητή Υπολογιστικής Γλωσσολογίας στο Τμήμα Φιλολογίας του Πανεπιστημίου Κρήτης, με ειδίκευση στην Υπολογιστική Σημασιολογία καθώς και σε ζητήματα Θεωρητικής Γλωσσολογίας.

Πώς καταφέρνει να παράγει κείμενο ένα σύγχρονο νευρωνικό δίκτυο όπως το ChatGPT;

Τα σημερινά γλωσσικά μοντέλα, όπως το μοντέλο πίσω από το ChatGPT, είναι βασισμένα σε αρχιτεκτονικές νευρωνικών δικτύων, μια κατηγορία μεθόδων/αλγορίθμων του γενικότερου πεδίου που ονομάζουμε Μηχανική Μάθηση. Τα νευρωνικά δίκτυα μαθαίνουν μέσω παραδειγμάτων. Εκπαιδεύονται μέσω μιας διαδικασίας μάθησης «βλέποντας» δεδομένα και προσπαθώντας να βρουν μοτίβα (patterns) που θα τους επιτρέψουν να κάνουν δομικές γενικεύσεις για τα δεδομένα. Ο απώτερος σκοπός είναι να μπορούν αργότερα να χρησιμοποιήσουν αυτές τις γενικεύσεις σε νέα δεδομένα. Αν αυτή η διαδικασία γίνει επαρκώς καλά, το μοντέλο θα μπορέσει να παραγάγει ικανοποιητικό κείμενο.

Ποια ήταν η δομική αλλαγή σε σχέση με τα παλαιότερης τεχνολογίας γλωσσικά μοντέλα;

Τον παλιό καλό καιρό, ας πούμε στις δεκαετίες του ’70 και του ’80, την περίοδο που μερικά άτομα ονομάζουν σήμερα good ol’ AI (είτε νοσταλγικά είτε ειρωνικά), τα συστήματα αυτά βασιζόταν σε ένα σύνολο κανόνων οι οποίοι οργάνωναν τις λέξεις σε μεγαλύτερες μονάδες, τις φράσεις, έπειτα οργάνωναν τις φράσεις σε ακόμα μεγαλύτερες μονάδες, τις προτάσεις κ.ο.κ. Με βάση λοιπόν αυτούς τους κανόνες και ένα συγκεκριμένο λεξιλόγιο, μπορούσαν να αναλύσουν κάποιο κείμενο. Με τους ίδιους κανόνες και το λεξιλόγιο, τα συστήματα αυτά είχαν τη δυνατότητα να παράγουν και κείμενο. Αυτή ήταν η συμβολική προσέγγιση, όπου τα συστήματα ήξεραν, αλλά δεν μάθαιναν.

Αυτό το παράδειγμα εγκαταλείφθηκε για χάρη συστημάτων που μαθαίνουν από τα δεδομένα, συστήματα δηλαδή που στηρίζονται σε κάποιο αλγόριθμο Μηχανικής Μάθησης. Η μεγάλη βελτίωση στα γλωσσικά μας μοντέλα ήρθε ακόμα πιο μετά με την έλευση συστημάτων νευρωνικών δικτύων, τα οποία εντάσσονται στη γενικότερη κατηγορία των συστημάτων/μοντέλων Μηχανικής Μάθησης. Τα σημερινά μεγάλα γλωσσικά μοντέλα στηρίζονται σε τέτοιες αρχιτεκτονικές.

Θα μπορούσε ποτέ να φτάσει σε σημείο ένα τέτοιο μηχάνημα να «γνωρίζει», να «πιστεύει», να «νομίζει»; Να διαμορφώσει δηλαδή χαρακτήρα ανάλογο με εκείνον που διαμορφώνει ο ανθρώπινος εγκέφαλος μέσω της γλώσσας;

Για να απαντήσουμε σε αυτό το ερώτημα πρέπει να ξέρουμε πρώτα τι σημαίνουν όλες αυτές οι έννοιες: να έχουμε έναν τυπικό ορισμό της έννοιας της πεποίθησης, της έννοιας της γνώσης κ.ο.κ. Και έπειτα να εξακριβώσουμε με ποιον ποιον ακριβώς τρόπο και σε ποιον βαθμό επηρεάζεται ο ανθρώπινος εγκέφαλος από τη γλώσσα, ζητήματα που δεν είναι ακόμα λυμένα. Όσο αυτά τα δύο παραμένουν, είναι πολύ δύσκολο να πούμε εάν τα συστήματα τεχνητής νοημοσύνης έχουν τέτοιες ιδιότητες.

Τι συμβαίνει με τα διφορούμενα μηνύματα, την ειρωνεία και τις δεύτερες αναγνώσεις του φυσικού λόγου; Θα μπορούσε ένα νευρωνικό δίκτυο να καταλάβει πέρα από το τι λέμε, και τι εννοούμε;

Γίνεται εδώ και πάρα πολλά χρόνια δουλειά που στοχεύει στην αναγνώριση της μεταφορικής, ειρωνικής και παρομοίου τύπου γλώσσας. Τα μοντέλα πλέον το πετυχαίνουν σε κάποιο βαθμό. Αυτό δεν σημαίνει βέβαια ότι ένα νευρωνικό δίκτυο αντιλαμβάνεται την ειρωνεία και τη μεταφορά με τον τρόπο που το κάνουμε εμείς. Αυτό είναι ξεχωριστό ερώτημα.

Στο ChatGPT είχαν διοχετευθεί περίπου 45TB γραπτών δεδομένων. Ίσως, σε επόμενα μοντέλα, ο όγκος αυτών να είναι πολλαπλάσιος. Υπάρχει κάποιο γνωστικό εμπόδιο που φαίνεται αδύνατο να ξεπεράσουν τα νευρωνικά δίκτυα;

Υπάρχουν πράγματα που τα παρόντα μοντέλα, όπως το ChatGPT, δυσκολεύονται να κάνουν με ακρίβεια, και περιπτώσεις που αποτυγχάνουν παταγωδώς. Δεν είναι δύσκολο να «σπάσεις» το ChatGPT ή αντίστοιχα συστήματα. Για παράδειγμα, το ChatGPT δεν διαθέτει κάποια θεωρία αλήθειας (theory of truth) – βασίζεται σε ένα πρότερο μοντέλο παραγωγής καλοσχηματισμένου λόγου (το GPT-3.5), οπότε μπορεί να αυτοσχεδιάσει και να δώσει καλό συντακτικά κείμενο, το οποίο όμως σημασιολογικά ενδέχεται να μην έχει καμία σχέση με την πραγματικότητα. To αν θα λυθεί αυτό το ζήτημα στο μέλλο,ν είναι κάτι που μένει να δούμε.

Ποιος θα είναι ο επόμενος εξελικτικός στόχος αυτών των μοντέλων, λοιπόν;

Η εικασία μου είναι ότι στο μέλλον τα μοντέλα θα είναι υβριδικά, δηλαδή ένας συνδυασμός νευρωνικών δικτύων και συμβολικών μεθόδων – μοντέλα, τα οποία θα βασίζονται αφενός στη μάθηση και αφετέρου σε κάποια προϋπάρχουσα γνώση. Ένα από τα μεγαλύτερα στοιχήματα του πεδίου είναι η επιτυχής ενσωμάτωση αυτών των δύο στοιχείων σε λειτουργικά και πρακτικά υβριδικά συστήματα.

Τα γλωσσικά μοντέλα νευρωνικών δικτύων βρίσκονται εδώ καιρό στη ζωή μας με χαρακτηριστικό παράδειγμα το autocorrect και autofill στις εφαρμογές επικοινωνίας. Τι άλλαξε τώρα και άνοιξε ένας «θαυμαστός καινούργιος κόσμος» με τα Large Language Models;

Δεν ξέρω αν υπάρχει κάποιος θαυμαστός καινούργιος κόσμος, τουλάχιστον με την υπερβολή που πολλές φορές παρουσιάζεται από τις εταιρείες που έχουν δημιουργήσει εργαλεία βασισμένα σε αυτά τα μεγάλα γλωσσικά μοντέλα. Τα νευρωνικά δίκτυα μετράνε ήδη μια δεκαετία που χρησιμοποιούνται ευρέως στην Επεξεργασία Φυσικής Γλώσσας (και η θεωρητική έρευνα στην οποία βασίζονται ήδη πολλές δεκαετίες). Μέσα σε αυτό το πλαίσιο, δεν εμφανίστηκε τόσο ξαφνικά το ChatGPT. Βασίζεται σε έρευνα και πρότερα μοντέλα, τα οποία γνωρίζουμε αρκετό καιρό.

Απλώς, η OpenAΙ εταιρεία πίσω από το ChatGPT κεφαλαιοποίησε αυτήν την έρευνα, δημιουργώντας ένα εργαλείο που μπορεί να χρησιμοποιηθεί από τους πάντες.

Ποιο είναι το μάθημα για τη γλωσσική διαδικασία που πρέπει να κρατήσουμε από τα AI μοντέλα;

Από τη θέση που βρίσκομαι, ως Θεωρητικός και Υπολογιστικός Γλωσσολόγος, δύο έχω να επισημάνω: (α) Ένα γλωσσικό μοντέλο είναι τελικά δυνατόν να δουλέψει σε πρακτικό επίπεδο παραβιάζοντας κάθε υπόθεση που ξέρουμε από τη Γλωσσολογία, και (β) Οι μέθοδοι που έχουμε πλέον σε υπολογιστικό επίπεδο μπορούν να μας επιτρέψουν να τεστάρουμε υποθέσεις της Θεωρητικής Γλωσσολογίας και γενικότερα της Γνωσιακής Επιστήμης, οι οποίες παραμένουν αναπάντητες εδώ και πολλά χρόνια.

Ένα πιο συγκεκριμένο παράδειγμα;

Για παράδειγμα, μια βασική υπόθεση της Τσομσκιανής Γλωσσολογίας, όσον αφορά τη Γλωσσική Κατάκτηση (χονδρικά: πώς καταφέρνει ένα παιδί να κατακτήσει πλήρως το σύστημα της γλώσσας), είναι ότι τα ανθρώπινα όντα είναι γενετικά προκαθορισμένα για να κατακτήσουν τη γλώσσα. Αυτό απορρέει από την παρατήρηση ότι τα δεδομένα που λαμβάνει το παιδί είναι πολύ λίγα για να του επιτρέψουν να συνάγει, μέσω γενικότερων γνωσιακών διαδικασιών (π.χ. αυτών που μας επιτρέπουν να σκεφτόμαστε λογικά, να έχουμε αίσθηση του χώρου κ.λπ.), ένα τόσο πολύπλοκο σύστημα, όπως η ανθρώπινη γλώσσα.

Πιστεύω ότι υπάρχει η δυνατότητα πλέον, τουλάχιστον σε κάποιο βαθμό, να εξομοιώσουμε αυτές τις συνθήκες μάθησης και να δούμε αν πράγματι είναι δυνατό ή όχι ένας αλγόριθμος μάθησης να συνάγει ένα τέτοιο σύνθετο σύστημα.

Υπάρχει κάτι καίριο που παραγνωρίζεται μέχρι στιγμής από τη δημόσια συζήτηση για το ChatGPT;

Υπάρχουν σοβαρά οικολογικά ερωτήματα, μιας και το περιβαντολογικό αποτύπωμα που αφήνουν τέτοια μοντέλα για την εκπαίδευσή τους είναι τεράστιο. Πρέπει να δούμε ποιο είναι το περιβαντολογικό αντάλλαγμα για αυτά τα μοντέλα, να μπουν σοβαρά δηλαδή τέτοια ζητήματα στο τραπέζι. Για να λάβετε μια εικόνα του προβλήματος, σκεφτείτε ότι το μοντέλο GPT-3, σύμφωνα με έρευνα του πανεπιστημίου του Μίσιγκαν, χρειάστηκε 1287 μεγαβατώρες για την εκπαίδευσή του. Η έρευνα σημειώνει ότι κάτι αντιστοιχεί στην ενέργεια που χρειάζεται ένα μέσο νοικοκυριό για 120 χρόνια.

Ποια πιστεύεις ότι θα είναι η επόμενη μέρα στο τοπίο της τεχνητής νοημοσύνης και των γλωσσικών μοντέλων;

Το μόνο σίγουρο είναι ότι θα επενδυθούν πολλά χρήματα για τη βελτίωση του ChatGPT και τη δημιουργία παρομοίων συστημάτων από άλλες εταιρείες. Επειδή τα λεφτά που παίζονται είναι πάρα πολλά, θα ξεκινήσει ανελέητος αγώνας δρόμου για το «καλύτερο» σύστημα, αλλά και μαρκετίστικων τακτικών που μπορεί να υπερβάλουν τις πραγματικές δυνατότητες των μοντέλων.

Από την άλλη, θα υπάρξουν πολλές και φοβικές αντιδράσεις, ακόμα και από σοβαρούς επιστήμονες, για τους κινδύνους ή την ανικανότητα αυτών των γλωσσικών μοντέλων να κάνουν την Α ή τη Β εργασία, χαρακτηρίζοντάς τα ουσιαστικά επικίνδυνα και παράλληλα και άχρηστα για κάποια «θετική» χρήση. Το στοίχημα της επιστημονικής κοινότητας είναι να επιβιώσει μέσα σε αυτό το τοπίο και να θέσει τα ζητήματα σε σωστή βάση.

Τελικά, υπάρχει κάποιος λόγος να φοβόμαστε;

Εξαρτάται τον φόβο. Μια εύλογη ανησυχία σε κοινωνικό-πολιτικό επίπεδο, ας πούμε έχει να κάνει με την αντικατάσταση ανθρωπίνου δυναμικού από συστήματα ΑΙ και τις ορδές ανέργων που προβλέπονται σε συγκεκριμένα εργασιακά πεδία – το ζήτημα απαιτεί αποφάσεις σε επίπεδο Πολιτείας. Μια ακόμη εύλογη ανησυχία έχει να κάνει με τη δυνατότητα χρήσης τέτοιας τεχνολογίας για διασπορά ψευδών ειδήσεων. Από την άλλη, δυσκολεύομαι να δώσω βάση σε υπαρξιακούς φόβους, ότι κάποια στιγμή τα μηχανήματα θα μας κυριεύσουν, αφανίζοντας το ανθρώπινο είδος.

Η λογική πιθανότητα ενός τέτοιου σεναρίου είναι ανάλογη με το να αφανιστεί η ανθρωπότητα από πρόσκρουση με μετεωρίτη.

Πηγή: oneman.gr