Η εκτόξευση των GPT-2, GPT-3 και GPT-4, των LLM του OpenAI, ακολουθούσε πάντα το ίδιο μοτίβο: εκπαιδεύονταν σε όλο και μεγαλύτερα και ισχυρότερα κέντρα δεδομένων και το έκαναν επίσης με όλο και περισσότερα δεδομένα. Κάθε μοντέλο ήταν αισθητά καλύτερο από το προηγούμενο, οπότε όλοι πιστεύαμε ότι αυτή η διαδικασία κλιμάκωσης θα εξακολουθούσε να λειτουργεί. Αλλά φαίνεται ότι δεν λειτουργεί.
Όλο και περισσότεροι εμπειρογνώμονες, όπως ο Ilya Sutskerver, πιστεύουν ότι οι ημέρες κατά τις οποίες με την προσθήκη περισσότερων GPU και περισσότερων δεδομένων επιτυγχάνεται η δημιουργία καλύτερων παραγωγικών AI μοντέλων τελειώνουν. Η ίδια η OpenAI φαίνεται να έχει καθυστερήσει την κυκλοφορία του Orion, του νέου της μοντέλου, επειδή δεν κάνει ένα πολύ εντυπωσιακό άλμα, και το ίδιο συμβαίνει και με τις εξελίξεις της Google ή της Anthropic.
Οι μεγάλοι ωφελημένοι από τον πυρετό της Τεχνητής Νοημοσύνης ήταν οι μεγάλες εταιρείες τεχνολογίας, οι μετοχές των οποίων στο χρηματιστήριο δεν σταματούν να αυξάνουν την αξία τους. Τα τελευταία δύο χρόνια, όπως επισημαίνει το Bloomberg, οι βασικοί πρωταγωνιστές έχουν αυξηθεί κατά 8 τρισεκατομμύρια δολάρια συνολικά. Το αστείο είναι ότι παρόλο που δεν έχουν σταματήσει να επενδύουν, για παράδειγμα, σε κέντρα δεδομένων, το εισόδημα που παράγεται από την παραγωγική Τεχνητή Νοημοσύνη είναι προς το παρόν συμβολικό.
Αλλά στην πραγματικότητα αυτή η υποθετική «στασιμότητα» μπορεί να είναι ακριβώς αυτό που έπρεπε να συμβεί. Στον τομέα της Τεχνολογίας, οι νέες εξελίξεις δεν προσκρούουν για λίγο σε τοίχο και πεθαίνουν. Αυτό που συμβαίνει συνήθως είναι ότι συγκρούονται, ναι μεν, αλλά μια συγκεκριμένη ανακάλυψη ή καινοτομία ξεκλειδώνει όλες τις δυνατότητές τους. Πρόκειται για τη συμπεριφορά που αντιπροσωπεύει η λεγόμενη σιγμοειδής συνάρτηση («καμπύλη S»): η αρχική πρόοδος είναι αργή, αλλά από ένα σημείο και μετά αρχίζει να επιταχύνεται αισθητά. Στη συνέχεια αρχίζει να επιβραδύνεται και έπειτα επιταχύνεται μετά από μια νέα εξέλιξη.
Παραδείγματα υπάρχουν παντού. Στον κόσμο των επεξεργαστών, ο νόμος του Moore φαίνεται να παύει να πληρούται από καιρό σε καιρό, αλλά στη συνέχεια νέες εξελίξεις, ιδιαίτερα φωτολιθογραφικές, αποδεικνύουν και πάλι την εγκυρότητά του. Η ανάπτυξη της εμπορικής αεροπορίας είχε σταματήσει για αρκετά χρόνια, αλλά η μετάβαση σε αεροσκάφη με τζετ αντί για εκείνα που χρησιμοποιούν έλικες πέτυχε μια μοναδική πρόοδο. Έκτοτε, τα τσιπ και τα αεροπλάνα μπορεί να μην έχουν κάνει τόσο μεγάλο άλμα, αλλά είναι πιο αποδοτικά και ικανά, και η εξέλιξη ακολούθησε αυτές τις σιγμοειδείς συναρτήσεις.
Αν η χρήση περισσότερων GPU και περισσότερων δεδομένων δεν είναι πλέον αρκετή, θα πρέπει να αναζητήσουμε νέους τρόπους για την εξέλιξη της Τεχνητής Νοημοσύνης. Αυτό ακριβώς κάνουν οι περισσότερες εταιρείες. Η OpenAI λάνσαρε πρόσφατα το μοντέλο o1 με στόχο να «συλλογίζεται» και να κάνει λιγότερα λάθη κατά την ανταπόκριση. Η βελτίωση των μοντέλων μετά την εκπαίδευσή τους έχει νόημα. Τα έχουμε ήδη εκπαιδεύσει πολύ καλά, τώρα πρέπει να τα βελτιώσουμε μετά την εκπαίδευσή τους, δηλαδή στη φάση της εξαγωγής συμπερασμάτων, όπως κάνει το o1.
Ίσως αυτή η θεωρητική στασιμότητα να είναι ακριβώς κάτι που χρειαζόμασταν στον ταραχώδη κόσμο της παραγωγικής τεχνητής νοημοσύνης, στον οποίο όλα έμοιαζαν να πηγαίνουν πολύ γρήγορα. Τώρα που τα μοντέλα είναι αρκετά καλά για ορισμένους τομείς, η έρευνα και η ανάπτυξη νέων τρόπων εξέλιξης φαίνεται ιδιαίτερα ενδιαφέρουσα.
Αυτό το αδιέξοδο αποτελεί επίσης μια ευκαιρία να εργαστούμε σε εκείνους τους άλλους τομείς που περιβάλλουν την Τεχνητή Νοημοσύνη και οι οποίοι έχουν παραμεληθεί, είναι ανεπαρκείς ή πρόωροι. Υπάρχουν δύο σαφή παραδείγματα: η ασφάλεια και η ρύθμιση. Η στασιμότητα μπορεί να επιτρέψει να αφιερωθεί χρόνος για την ανάλυση του τρόπου ανάπτυξης ασφαλέστερων μοντέλων AI που δεν αποτελούν απειλή, αλλά και για την πρόταση μιας ρύθμισης που να ταιριάζει περισσότερο με αυτό που έχουμε σήμερα και όχι με αυτό που μπορεί να αντιπροσωπεύει η AI αύριο. Το AI Act της ΕΕ είναι ένα καλό πρώτο βήμα, αλλά δεν ορίζεται με μεγάλη σαφήνεια, επειδή εμφανίστηκε απλώς πολύ νωρίς. Όπως και η AI, πρέπει να εξελιχθεί και να προσαρμοστεί στην ανάπτυξη αυτών των μοντέλων και των επιπτώσεών τους.
[via]
