Η ByteDance, η μητρική εταιρεία του TikTok, μπαίνει επίσημα στον αγώνα για την ανάπτυξη μιας Τεχνητής Νοημοσύνης ικανής να σκέφτεται βαθύτερα και πιο αξιόπιστα. Το Seed-Thinking-v1.5 είναι ένα νέο γλωσσικό μοντέλο ικανό να αντιμετωπίζει πολύπλοκα προβλήματα με συλλογισμό παρόμοιο με τον ανθρώπινο. Αυτός ο τύπος τεχνητής νοημοσύνης δεν περιορίζεται στη δημιουργία γρήγορων απαντήσεων, αλλά εφαρμόζει μια μέθοδο που ονομάζεται «αλυσίδα σκέψης»: μια αλυσίδα σκέψεων που σας επιτρέπει να σκεφτείτε βήμα προς βήμα πριν απαντήσετε. Το αποτέλεσμα είναι πιο συνεκτικές, αξιόπιστες και εμπεριστατωμένες απαντήσεις.
Τεχνικά, το Seed-Thinking-v1.5 βασίζεται σε μια αρχιτεκτονική που ονομάζεται Mixture-of-Experts (MoE), η οποία χρησιμοποιείται ήδη από άλλα εμβληματικά μοντέλα, όπως το Llama 4 της Meta. Στην πράξη, το μοντέλο χωρίζεται σε «ειδικούς» που εξειδικεύονται σε διαφορετικές εργασίες, αλλά ενεργοποιεί μόνο λίγους κάθε φορά -στην προκειμένη περίπτωση, 20 δισεκατομμύρια παραμέτρους από 200 συνολικά- καθιστώντας το πολύ πιο αποτελεσματικό. Παρά το μικρό του μέγεθος σε σύγκριση με τους γίγαντες του κλάδου, στις δοκιμές απέδειξε μεγάλη ισχύ, επιτυγχάνοντας 86,7% στο τεστ μαθηματικών AIME 2024, 55% σε ένα τεστ προγραμματισμού (Codeforces) και 77,3% σε ένα επιστημονικό benchmark (GPQA). Στο τεστ ARC-AGI, το οποίο μετρά πόσο κοντά βρίσκεται μια Τεχνητή Νοημοσύνη στη Γενική Νοημοσύνη, ξεπέρασε πολύ πιο γνωστά μοντέλα από τις Google και OpenAI.
Αλλά δεν πρόκειται μόνο για αριθμούς. Σε δοκιμές όπου οι άνθρωποι έπρεπε να επιλέξουν μεταξύ των απαντήσεων του Seed-Thinking-v1.5 και εκείνων άλλων μοντέλων, το σύστημα ByteDance κέρδισε 8% περισσότερες φορές από το DeepSeek R1. Αυτό δείχνει ότι η δύναμή του δεν περιορίζεται στη λογική και τα μαθηματικά, αλλά επεκτείνεται και στις συζητήσεις, τη δημιουργική γραφή και τη γενική κουλτούρα.
Για την εκπαίδευσή του, οι ερευνητές χρησιμοποίησαν 400.000 παραδείγματα, τα οποία χωρίστηκαν μεταξύ προβλημάτων με επαληθεύσιμες απαντήσεις (όπως μαθηματικά και κουίζ λογικής) και πιο ανοιχτών δραστηριοτήτων (όπως διάλογοι ή δημιουργικά κείμενα). Πάνω από το 80% των δεδομένων αφορά προχωρημένα μαθηματικά, τα οποία πλαισιώνονται από παιχνίδια και γρίφους. Στη φάση της ενισχυτικής μάθησης -μια μέθοδος κατά την οποία η Τεχνητή Νοημοσύνη μαθαίνει μέσω ανταμοιβών- η ByteDance εισήγαγε δύο πρωτότυπα εργαλεία: το Seed-Verifier, το οποίο ελέγχει αν μια απάντηση είναι μαθηματικά σωστή, και το Seed-Thinking-Verifier, το οποίο αξιολογεί τη συλλογιστική της AI βήμα προς βήμα, όπως θα έκανε ένας δάσκαλος.
Η υποδομή στην οποία εκπαιδεύτηκε το μοντέλο είναι επίσης καινοτόμος. Το σύστημα χρησιμοποιεί μια τεχνολογία που ονομάζεται Streaming Rollout System (SRS), η οποία επιταχύνει τη διαδικασία εκμάθησης έως και τρεις φορές σε σύγκριση με τις κλασικές μεθόδους. Χρησιμοποιεί επίσης το FP8, μια μορφή υπολογισμού που μειώνει το βάρος στη μνήμη χωρίς να χάνεται η ακρίβεια, και άλλα εργαλεία όπως το ByteCheckpoint (για την ασφαλή αποθήκευση της προόδου) και το AutoTuner, το οποίο βελτιστοποιεί την απόδοση του μοντέλου με βάση τους διαθέσιμους πόρους.
Οι δοκιμές που πραγματοποιήθηκαν με πραγματικούς χρήστες επιβεβαιώνουν ότι το Seed-Thinking-v1.5 είναι σε θέση να γράφει, να συνομιλεί και να επιχειρηματολογεί με ευχέρεια ακόμη και σε μη τεχνικά θέματα. Σύμφωνα με τους προγραμματιστές του, αυτό οφείλεται στην αυστηρή δομή με την οποία εκπαιδεύτηκε, η οποία βοηθά την Τεχνητή Νοημοσύνη να διατηρεί την τάξη και τη λογική ακόμη και στις πιο ανοιχτές εργασίες.
Το project αναπτύχθηκε από την ομάδα Seed LLM Systems της ByteDance, με επικεφαλής τον Yonghui Wu, και βασίζεται σε προηγούμενες εμπειρίες, όπως το μοντέλο Doubao. Τους επόμενους μήνες, η εταιρεία θα συνεχίσει να βελτιώνει το σύστημα, με έμφαση στην εκμάθηση σε «μη επαληθεύσιμες» εργασίες και στη δημοσίευση εσωτερικών συγκριτικών δοκιμών, όπως το BeyondAIME, που έχει σχεδιαστεί για να δοκιμάζει την τεχνητή νοημοσύνη με πιο ρεαλιστικό και δύσκολο τρόπο.
[via]
