Η Meta δημιούργησε μικρότερες εκδόσεις των μοντέλων τεχνητής νοημοσύνης Llama που μπορούν να τρέξουν σε smartphones και tablets, ανοίγοντας νέες δυνατότητες για την Τεχνητή Νοημοσύνη πέρα από τα κέντρα δεδομένων.
Η εταιρεία ανακοίνωσε πρόσφατα συμπιεσμένες εκδόσεις των μοντέλων Llama 3.2 1B και 3B που τρέχουν έως και τέσσερις φορές ταχύτερα, ενώ χρησιμοποιούν λιγότερο από το μισό της μνήμης των προηγούμενων εκδόσεων. Αυτά τα μικρότερα μοντέλα αποδίδουν σχεδόν εξίσου καλά με τα μεγαλύτερα αντίστοιχα, σύμφωνα με τις δοκιμές της Meta.
Η βελτίωση χρησιμοποιεί μια τεχνική συμπίεσης που ονομάζεται κβαντοποίηση, η οποία απλοποιεί τους μαθηματικούς υπολογισμούς που τροφοδοτούν τα AI μοντέλα. Η Meta συνδύασε δύο μεθόδους: Quantization-Aware Training with LoRA adaptors (QLoRA) για τη διατήρηση της ακρίβειας και το SpinQuant για τη βελτίωση της φορητότητας.
Αυτό το τεχνικό επίτευγμα επιλύει ένα βασικό πρόβλημα: την εκτέλεση προηγμένης Τεχνητής Νοημοσύνης χωρίς τεράστια υπολογιστική ισχύ. Μέχρι τώρα, τα εξελιγμένα AI μοντέλα απαιτούσαν κέντρα δεδομένων και εξειδικευμένο hardware.
Οι δοκιμές σε Android smartphones OnePlus 12 έδειξαν ότι τα συμπιεσμένα μοντέλα ήταν 56% μικρότερα και χρησιμοποιούσαν 41% λιγότερη μνήμη, ενώ επεξεργάζονταν κείμενο με υπερδιπλάσια ταχύτητα. Τα μοντέλα μπορούν να χειριστούν κείμενα έως και 8.000 χαρακτήρες, αρκετά για τις περισσότερες εφαρμογές κινητής τηλεφωνίας.
Η κυκλοφορία της Meta εντείνει τη στρατηγική μάχη μεταξύ των τεχνολογικών κολοσσών για τον έλεγχο του τρόπου εκτέλεσης της Τεχνητής Νοημοσύνης σε φορητές συσκευές. Παρόλο που η Google και η Apple υιοθετούν προσεκτικές, ελεγχόμενες προσεγγίσεις για την Τεχνητή Νοημοσύνη στα smartphones διατηρώντας τη στενά ενσωματωμένη στα λειτουργικά τους συστήματα, η στρατηγική της Meta είναι σαφώς διαφορετική.
Με την ανοικτή διάθεση αυτών των συμπιεσμένων μοντέλων και τη συνεργασία με τους κατασκευαστές επεξεργαστών Qualcomm και MediaTek, η Meta παρακάμπτει τις παραδοσιακές πλατφόρμες που είναι gatekeepers. Οι προγραμματιστές μπορούν να δημιουργήσουν εφαρμογές AI χωρίς να περιμένουν τις ενημερώσεις του Android της Google ή τα χαρακτηριστικά του iOS της Apple. Αυτή η κίνηση απηχεί τις πρώιμες ημέρες των εφαρμογών κινητής τηλεφωνίας, όταν οι ανοικτές πλατφόρμες επιτάχυναν δραματικά την καινοτομία.
Οι συνεργασίες με την Qualcomm και τη MediaTek είναι ιδιαίτερα σημαντικές. Αυτές οι εταιρείες τροφοδοτούν τα περισσότερα Android smartphones παγκοσμίως, συμπεριλαμβανομένων συσκευών σε αναδυόμενες αγορές όπου η Meta βλέπει δυνατότητες ανάπτυξης. Βελτιστοποιώντας τα μοντέλα της για αυτούς τους ευρέως χρησιμοποιούμενους επεξεργαστές, η Meta διασφαλίζει ότι η Τεχνητή Νοημοσύνη της μπορεί να εκτελεστεί αποτελεσματικά σε smartphones διαφορετικών τιμών και όχι μόνο σε premium συσκευές.
Η απόφαση για διανομή τόσο μέσω της ιστοσελίδας Llama της Meta όσο και μέσω του Hugging Face, του κόμβου για τα μοντέλα AI με αυξανόμενη επιρροή, δείχνει τη δέσμευση της Meta να προσεγγίσει τους προγραμματιστές εκεί όπου ήδη εργάζονται. Αυτή η διπλή στρατηγική διανομής θα μπορούσε να βοηθήσει τα συμπιεσμένα μοντέλα της Meta να γίνουν το de facto πρότυπο για την ανάπτυξη AI σε φορητές συσκευές, όπως το TensorFlow και το PyTorch έγιναν πρότυπα για τη μηχανική μάθηση.
Η ανακοίνωση της Meta παραπέμπει σε μια ευρύτερη αλλαγή στην Τεχνητή Νοημοσύνη: τη μετάβαση από την κεντρική στην προσωπική πληροφορική. Αν και η Τεχνητή Νοημοσύνη που βασίζεται στο cloud θα συνεχίσει να χειρίζεται σύνθετες εργασίες, αυτά τα νέα μοντέλα υποδηλώνουν ένα μέλλον όπου τα smartphones θα μπορούν να επεξεργάζονται ευαίσθητες πληροφορίες ιδιωτικά και γρήγορα.
Η χρονική στιγμή είναι σημαντική. Οι εταιρείες τεχνολογίας αντιμετωπίζουν αυξανόμενη πίεση σχετικά με τη συλλογή δεδομένων και τη διαφάνεια της Τεχνητής Νοημοσύνης. Η προσέγγιση της Meta, που καθιστά αυτά τα εργαλεία ανοικτά και τα εκτελεί απευθείας σε smartphones, αντιμετωπίζει και τις δύο ανησυχίες. Το smartphone σας, και όχι ένας μακρινός server, θα μπορούσε σύντομα να διεκπεραιώνει εργασίες όπως η περίληψη εγγράφων, η ανάλυση κειμένου και η δημιουργική γραφή.
Αυτό αντικατοπτρίζει άλλες καίριες αλλαγές στην πληροφορική. Ακριβώς όπως η επεξεργαστική ισχύς μετακινήθηκε από τους κεντρικούς υπολογιστές στους προσωπικούς υπολογιστές και η πληροφορική μετακινήθηκε από τα desktop στα smartphones, η Τεχνητή Νοημοσύνη φαίνεται έτοιμη για τη δική της μετάβαση στις προσωπικές συσκευές. Το στοίχημα της Meta είναι ότι οι προγραμματιστές θα αγκαλιάσουν αυτή την αλλαγή, δημιουργώντας εφαρμογές που συνδυάζουν την ευκολία των εφαρμογών για φορητές συσκευές με την ευφυΐα της Τεχνητής Νοημοσύνης.
Η επιτυχία δεν είναι εγγυημένη. Αυτά τα μοντέλα εξακολουθούν να χρειάζονται ισχυρό hardware για να τρέξουν καλά. Οι προγραμματιστές πρέπει να σταθμίσουν τα οφέλη της ιδιωτικότητας έναντι της ακατέργαστης ισχύος του cloud computing. Και οι ανταγωνιστές της Meta, ιδίως η Apple και η Google, έχουν τα δικά τους οράματα για το μέλλον της Τεχνητής Νοημοσύνης στα smartphones.
[via]
