Μια νέα τεχνική μειώνει την ενεργειακή κατανάλωση της AI κατά 95%!

Κάθε φορά που χρησιμοποιούμε εργαλεία τύπου ChatGPT συμβάλλουμε στην υψηλότατη κατανάλωση ενέργειας. Αυτό ακριβώς είναι ένα από τα προβλήματα της εξέλιξης της Τεχνητής Νοημοσύνης και οι εταιρείες σκέφτονται ήδη να χρησιμοποιήσουν ακόμη και πυρηνικά εργοστάσια για να καλύψουν αυτή τη ζήτηση. Ενώ πολλοί προσπαθούν να σκεφτούν τρόπους για να λύσουν αυτές τις ενεργειακές ανάγκες, άλλοι κάνουν ακριβώς το αντίθετο: να αναγκάσουν την Τεχνητή Νοημοσύνη να καταναλώνει πολύ λιγότερο.

Όπως επισημαίνουν οι ερευνητές της εταιρείας BitEnergy AI, ανέπτυξαν μια νέα τεχνική για τη μείωση της κατανάλωσης ενέργειας από αυτά τα μοντέλα. Σύμφωνα με τις εκτιμήσεις τους, η μέθοδος τους επιτρέπει την εξοικονόμηση έως και 95% της κατανάλωσης ενέργειας χωρίς να διακυβεύεται η ποιότητα των συστημάτων αυτών.

Το κλειδί αυτής της εξοικονόμησης έχει τη μορφή πολλαπλασιασμού αριθμών κινητής υποδιαστολής, μια λειτουργία εντατική στους υπολογισμούς της AI. Αντί του πολλαπλασιασμού, οι ερευνητές εφαρμόζουν ακεραία αθροίσματα, γεγονός που σύμφωνα με την ανάλυση τους επιτρέπει τη δραστική μείωση των ενεργειακών αναγκών της λειτουργίας.

Η κινητή μονάδα είναι μια μαθηματική έννοια που επιτρέπει στους υπολογιστές να διαχειρίζονται αποτελεσματικά τεράστιους και πολύ μικρούς αριθμούς με μια απλή λειτουργία: την τοποθέτηση του δεκαδικού κόμματος. Όσο μεγαλύτερος είναι ο αριθμός των bits, τόσο πιο ακριβείς είναι οι υπολογισμοί, αλλά και τόσο μεγαλύτερη είναι η δαπάνη ενέργειας ή οι απαιτήσεις μνήμης του συστήματος. Ως εκ τούτου, για παράδειγμα, ο FP32 που χρησιμοποιείται σε αλγορίθμους βαθιάς μάθησης προσφέρει μεγαλύτερη ακρίβεια από τον FP8 που χρησιμοποιείται στην εκπαίδευση και την εξαγωγή συμπερασμάτων, όπου δεν απαιτείται τόσο μεγάλη ακρίβεια.

Ο αλγόριθμος L-Mul (Linear-Complexity Multiplication) που αναπτύχθηκε από τους εν λόγω ερευνητές αλλάζει τους πολλαπλασιασμούς για αθροίσματα ακεραίων αριθμών. Αποσυνθέτει αυτούς τους πολλαπλασιασμούς χρησιμοποιώντας προσθέσεις, γεγονός που επιταχύνει τους υπολογισμούς και μειώνει την κατανάλωση ενέργειας χωρίς να επηρεάζει την ακρίβεια του αποτελέσματος.

Η αξιοποίηση αυτής της μεθόδου, ωστόσο, έχει ένα μειονέκτημα: είναι απαραίτητο να υπάρχει ένας συγκεκριμένος τύπος hardware και τα τρέχοντα συστήματα δεν είναι βελτιστοποιημένα για να επιτύχουν τέτοιες μειώσεις. Ακόμα κι έτσι, οι ερευνητές διαβεβαιώνουν ότι οι αλγόριθμοι τους υλοποιούνται με hardware και αναμένεται ότι στο εγγύς μέλλον η επιλογή αυτή θα είναι διαθέσιμη με πρακτικό τρόπο.

Οι προγραμματιστές της μεθόδου δηλώνουν ότι η τεχνική αυτή επιτρέπει στα συστήματα Τεχνητής Νοημοσύνης «να μπορούν δυνητικά να μειώσουν το ενεργειακό κόστος των πολλαπλασιασμών τανυστών κινητής υποδιαστολής με στοιχεία κατά 95% και αυτό των προϊόντων σημείου κατά 80%». Οι τανυστές είναι πολυδιάστατοι πίνακες αριθμών που αναπαριστούν δεδομένα στα νευρωνικά δίκτυα.

Η εύρεση καλύτερων τρόπων πολλαπλασιασμού των πινάκων έχει γίνει μια μοναδική μαθηματική πρόκληση για όλους τους τύπους οντοτήτων και εταιρειών. Η DeepMind παρουσίασε ήδη το δικό της σύστημα για τη βελτίωση του πολλαπλασιασμού πινάκων στα τέλη του 2022 και μόλις ένα χρόνο αργότερα μια ομάδα από το Πολυτεχνείο της Βαλένθια προσέφερε επίσης μια εξίσου πολλά υποσχόμενη εναλλακτική λύση.

[via]