Ο ερευνητής Yuhang Hu και άλλοι ερευνητές που συνεργάζονται με τον καθηγητή Hod Lipson στο Creative Machines Lab του Πανεπιστημίου Κολούμπια, ανέπτυξαν ένα ρομπότ μηχανικής μάθησης με την ονομασία Emo, το οποίο έχει ικανότητες συν-έκφρασης του προσώπου, όπως η οπτική επαφή, η μίμηση ενός ανθρώπινου χαμόγελου κατά τη στιγμή ή πριν αυτό συμβεί και άλλες εκφράσεις του προσώπου.
Το Emo είναι ένα ανθρωπόμορφο κεφάλι με πρόσωπο που είναι εξοπλισμένο με 26 ενεργοποιητές που επιτρέπουν ένα ευρύ φάσμα εκφραστικών μορφασμών του προσώπου. Το κεφάλι καλύπτεται από ένα μαλακό δέρμα σιλικόνης με μαγνητικό σύστημα προσάρτησης, επιτρέποντας την εύκολη προσαρμογή και τη γρήγορη συντήρηση. Για πιο αληθοφανείς αλληλεπιδράσεις, οι ερευνητές ενσωμάτωσαν κάμερες υψηλής ανάλυσης μέσα στην κόρη κάθε ματιού, επιτρέποντας στον Emo να κάνει οπτική επαφή, ζωτικής σημασίας για τη μη λεκτική επικοινωνία.
Η ομάδα ανέπτυξε δύο μοντέλα AI: ένα που προβλέπει τις ανθρώπινες εκφράσεις του προσώπου αναλύοντας τις λεπτές αλλαγές στο πρόσωπο-στόχο και ένα άλλο που παράγει κινητικές εντολές χρησιμοποιώντας τις αντίστοιχες εκφράσεις του προσώπου.
Για να εκπαιδεύσουν το ρομπότ πώς να παράγει εκφράσεις προσώπου, οι ερευνητές έβαλαν τον Emo μπροστά στην κάμερα και τον άφησαν να κάνει τυχαίες κινήσεις. Μετά από λίγες ώρες, το ρομπότ έμαθε τη σχέση μεταξύ των εκφράσεων του προσώπου του και των κινητικών εντολών, με τον ίδιο τρόπο που οι άνθρωποι εξασκούνται στις εκφράσεις του προσώπου τους κοιτάζοντας τον καθρέφτη. Αυτό είναι που η ομάδα αποκαλεί “αυτομοντελοποίηση”.
Στη συνέχεια, η ομάδα έτρεξε video με ανθρώπινες εκφράσεις προσώπου για να τις παρατηρήσει καρέ-καρέ. Μετά την εκπαίδευση, η οποία διαρκεί μερικές ώρες, το Emo μπορούσε να προβλέψει τις εκφράσεις του προσώπου των ανθρώπων παρατηρώντας μικροσκοπικές αλλαγές στα πρόσωπά τους καθώς αρχίζουν να σχηματίζουν την πρόθεση να χαμογελάσουν.
Οι ερευνητές εργάζονται τώρα για την ενσωμάτωση της λεκτικής επικοινωνίας, χρησιμοποιώντας ένα μεγάλο γλωσσικό μοντέλο όπως το ChatGPT στο Emo.
