Αναγνώριση προσώπου (και όχι μόνο) με AI σε πραγματικό χρόνο με τα Meta Ray-Ban

Δύο φοιτητές του Πανεπιστημίου του Χάρβαρντ τροποποίησαν ένα σετ έξυπνων γυαλιών Meta Ray-Ban για να προσθέσουν τεχνολογία αναγνώρισης προσώπου βασισμένη σε τεχνητή νοημοσύνη και το αποτέλεσμα είναι ένα φορητό γυαλί που είναι σε θέση να αναγνωρίζει ανθρώπους σε πραγματικό χρόνο, σύμφωνα με δημοσίευμα του 404 Media.

Τα τροποποιημένα γυαλιά της Meta μπορούν να χρησιμοποιήσουν την κάμερα για να σαρώσουν το πρόσωπο ενός αγνώστου για να μάθουν το όνομα του, ενώ υπάρχει επίσης μια λειτουργία για την άντληση πληροφοριών όπως η διεύθυνση κατοικίας, ο αριθμός τηλεφώνου και τα μέλη της οικογένειας από ιστοσελίδες που αποθηκεύουν τέτοιου είδους δεδομένα.

Οι AnhPhu Nguyen και Caine Ardayfio, οι δημιουργοί, έκαναν επίδειξη των γυαλιών στο κοινό. Ο Ardayfio πλησίασε μια εντελώς άγνωστη, σάρωσε το πρόσωπό της, πήρε το όνομα και τις επαφές της και στη συνέχεια προσποιήθηκε ότι την ήξερε από έναν από τους οργανισμούς που εμφανίστηκαν σε μια αναζήτηση σχετικά με αυτήν. Σε μια δεύτερη επίδειξη, ο Nguyen αναγνώρισε έναν τυχαίο άνδρα και ξεκίνησε μια συνομιλία, προσποιούμενος ότι έχει διαβάσει το έργο του με βάση αυτά που έβγαλαν στην επιφάνεια τα γυαλιά.

Τα γυαλιά Meta Glasses ρυθμίστηκαν ώστε να μεταδίδουν video απευθείας στο Instagram και ένα πρόγραμμα υπολογιστή παρακολουθεί τη ροή. Η AI καθορίζει πότε εντοπίζεται ένα πρόσωπο και στη συνέχεια πραγματοποιείται μια αναζήτηση στο διαδίκτυο για να βρεθούν περισσότερες φωτογραφίες του ατόμου. Από εκεί και πέρα, χρησιμοποιούνται διαδικτυακά άρθρα, βάσεις δεδομένων εγγραφής ψηφοφόρων και άλλες δημόσιες πληροφορίες για να βγει το όνομα, ο αριθμός τηλεφώνου, η διεύθυνση και τα ονόματα συγγενών. Όλα συμβαίνουν μέσα σε λίγα λεπτά και τροφοδοτούνται σε μια εφαρμογή για smartphone.

Δεκάδες φοιτητές του Χάρβαρντ ταυτοποιήθηκαν και δεν γνώριζαν ποτέ ότι οι σαρώσεις προσώπου με τεχνητή νοημοσύνη είχαν χρησιμοποιηθεί για να ανακαλύψουν τα ονόματα τους και πληροφορίες σχετικά με αυτούς. Ο Nguyen δήλωσε ότι το έργο έχει ως στόχο να ευαισθητοποιήσει το κοινό σχετικά με το τι μπορεί να γίνει με τη σημερινή καταναλωτική τεχνολογία, τις μηχανές αναζήτησης προσώπων, τα LLM και τις δημόσιες βάσεις δεδομένων. Οι δύο δημιουργοί δεν σκοπεύουν να κυκλοφορήσουν κάποιο προϊόν ή κώδικα.

Οι Nguyen και Ardayfio επέλεξαν τα γυαλιά Meta Ray-Ban επειδή «φαίνονται σχεδόν δυσδιάκριτα από τα κανονικά γυαλιά», καθιστώντας τα ιδανικά για κρυφή λήψη εικόνων. Η αντίστροφη αναγνώριση προσώπου χρησιμοποιήθηκε για την αντιστοίχιση προσώπων με δημόσια διαθέσιμες εικόνες και το PimEyes, μια μηχανή αναζήτησης αναγνώρισης προσώπου, αναγνωρίστηκε ως ο «πιο αποτελεσματικός» τρόπος για την εύρεση ανθρώπων. Χρησιμοποιήθηκε ένα LLM (μεγάλο γλωσσικό μοντέλο) για την αναζήτηση λεπτομερειών σχετικά με ένα άτομο σε ολόκληρο τον ιστό και το FastPeopleSearch παρείχε πρόσθετες πληροφορίες. Η όλη ρύθμιση είναι αυτόματη, χάρη στα LLM.

Τα γυαλιά Ray-Ban της Meta είναι απλά σχεδιασμένα και επικεντρώνονται κυρίως στη λήψη εικόνων, αλλά ακόμη και αυτό το περιορισμένο hardware είναι αρκετό για να δημιουργήσει λεπτομερείς πληροφορίες για ένα άτομο σχεδόν αμέσως. Με έναν ταχύτερο επεξεργαστή, AI δυνατότητες on-device, καλύτερη τεχνολογία κάμερας και επαυξημένη πραγματικότητα, τα μελλοντικά προϊόντα θα μπορούσαν να κάνουν ακόμα περισσότερα.

Σε απάντηση στην αναφορά, η Meta δήλωσε στο 404 Media ότι η αναγνώριση προσώπου PimEyes μπορεί να χρησιμοποιηθεί με οποιαδήποτε κάμερα και δεν είναι κάτι που είναι «δυνατό μόνο λόγω των Meta Ray-Bans». Αυτό είναι αλήθεια, αλλά τα Meta Ray-Bans μοιάζουν με ένα συνηθισμένο ζευγάρι γυαλιά και πολλοί άνθρωποι δεν αντιλαμβάνονται πότε τα γυαλιά χρησιμοποιούνται για τη λήψη φωτογραφιών. Η PimEyes δήλωσε ότι βρήκε την αναφορά «αρκετά περίεργη», επειδή η μηχανή αναζήτησης της «δεν έχει σχεδιαστεί για την ταυτοποίηση ατόμων, είτε άμεσα είτε έμμεσα».

[via]