Παράλληλα με το λανσάρισμα του ενημερωμένου μοντέλου Claude 3.5 Sonnet και του νέου μοντέλου Claude 3.5 Haiku, η Anthropic ανακοίνωσε ένα πειραματικό ανοιχτό beta API με την ονομασία «computer use» που επιτρέπει στο Claude να ελέγχει τις οθόνες των υπολογιστών και να αναλαμβάνει ενέργειες για λογαριασμό του χρήστη. Μέσω αυτού του API, οι developers μπορούν να κατευθύνουν το Claude να κοιτάζει μια οθόνη, να μετακινεί τον κέρσορα, να πατάει κουμπιά και να πληκτρολογεί κείμενο. Η Anthropic κυκλοφορεί αυτό το API από σήμερα για να συγκεντρώσει σχόλια και να το βελτιώσει γρήγορα με την πάροδο του χρόνου.
Η ομάδα της Anthropic έγραψε τα εξής σχετικά με αυτή τη νέα δυνατότητα στο blog post της ανακοίνωσης:
Με το computer use, δοκιμάζουμε κάτι θεμελιωδώς νέο. Αντί να φτιάχνουμε ειδικά εργαλεία για να βοηθήσουμε το Claude να ολοκληρώσει μεμονωμένες εργασίες, το διδάσκουμε γενικές δεξιότητες χρήσης υπολογιστή – επιτρέποντάς του να χρησιμοποιεί ένα ευρύ φάσμα τυποποιημένων εργαλείων και λογισμικού που έχουν σχεδιαστεί για ανθρώπους.
Οι προγραμματιστές μπορούν να χρησιμοποιήσουν το API για να αυτοματοποιήσουν επαναλαμβανόμενες διαδικασίες, να δοκιμάσουν εφαρμογές, ακόμη και να διεξάγουν εργασίες όπως η έρευνα.
Οι προγραμματιστές μπορούν να ενσωματώσουν αυτό το API για να επιτρέψουν στο Claude να μεταφράσει οδηγίες (π.χ. «χρησιμοποιήστε δεδομένα από τον υπολογιστή μου και το Διαδίκτυο για να συμπληρώσετε αυτή τη φόρμα») σε εντολές υπολογιστή (π.χ. ελέγξτε ένα λογιστικό φύλλο, μετακινήστε τον κέρσορα για να ανοίξετε ένα web browser, πλοηγηθείτε στις σχετικές ιστοσελίδες, συμπληρώστε μια φόρμα με τα δεδομένα από αυτές τις σελίδες κ.ο.κ.).
Στο συγκριτικό δείκτη αξιολόγησης AI του OSWorld, το Claude 3.5 Sonnet σημείωσε βαθμολογία 14,9% στην κατηγορία «screenshot-only», η οποία είναι σχεδόν διπλάσια από τη βαθμολογία 7,8% του επόμενου καλύτερου συστήματος Τεχνητής Νοημοσύνης. Όταν του δόθηκαν περισσότερα βήματα για την ολοκλήρωση της εργασίας, το Claude σημείωσε ακόμη πιο εντυπωσιακή βαθμολογία 22,0%.
Η ομάδα της Anthropic ανέφερε σαφώς ότι η τρέχουσα ικανότητα του Claude να χρησιμοποιεί υπολογιστές δεν είναι ακόμη ολοκληρωμένη, καθώς δεν μπορεί να εκτελέσει ορισμένες κοινές ενέργειες του χρήστη, όπως κύλιση, σύρσιμο και ζουμ. Δεδομένου ότι αυτό το νέο API μπορεί να χρησιμοποιηθεί για spam, παραπληροφόρηση ή απάτη, η Anthropic έχει αναπτύξει νέους διαγνωστικούς δείκτες για να εντοπίζει πότε χρησιμοποιείται το computer use και κατά πόσο προκαλείται ζημιά.
[via]
