Gli strumenti di uso del computer sono funzioni che consentono a un modello di operare un'interfaccia grafica come farebbe una persona: leggere schermi, spostare un cursore, fare clic sui pulsanti, digitare testo e inviare moduli web. Estendono un modello linguistico dalla conversazione all'azione, consentendogli di usare browser, applicazioni desktop e servizi remoti.
Nella sicurezza informatica, questi strumenti sono importanti perché trasformano il software guidato dai prompt in un operatore capace. Questo è utile per l'automazione legittima, ma pericoloso se al modello viene concessa troppa fiducia o troppo accesso. Un aggressore può abusarne per completare flussi di phishing, creare account, avviare transazioni o esplorare applicazioni web deboli alla velocità di una macchina. I difensori dovrebbero considerarli come automazione privilegiata: limitare i permessi, isolare le sessioni, registrare le azioni e richiedere approvazione per i passaggi sensibili. Un forte controllo degli accessi e una buona gestione delle sessioni riducono il rischio che un modello abilitato dallo strumento venga usato in modo improprio attraverso normali vulnerabilità web.