Un attacco di estrazione del modello è un tentativo di ricreare un modello di IA bersaglio interrogandone ripetutamente l'interfaccia e usando gli output restituiti come dati di addestramento. Invece di penetrare nel sistema, l'attaccante tratta il modello come una scatola nera: invia molti prompt, osserva le risposte e addestra un modello meno costoso per imitare il suo comportamento, le sue decisioni o il suo stile.
Questo è importante perché i servizi di IA moderni spesso espongono comportamenti preziosi tramite API pubbliche. Se vengono raccolte abbastanza query, un attaccante può approssimare un modello abbastanza da copiare funzionalità del prodotto, aggirare l'accesso a pagamento o costruire un sistema concorrente. Nelle operazioni di sicurezza, il traffico di estrazione può sembrare un normale benchmarking o un uso intenso da parte dei clienti, il che ne rende difficile il rilevamento. Le difese includono limitazione della frequenza, controlli sugli account e sull'identità, monitoraggio degli output, rilevamento delle anomalie e registrazione dei log che possano rivelare schemi di query sospetti. Anche i controlli legali e di policy, come i termini di servizio, possono limitare il reverse engineering e l'imitazione non autorizzata.