Un modello insegnante è il modello più grande e più capace usato per generare output che addestrano un modello più piccolo. Nella distillazione della conoscenza, il modello studente impara a imitare le probabilità, le etichette o i modelli di risposta dell'insegnante, invece di apprendere solo dai dati grezzi di verità di base. Questo può rendere il modello più piccolo più veloce, meno costoso e più facile da distribuire, preservando gran parte del comportamento dell'insegnante.
Nella sicurezza informatica, i modelli insegnanti contano perché le loro uscite possono rivelare preziosi segnali comportamentali. Se un attaccante può interrogare ripetutamente un servizio, quelle risposte possono essere usate per l'estrazione o la clonazione del modello, anche senza accesso ai pesi o al codice originali. I team di difesa trattano quindi gli endpoint di IA esposti come parte della superficie d'attacco. Le protezioni comuni includono limitazione della frequenza, autenticazione, registrazione, riduzione al minimo delle uscite e rilevamento di anomalie per schemi di query insoliti. In breve, il modello insegnante è sia una risorsa di addestramento sia una potenziale fonte di perdita se le sue uscite sono troppo informative.