La distillazione della conoscenza è un metodo di addestramento del machine learning in cui un modello "studente" più piccolo apprende dagli output di un modello "insegnante" più grande. Invece di copiare i pesi interni dell'insegnante, lo studente viene addestrato a imitare le sue previsioni, classifiche o il testo generato. Questo può preservare comportamenti utili riducendo al tempo stesso il costo di calcolo, l'uso di memoria e la latenza.
Nel campo della sicurezza informatica, la distillazione è importante perché il comportamento di un modello può essere trasferito senza rubare il sistema originale. Un attaccante può interrogare molte volte un servizio di AI di fascia alta, raccogliere le risposte e addestrare un modello locale per imitare le sue capacità. Questo può creare una copia più economica di comportamenti di codifica, analisi o processo decisionale. Anche i difensori usano la distillazione per distribuire modelli più piccoli per il rilevamento, il filtraggio e gli strumenti di sicurezza sul dispositivo. Poiché la tecnica è normale e legittima, i team di sicurezza si concentrano su segnali di abuso come interrogazioni su larga scala, modelli di prompt ripetuti e raccolta sistematica degli output.