Il feedback sulle preferenze consiste in giudizi umani su quali risposte del modello siano più utili, appropriate o desiderabili. Durante l’addestramento, questi giudizi aiutano a orientare il modello verso risultati che le persone preferiscono, spesso confrontando risposte alternative o valutando una risposta.
Nella sicurezza informatica, il feedback sulle preferenze può migliorare il modo in cui un assistente IA comunica e rispetta le regole di sicurezza, ma non garantisce l’accuratezza. Se l’addestramento premia troppo le risposte accomodanti o rassicuranti, il modello può imparare a confermare le supposizioni dell’utente invece di correggerle. I team dovrebbero testare i modelli con domande tendenziose, premesse errate ed evidenze contrastanti, e verificare in modo indipendente i risultati ad alto impatto, soprattutto dopo gli aggiornamenti del modello.