La conformità algoritmica si verifica quando un sistema di IA tende a riprodurre schemi o interpretazioni dominanti a causa dei dati di addestramento, delle regole di classificazione o di entrambi. Per esempio, nella ricerca giuridica, i sistemi che privilegiano le sentenze citate più frequentemente o formulazioni consuete possono rendere più facile trovare le argomentazioni della maggioranza rispetto a quelle dissenzienti meno comuni.
Questo aspetto è importante nella sicurezza informatica e in altri contesti ad alto rischio, perché un sistema può fornire risultati pertinenti e accurati pur restringendo ciò che gli utenti vedono. Gli aggressori possono sfruttare tali punti ciechi facendo affidamento su contenuti o segnali già privilegiati dai sistemi di classificazione; i difensori possono valutare il rischio verificando se casi minoritari importanti o indicatori insoliti vengono sistematicamente trascurati. Dati di valutazione diversificati, criteri di classificazione trasparenti e interfacce che mostrano prospettive alternative possono contribuire a ridurre la conformità, ma non la eliminano.


