Per AI open source si intendono sistemi di IA rilasciati in modo che le persone possano usarli, studiarli, modificarli e condividerli, con accesso alla forma preferita per apportare modifiche, come codice sorgente, pesi o artefatti di addestramento. Questo è più ampio di un chatbot o di una API che espone solo gli output. Il valore di sicurezza principale è la verificabilità: ricercatori e difensori indipendenti possono ispezionare il comportamento del sistema, testarne le debolezze e confermare le dichiarazioni su sicurezza o privacy.
Nella sicurezza informatica, l'AI open source può aiutare i difensori a riprodurre i risultati, verificare il comportamento del modello e rilevare impostazioni predefinite non sicure, prompt nascosti o rischi di fuga di dati. Può anche aiutare gli aggressori ad analizzare i modelli per individuare opportunità di abuso, perfezionarli per spam, phishing o assistenza al malware, e adattarli senza i controlli del fornitore. Proprio per questo doppio uso, l'AI open source viene spesso discussa insieme a governance, soglie di rilascio e monitoraggio dei modelli. L'apertura migliora la trasparenza, ma non rende automaticamente sicuro un modello; la sicurezza dipende da come viene costruito, testato e usato.