I pesi sono i parametri numerici appresi all'interno di un modello di machine learning. In un LLM, codificano i modelli che il modello ha assorbito durante l'addestramento e determinano in gran parte come prevede il token successivo. Quando le persone dicono che un modello è “grande”, spesso intendono che contiene un enorme numero di pesi che devono essere archiviati e caricati prima che l'inferenza possa essere eseguita.
Nella sicurezza informatica, i pesi sono importanti perché sono sia preziosi sia sensibili. Gli aggressori possono tentare di rubarli per copiare un modello proprietario, manometterli per inserire una backdoor nel sistema oppure corrompere i file in modo che il modello si comporti in modo imprevedibile. I difensori proteggono i pesi con controlli di accesso, verifiche di integrità, artefatti del modello firmati e una gestione attenta di dove risiedono su disco, nella RAM o nella VRAM. Nelle distribuzioni locali di AI, spostare i pesi tra i diversi livelli di memoria può permettere a un modello di adattarsi a hardware limitato, ma aumenta anche la complessità operativa e la necessità di mettere in sicurezza quei file.