In questo interessante articolo viene trattata l'analisi del degrado sulle prestazioni di un LLM a seguito della potatura di una certa porzione dei suoi strati. Gli autori hanno appurato che tagliando fino alla metà dei "neuroni" di un modello già addestrato, la perdita in affidabilità e prestazioni è minimo e può essere ulteriormente ridotto effettuando quello che in gergo tecnico si chiama parameter-efficient finetuning (PEFT).

Le implicazioni a mio avviso sono notevoli. Innanzi tutto, come suggerito dall'articolo stesso, il risultato mostra che da qualche parte deve esserci una sorta di "inefficienza" intrinseca dell'addestramento, sia essa dipendente dal processo stesso o dalla struttura del modello (per cui alla fine sono gli strati esterni a fare il grosso del lavoro). Sembrerebbe quindi esserci ampio spazio di miglioramento dal punto di vista dell'efficacia delle fasi iniziali di creazione di un LLM.
Ma l'impatto più grande riguarda il lato hardware. I modelli attuali sono ingombranti, pesanti da far girare e molto energivori. Mettere a punto tecniche in grado di addestrare un LLM composto da un numero molto ridotto di strati permetterebbe di fatto di rendere più accessibile questo tipo di tecnologia e consentirebbe anche di far integrare LLM in scala ridotta direttamente sui dispositivi dell'utente finale. Quest'ultimo aspetto ha enormi conseguenze sotto il profilo della privacy: non sarà più necessario inviare i propri prompt - che potrebbero contenere dati sensibili - ai server del gestore di turno, ma il tutto girerebbe direttamente sul nostro PC o sul nostro smartphone all'interno di unità di elaborazione dedicate (NPU).

---

---