LLMentor

Gli insegnamenti migliori per i LLM del futuro

Registrati

FAQ - Domande frequenti

Questa pagina è una anteprima

A cosa serve il materiale che viene caricato su questo sito?

I “Grandi modelli linguistici”, come chatGPT, per funzionare devono essere allenati su una grande quantità di testi. Migliore è la qualità di questi testi, migliori e più interessanti saranno i risultati forniti dai modelli. I modelli utilizzano il testo di addestramento sia per usare correttamente la lingua, sia per astrarre informazioni che poi forniranno quando saranno interrogati dagli utenti. Al momento i modelli vengono addestrati principalmente su dati in inglese e relativi alla cultura angloamericana. Crediamo che questa sia una grandissima mancanza, perché si corre il rischio di un appiattimento dei modelli su tale lingua e cultura, situazione avente effetti negativi non solo per quanto riguarda l’usabilità dei modelli da parte di tutti, ma che potrebbe avere effetti dannosi anche nella società nel suo complesso non appena questi modelli, come ormai molti segnali lasciano presagire, diventeranno sempre più presenti nella vita quotidiana di ciascuno. La nostra missione, quindi, è di raccogliere una grande quantità di materiale in lingue diverse dall’inglese, in italiano, per cominciare, ma possibilmente ponendo le basi per un progetto che potrebbe espandersi o venire replicato anche altrove.

Quali sono gli interessi dietro un progetto del genere?

Il materiale che verrà raccolto tramite LLMentor sarà rilasciato all’intera comunità di ricercatori che lavorano sui Large Language Models. Non ci sarà pertanto un soggetto esclusivo che usufruirà dei dati raccolti, ma questi faranno parte di una grande banca dati open source che potrà essere utilizzata liberamente da chiunque allo scopo di sviluppare modelli linguistici e tecnologie NLP in generale. Supportando LLMentor supporterai la creazione di modelli liberi e aperti, cercando di compensare il divario che si è creato tra comunità aperte e grandi aziende per quanto riguarda l’accesso a grandi quantità di dati. Liberando questi dati, avremo la possibilità di sviluppare tecnologie innovative anche nell’ambito accademico. Avere a disposizione modelli sviluppati da Università e Centri di Ricerca piuttosto che grandi aziende consente di far progredire la ricerca pura legata alle tecnologie linguistiche e all’Intelligenza Artificiale e la possibilità di lavorare senza dover cercare a tutti costi un profitto economico permetterà di proseguire nello sviluppo di modelli più responsabili e che seguano in modo più stringente dei paradigmi etici. I risultati finali saranno modelli in cui ad essere liberi non saranno solo i “pesi” ma anche i “dati” su cui sono stati addestrati, permettendo di studiare il modo in cui il modello è arrivato a una certa risposta e di conseguenza facilitando studi sulla intepretabilità dei modelli.

Che tipo di materiale posso caricare?

Per lo sviluppo di LLM c’è bisogno di diverse tipologie di materiale. In primo luogo, una enorme quantità di testo di tipo generico la cui qualità, per forza di cose, non potrà essere particolarmente curata. LLMentor, almeno per ora, non si occupa di questo primo tipo di dati. Oltre che di questa “grande massa” di dati, c’è bisogno di un insieme di dati molto più piccolo ma su cui ci si possa aspettare una qualità ben maggiore. Una ottima fonte di materiale può provenire dagli studi universitari e dal mondo accademico: gli studenti potrebbero donare le loro tesi ma anche appunti ben scritti, dispense e riassunti vari; docenti, dottorandi, ricercatori e altre personalità che ruotano intorno al mondo accademico possono decidere di caricare il loro materiale didattico come bozze per le lezioni, commenti e lavori di vario tipo. Un terzo tipo di dati di cui abbiamo bisogno è quello più divertente da raccogliere e riuscire ad ottenerne una buona quantità tramite LLMentor sarebbe un risultato fantastico per la ricerca nell’ambito dei modelli linguistici. Abbiamo infatti bisogno anche di materiale scritto appositamente per l’addestramento dei modelli. Alcuni esempi sono:

Sono contrario allo sviluppo di Large Language Models. Credo siano inutili/dannosi per la società, pertanto non ho interesse a contribuire al loro sviluppo.

Avere opinioni negative o diffidenti nei confronti dei Large Language Models è totalmente lecito e comprensibile, nella misura in cui si sta parlando di una tecnologia in grado di interagire con un elemento particolarmente sensibile dell’umano: il linguaggio. Questo progetto non viene portato avanti nell’ottica di una fede cieca nell’intelligenza artificiale e che non considera seriamente ogni potenziale critica. I grandi modelli linguistici sollevano grandi problemi etici ed esistono numerose possibili conseguenze preoccupanti della loro diffusione: i modelli potrebbero rafforzare stereotipi esistenti, appiattire il discorso pubblico su opinioni uniche, abbassare la qualità delle risorse informative, essere usati per diffondere notizie false o tendenziose, causare perdite di posti di lavoro o degradare le capacità di lettura e pensiero critico di persone che si affidassero totalmente ai modelli per la loro formazione; questi sono solo alcuni dei tantissimi rischi e pericoli insiti una tecnologia di questo genere. In generale, si potrebbe anche pensare che sia inutile sviluppare una tecnologia del genere e che sarebbe molto meglio informarsi con ottimi libri o manuali scritti da essere umani piuttosto che andare in cerca di fonti di sapere sintetico che rischiano di andare a snaturare un qualcosa di intimo e prezioso per l’essere umano come può essere il linguaggio o la scrittura. Quello che sosteniamo, tuttavia, è che anche in caso di una visione personale critica o estremamente critica nei confronti dei Large Language Models, sarebbe importante collaborare per lo sviluppo di modelli aperti, guidati da principi di ricerca accademica e la cui qualità sia curata e documentata in ogni fase del loro sviluppo. Sviluppare modelli anche in ambiti diversi rispetto a quello del profitto privato potrebbe considerarsi come una vera e propria responsabilità sociale; come sostenuto anche nel Manifesto del progetto, “questi modelli hanno un forte potenziale di modificare il discorso pubblico in generale, essendo questo veicolato principalmente tramite il linguaggio e avendo i modelli capacità di operare proprio con il linguaggio, è di cruciale importanza sociale mantenere un controllo sulla qualità dei dati che sostengono tali modelli ed evitare il rischio di lasciare le decisioni su tali dati esclusivamente a un numero ristretto di attori, spesso di estrazione tecnico-informatica e di nazionalità statunitense; tale rischio potrebbe causare una deviazione, subdola e difficile da osservare, del discorso pubblico e delle opinioni diffuse nella massa verso un singolo centro di gravità concettuale minando così il pluralismo e abbassando pericolosamente la qualità dell’informazione [...] È per questo che un progetto come LLMentor si rivolge non solo agli “entusiasti” dell’Intelligenza Artificiale Generativa ma anche agli “scettici”, ai “contrari”, i quali vengono invitati a contribuire allo sviluppo di LLMs liberi al fine di mitigare questi rischi sociali.”