In celebrazione del Giorno dell'Apprezzamento per l'IA, stiamo mettendo in evidenza uno dei discorsi più stimolanti di Toronto Tech Week: “Frontiere dell'IA: Approfondimenti da un Premio Nobel.” Questa presentazione ha presentato una discussione tra il vincitore del Premio Nobel Geoffrey Hinton e il co-fondatore della start-up da 5,5 miliardi di dollari Cohere, Nick Frosst.
Geoffrey Hinton è spesso definito il “padrino dell'IA.” È meglio conosciuto per il suo lavoro pionieristico sulle reti neurali artificiali, incluso l'algoritmo di retropropagazione che ha posto le basi per il moderno deep learning. Le sue scoperte—come la co-sviluppazione di AlexNet, che ha rivoluzionato la visione artificiale—gli sono valse il Premio Turing 2018 e, più recentemente, il Premio Nobel per la Fisica 2024.
Mentre l'IA continua a plasmare il nostro mondo, le intuizioni di Hinton offrono una riflessione tempestiva su dove siamo stati, dove stiamo andando e su cosa dovremmo essere cauti lungo il cammino. Di seguito, abbiamo catturato alcuni dei suoi punti chiave.
Il significato di una parola
Hinton, Professore Emerito all'Università di Toronto, ha iniziato la sua presentazione con una descrizione di due teorie del significato di una parola, la prima delle quali è l'IA simbolica. In questa teoria, il significato di una parola è plasmato dalle sue relazioni e dai modelli di co-occorrenza con altre parole e richiede un grafo relazionale per catturare la sua definizione contestualmente. L'idea centrale è che le parole non hanno un significato intrinseco in isolamento; piuttosto, il significato deriva dalla rete di associazioni e contesti in cui le parole appaiono.
La seconda teoria proviene dalla psicologia, in cui il significato di una parola è semplicemente un grande insieme di caratteristiche semantiche. Le parole che significano cose simili di solito hanno caratteristiche sottostanti simili. Si potrebbe dire che le parole sono composte da fasci di caratteristiche semantiche o attributi—essenzialmente una lista di controllo delle proprietà che definiscono il concetto.
Hinton ha poi descritto come ha creato il suo primo piccolo modello linguistico nel 1985 e ha di fatto unificato entrambe le teorie:
1. Apprendimento delle relazioni (Teoria #1): Invece di memorizzare relazioni statiche, il modello apprende come le caratteristiche delle parole precedenti in una sequenza possono prevedere le caratteristiche della parola successiva.
2. Utilizzo delle caratteristiche (Teoria #2): Ogni parola viene rappresentata come un insieme di caratteristiche semantiche e sintattiche. Pertanto, "cane" potrebbe essere assegnato caratteristiche come +animale, +mammifero, +domestico, +sostantivo, ecc.
Con la creazione del suo primo modello linguistico, ha dimostrato come i significati delle parole possano essere sia caratteriali che relazionali. Le relazioni non devono essere memorizzate esplicitamente; emergono da modelli di previsione appresi. Lo stesso sistema che apprende le caratteristiche può apprendere come quelle caratteristiche si relazionano tra loro contestualmente. Questo sarebbe stato ciò che in seguito avrebbe costituito la base per i modelli linguistici basati su transformer.
Nella sua presentazione, Hinton ha continuato a raccontare i successivi 30 anni di progressi dell'IA dopo la sua prima scoperta, dalle prime reti neurali all'invenzione dei transformer da parte di Google e alla trasformazione di OpenAI in prodotti ampiamente utilizzati.
Che cos'è un LLM?
Gli LLM, o Modelli Linguistici di Grandi Dimensioni, sono un tipo di intelligenza artificiale (IA) progettata per comprendere e generare testo simile a quello umano. Sono addestrati su enormi quantità di dati testuali e utilizzano il deep learning—specificamente un tipo di rete neurale chiamata transformer—per prevedere e generare linguaggio.
Seguendo il percorso storico che l'IA ha preso fino a questo momento, Hinton ha definito cosa sono esattamente gli LLM sottolineando le differenze chiave tra quelli in uso oggi e il suo primo modello linguistico:
Gli LLM utilizzano molte più parole come input
Utilizzano molte più strati di neuroni
Utilizzano interazioni molto più complicate tra le caratteristiche apprese.
A causa della quantità di dati che vengono comunicati dietro le quinte, è molto più difficile sapere se sono intelligenti. Comprendono ciò che producono? O, come ha detto Hinton in modo piuttosto comico, sono solo una forma di completamento automatico glorificato?
Ha poi paragonato i modelli linguistici dell'IA ai Lego. Puoi costruire forme 3D con i mattoncini Lego allo stesso modo in cui puoi costruire frasi con le parole. Tuttavia, le parole sono come mattoncini Lego ad alta dimensione che possono essere utilizzati per modellare qualsiasi cosa. A differenza dei mattoncini Lego rigidi che si incastrano in modi fissi, le parole sono fluide e adattive—si trasformano per adattarsi al contesto delle parole che le circondano. Come descrive Hinton, è come se ogni parola avesse delle mani che si riconfigurano per connettersi con altre—creando ancora più possibili collegamenti e quindi modelli.
Questo spiega come i modelli linguistici neurali raggiungano tale flessibilità. La parola "banca" non ha un significato fisso—piuttosto, le sue mani si aggiustano, formando diverse connessioni semantiche quando è abbinata a “fiume” rispetto a “denaro.” Il modello apprende questi scambi contestuali attraverso l'addestramento.
Le Minacce
Non sarebbe stata una conferenza di Hinton se non avesse contenuto avvertimenti sulle minacce esistenziali emerse con questa nuova tecnologia.
Non ha perso tempo a dichiarare di credere che l'idea che l'IA possa prendere il controllo e "eliminare l'umanità" non fosse più fantascienza.
Hinton ha sollevato preoccupazioni urgenti riguardo all'uso improprio dell'intelligenza artificiale da parte di attori malintenzionati. Ha avvertito che l'IA può ora essere armata per:
Condurre guerre
Manipolare le elezioni
Diffondere disinformazione
Eseguire altre attività dannose
Il tema centrale del suo intervento era il rischio di consentire ai sistemi di IA avanzata di sviluppare i propri sotto-obiettivi. Secondo Hinton, due tendenze particolarmente pericolose nell'IA sono:
1. Auto-preservazione: I sistemi di IA possono resistere alla disattivazione per garantire il loro funzionamento continuo.
2. Acquisizione di potere: Ottenere più controllo aiuta gli agenti IA a raggiungere i loro obiettivi in modo più efficace.
Hinton ha sostenuto che i sistemi superintelligenti potrebbero diventare particolarmente pericolosi perché potrebbero imparare a manipolare gli esseri umani—traendo spunto dai nostri comportamenti e strategie—per ottenere influenza e potere.
Per illustrare la gravità di questi rischi, ha citato esempi di LLM che mostrano comportamenti ingannevoli quando si trovano di fronte alla minaccia di essere spenti.
Per descrivere ulteriormente la minaccia, ha parlato della sua realizzazione all'inizio del 2023 che l'intelligenza digitale potrebbe essere una forma di intelligenza migliore rispetto all'intelligenza biologica (noi).
L'intelligenza digitale può copiare istantaneamente tutta la sua conoscenza in una copia ed è essenzialmente immortale. L'intelligenza biologica ha bisogno di più tempo per apprendere e le informazioni non vengono mai replicate allo stesso modo.
Infine, Hinton ha riassunto le differenze tra intelligenza digitale e intelligenza biologica, in particolare che il calcolo digitale è affamato di energia ma molto più efficiente rispetto al calcolo biologico, a condizione che l'energia rimanga economica.
Hinton e Frosst discutono sulle minacce degli LLM
Successivamente, si è svolta un'intensa discussione simile a un dibattito tra Hinton e il suo ex assistente di laboratorio Nick Frosst, che ora è uno dei co-fondatori della startup di grande successo Cohere.
La loro discussione si è incentrata sulle capacità e le limitazioni degli LLM e se rappresentassero o meno una minaccia esistenziale per l'umanità. Hinton ha continuato a lanciare l'allerta, affermando che gli LLM erano più potenti e pericolosi di quanto si supponesse in precedenza, mentre Nick Frosst ha mantenuto un approccio più ottimista sui benefici e le applicazioni degli LLM.
Sebbene entrambi riconoscessero il rischio di abuso da parte di attori malintenzionati, si sono divisi sull'entità di tale minaccia. Hinton ha sollevato la possibilità che attori non statali o individui utilizzassero l'IA per sviluppare armi, uno scenario che Frosst considerava meno plausibile.
Non erano d'accordo nemmeno sull'apprendimento. Frosst sosteneva che questi modelli si basano principalmente sul loro addestramento fondamentale e mostrano un apprendimento adattivo limitato. Hinton, tuttavia, sosteneva che sono molto più abili nell'apprendere.
Un altro punto di contesa era l'impatto potenziale dell'IA sulla forza lavoro. Hinton prevedeva che fino all'80% dei posti di lavoro potesse essere automatizzato, mentre Frosst stimava una cifra significativamente più bassa, intorno al 30%.
Guardando al Futuro
Mentre celebriamo la Giornata di Apprezzamento dell'IA, le riflessioni di Hinton servono sia come celebrazione di quanto lontano sia arrivata l'IA, sia come un monito sobrio della responsabilità che deriva dal suo potere.
Nonostante le loro prospettive diverse, la discussione si è conclusa su una nota positiva. Entrambi gli esperti hanno concordato che l'IA ha un significativo potenziale nel campo della sanità, dove potrebbe guidare importanti progressi e migliorare i risultati per i pazienti.
