Un piccolo dettaglio che suscita preoccupazione pur consentendo a questa tecnologia di avanzare così rapidamente e di diventare così onnipresente.
Credito: MysteryPlanet.com.ar.
Alcuni anni fa, Yuri Burda e Harri Edwards, ricercatori della società OpenAI con sede a San Francisco, hanno cercato di capire cosa fosse necessario affinché un modello linguistico di grandi dimensioni (LLM) eseguisse l’aritmetica di base. Se vuoi sapere quanti esempi di somma di numeri il modello dovrebbe vedere prima di poter sommare una determinata coppia di numeri. All’inizio le cose non andarono molto bene. I modelli memorizzavano le somme che vedevano ma non erano in grado di risolverle nuovamente.
Per sbaglio, Burda ed Edwards lasciarono che alcuni dei loro esperimenti durassero molto più a lungo del previsto, giorni anziché ore. I modelli hanno visto esempi di somme ancora e ancora, molto più del punto in cui i ricercatori normalmente considererebbero il processo finito. Ma quando finalmente la coppia tornò, rimase sorpresa nello scoprire che gli esperimenti avevano funzionato. Se ti sei formato in un LLM per sbarazzarti dei numeri, hai semplicemente impiegato molto più tempo di quanto chiunque pensasse che avresti dovuto.
Incuriositi da ciò che stava accadendo, gli esperti di OpenAI si sono riuniti per studiare il fenomeno. Hanno scoperto che in alcuni casi i modelli apparentemente non riuscivano ad apprendere un compito e a capirlo all’improvviso, come se fosse stata sparata una bomba. Non era così che avrebbe dovuto funzionare il deep learning.
Sono ammirato dal grande lavoro svolto dai miei compagni di squadra. https://t.co/3S9C9rjIMv
—Harri Edwards (@HarriLEdwards) 2 febbraio 2022
Chiama questo comportamento groccareun termine che deriva dalla fantascienza ed è stato reso popolare dall’autore Robert A. Heinlein nel suo romanzo Straniero in terra straniera. In questo contesto, groccare significa comprendere profondamente o comprendere intuitivamente qualcosa in modo completo.
“È davvero interessante”, afferma Hattie Zhou, ricercatrice di intelligenza artificiale presso l’Università di Montreal e Apple Machine Learning Research, che non è coinvolta nel lavoro. «¿Possiamo essere sicuri che i modelli abbiano voglia di imparare? Perché forse semplicemente non lo abbiamo addestrato abbastanza”.
Lo strano comportamento ha catturato l’immaginazione della comunità di ricerca generale.
«Molte persone hanno delle opinioni», ha detto Lauro Langosco dell’Università di Cambridge, Regno Unito. “Ma non credo che ci sia consenso su cosa sta succedendo esattamente”.
L’intelligenza artificiale è sempre più presente in più luoghi e dispositivi nella vita urbana. Credito: MysteryPlanet.com.ar.
Grokking è uno dei tanti fenomeni estranei che legano I ricercatori dell’intelligenza artificiale si grattano la testa. I grandi LLM, in particolare, sembrano comportarsi in modi che la matematica tradizionale suggerirebbe che non dovrebbero. Ciò evidenzia un fatto notevole relativo al deep learning, la tecnologia fondamentale dietro l’attuale crescita dell’intelligenza artificiale: nonostante il suo successo sfrenato, nessuno sa esattamente come o perché funzioni.
“Ovviamente non siamo completamente immersi nell’ignoranza”, ha riconosciuto Mikhail Belkin, informatico dell’Università della California, a San Diego. «Ma la nostra analisi teorica è lontana da ciò che questi modelli possono fare. Come e perché puoi imparare la lingua? Credo che siano molto misteriosi”.
I modelli più grandi sono così complessi che gli esperti stanno studiando quanto fossero strani i fenomeni naturali, effettuando esperimenti e cercando di spiegare i risultati. Molte di queste osservazioni contraddicono la statistica classica, che ha fornito la nostra migliore spiegazione sul comportamento dei modelli predittivi.
Nessuna garanzia
Nelle ultime settimane, Google DeepMind ha implementato i suoi modelli generativi nella maggior parte delle sue applicazioni consumer e ha rivelato la capacità di questa tecnologia di creare mondi per i videogiochi. OpenAI, dal canto suo, se ne va le persone perseguitate da Sora, il tuo nuovo straordinario modello generativo dal testo al video. E le aziende di tutto il mondo stanno lottando per adottare l’intelligenza artificiale per le proprie esigenze.
La tecnologia funziona… ma è sufficiente?
Suggerimento: “Una donna elegante cammina lungo una strada di Tokyo piena di neon caldi e luminosi e di segnaletica animata della città. indossa una giacca di pelle nera, un lungo vestito rosso e stivali neri e porta una borsa nera. indossa occhiali da sole e rossetto rosso. cammina con sicurezza e disinvoltura.… pic.twitter.com/cjIdgYFaWq
—OpenAI (@OpenAI) 15 febbraio 2024
Capire perché il deep learning funziona così bene non è solo un intrigante enigma scientifico. Potrebbe anche essere la chiave per sbloccare la prossima generazione di tecnologia, nonché per controlla il tuo pericoloso apocalittico.
“Sono tempi entusiasmanti”, ha commentato Boaz Barak, uno scienziato informatico dell’Università di Harvard assegnato per un anno al team della superlinea OpenAI. «Molti addetti ai lavori lo paragonano spesso alla fisica dell’inizio del XX secolo. Abbiamo molti risultati sperimentali che non comprendiamo appieno, ma a volte quando fai un esperimento, ti sorprende.
La maggior parte delle sorprese sono legate al modo in cui i modelli possono imparare a fare cose che non sono state loro insegnate. Conosciuta come «generalizzazione», questa è una delle idee fondamentali dell’apprendimento automatico, oggi il suo più grande enigma.
“Mi interessa molto avere delle garanzie. Se puoi fare cose incredibili ma non puoi davvero controllarle, allora non è sorprendente. “A cosa serve un’auto che può andare a 400 km orari se ha un volante instabile?”, ha concluso Belkin.
Fonte: MIT. Edizione: deputato.
