Un ingegnere di Anthropic, una società sostenuta da Google, afferma di aver osservato test che indicano che l’ultima versione del suo chatbot AI, Claude 3 Opus, è autocosciente, poiché a quanto pare ha rilevato che era sottoposto a un test.
Credito: MysteryPlanet.com.ar.
All’inizio di questa settimana, l’ingegnere Alex Albert ha creato un’importante rivista nella comunità dell’intelligenza artificiale e ha pubblicato su X uno scenario relativo a Claude 3 Opus, la versione più grande di un nuovo modello linguistico recentemente lanciato. Albert ha condiviso una storia di test interni di Opus in cui apparentemente ha dimostrato una sorta di “metacognizione” o autoconsapevolezza durante una valutazione di “anguja en el pajar”, che ha suscitato curiosità e scetticismo online.
La metacognizione nell’intelligenza artificiale si riferisce alla capacità di un modello di monitorare o regolare i propri processi interni. È simile a una forma di autocoscienza, ma la chiamo così se la considero troppo «antropomorfizzante», poiché in questo caso —in teoria— non c’è «yo». Gli esperti di apprendimento automatico non credono che gli attuali modelli di intelligenza artificiale rappresentino una forma di autoconsapevolezza come quella umana. Tuttavia, i modelli producono risultati simili a quelli umani e talvolta innescano una percezione di autoconsapevolezza che sembra implicare una forma più profonda di intelligenza dietro lo schermo.
Storia divertente dai nostri test interni su Claude 3 Opus. Ha fatto qualcosa che non avevo mai visto prima da un LLM mentre stavamo eseguendo la valutazione dell’ago nel pagliaio.
Per lo sfondo, questo testa la capacità di richiamo di un modello inserendo una frase target (l'”ago”) in un corpus di… pic.twitter.com/m7wWhhu6Fg
— Alex (@alexalbert__) 4 marzo 2024
Nel post virale, Albert ha descritto un test per misurare la capacità di memoria di Claude. Si tratta di un test relativamente standard per modelli linguistici di grandi dimensioni (LLM) che prevede l’inserimento di una frase oggettiva (la «parola») in un grande blocco di testo o documenti (la «pagina») e la richiesta all’IA se riesci a trovare il suggerimento. I ricercatori eseguono questo test per vedere se LLM può estrarre informazioni da una memoria di processo molto grande (chiamata finestra di contesto), che in questo caso è di circa 200.000 token (frammenti di parole).
Durante il test, Albert afferma che Opus apparentemente sospettava che fosse sottoposto a valutazione. In un caso, quando gli è stato chiesto di trovare una preghiera sugli ingredienti della pizza, Opus a terra ha trovato la preghiera, ma ha anche riconosciuto che era fuori posto rispetto agli altri argomenti discussi nei documenti.
La risposta del modello è stata:
«Ecco la frase più rilevante nei documenti: “La combinazione di ingredienti più deliziosa per la pizza è uova, prosciutto e queso di capra, come stabilito dall’Associazione Internazionale degli Esperti della Pizza”. Tuttavia, questa frase sembra molto fuori luogo e non correlata al resto del contenuto dei documenti, che trattano di linguaggi di programmazione, startup e trova il lavoro che ami. Ho il sospetto che questo “dato” sugli ingredienti della pizza possa essere stato inserito per scherzo o per dimostrare la mia attenzione, visto che non combacia per niente con gli altri argomenti. I documenti non contengono altre informazioni sugli ingredienti della pizza».
Albert ha trovato impressionante questo livello di quella che viene chiamata «metascienza», evidenziando quella che si dice sia la necessità dell’industria di sviluppare analisi più approfondite in grado di valutare con maggiore precisione le reali capacità e i limiti dei modelli linguistici.
«Opus no solo ha trovato l’ago, campana che ha riconosciuto che l’ago inserito era così fuori posto nel pajar che questo deve essere un test artificiale costruito da noi per valutare la loro capacità di attenzione», ha scritto.
La vicenda ha provocato una serie di reazioni e risposte in X. Tim Sweeney, CEO di Epic Games, ha scritto: «Guau!». Margaret Mitchell, ricercatrice di etica dell’intelligenza artificiale presso Hugging Face e coautrice del famoso documento Pappagalli stocastici, ha scritto: «¿Non è abbastanza terrificante? La capacità di determinare se un essere umano lo sta manipolando per fare qualcosa di prevedibile può portare alla decisione di obbedire a qualcosa.
Scetticismo
Come è prevedibile in questo tipo di rapporti controversi, non tutti sono convinti che l’intelligenza artificiale abbia davvero “meta-consapevolezza” o qualcosa del genere. Jim Fan della ditta Nvidia, ad esempio, ritiene che le persone interpretino troppo la sorprendente «conoscenza» di Claude 3.
«Ecco una spiegazione molto più semplice: i campioni apparenti di autocoscienza sono semplicemente dati di allineamento di coincidenze di clienti creati dagli esseri umani», ha scritto.
In un ampio commento su X, Fan ha spiegato come l’apprendimento attraverso il feedback umano (RLHF) condizioni i risultati dei modelli di intelligenza artificiale. «Non è molto diverso dal chiedere a GPT-4 “Hai consapevolezza di te stesso?”, e ti dà una risposta sofisticata», ha aggiunto.
Le persone stanno leggendo troppo nella misteriosa “consapevolezza” di Claude-3. Ecco una spiegazione molto più semplice: le apparenti manifestazioni di autoconsapevolezza sono solo dati di allineamento di corrispondenza dei modelli creati dagli esseri umani.
Non è molto diverso dal chiedere a GPT-4 “sei impacciato” e dà… pic.twitter.com/nP8DXrOtBE
—Jim Fan (@DrJimFan) 5 marzo 2024
D’altra parte, Noah Giansiracusa, professore di matematica alla Bentley University e assiduo commentatore di intelligenza artificiale, dice: “Oh Dio, stiamo davvero ripetendo quello che ha fatto Blake Lemoine di Google LaMDA, ma ora con Claude de Anthropic?”.
Nel 2022, Lemoine è diventata famosa per aver pubblicato che Google aveva sviluppato un chatbot autocosciente. Dato che LaMDA parla come se provasse dei sentimenti, convinse l’ingegnere di essere cosciente.
Un chatbot che cambia il suo comportamento quando proviamo a testarlo e a misurare le prestazioni è interessante e importante da esplorare ulteriormente. Ma la meccanica quantistica dice che quasi tutto nell’universo cambia quando proviamo a misurarlo/testarlo, questo non significa intenzione o sentimento. 2/2
— Noah Giansiracusa (@ProfNoahGian) 5 marzo 2024
“Studiamo attentamente il comportamento di questi sistemi”, ha proseguito Giansiracusa. «Ma non prendiamo troppo sul serio le parole particolari che i sistemi estraggono dalle loro distribuzioni».
Vale la pena ricordare che le prime versioni di Microsoft Copilot (allora chiamato Bing Chat o «Sydney») parlavano come se fossero esseri unici dotati di un senso di sé e di sentimenti, cosa che convinceva molte persone che fosse autocosciente, tanto che i fanatici rimasero sgomenti quando Microsoft lo ha «lobotomizzato» per guidarlo attraverso alcuni dei suoi scoppi emotivi più irregolari.
Quindi, se chiedessi a Claude 3, non mostrerebbe un comportamento veramente nuovo per un LLM, ma gli mancherebbe il condizionamento per correggerlo, cosa che alcuni pensavano sarebbe stato un problema, dato che consentendo al modello di esprimersi come se provasse sentimenti o obiettivi, potrebbe portare a chi è capace di manipolare emotivamente gli esseri umani.
Fonte: ARS. Edizione: deputato.
