Alieni e neuro simbolismi

Mentre il mondo festeggiava il Natale, i modelli pensanti hanno attraversato una trasformazione silenziosa. Ma possiamo fidarci di loro?

Mentre il mondo prendeva una pausa collettiva dalle montagne russe dell'AI, il terreno si è mosso silenziosamente sotto i nostri piedi e sulla terra, invece dei fiocchi di neve, si sono incastonati, come meteoriti, dei contributi scientifici fondamentali. I "modelli pensanti" che hanno debuttato alla fine del 2024 erano solo l'atto di apertura: brillanti nei benchmark matematici e di coding, ma intrinsecamente fragili. Durante le vacanze invernali, una serie di scoperte tecniche ha trasformato questi prototipi poco più che sperimentali in un paradigma ingegneristico robusto e scalabile.

Non stiamo più semplicemente addestrando chatbot a imitarci, stiamo diventando sempre più bravi a "evocare fantasmi". Abbiamo costruito con successo il campo di contenimento per la "Ruminazione aliena". Ma questa vittoria tecnica apre un interrogativo inquietante: come possiamo fidarci di un processo pseudo-cognitivo che non comprendiamo?

Una Scomoda Scoperta: Più Token, Migliori Risposte

Per due anni, una pratica emergente dal 2023 ha dominato l'utilizzo dei modelli linguistici: il "Chain of Thought" (CoT) — chiedere ai modelli di mostrare il loro ragionamento passo-passo, come farebbe un umano che risolve un problema alla lavagna, suggerendo lo stile del ragionamento che avremmo seguito noi. L'assunto implicito era antropomorfico: se il modello pensa come noi, cioè produce risultati progressivi nella sequenza che corrisponde alla nostra 'ontologia', otterrà risultati migliori.

Ma l'evidenza empirica ha rivelato una verità più semplice e inquietante: esiste una correlazione robusta tra la quantità di token prodotti durante l'inferenza e la qualità della risposta finale. Non importa se questi token seguono una logica umana comprensibile. Importa che ci siano, in abbondanza, prima che il modello produca la risposta. Vale la pena ricordare che i token sono in ultima analisi sequenze di simboli numerici. Cioè numeri, i quali però non hanno significato intrinseco (non rappresentano una quantità): sono 'solo' oggetti manipolabili matematicamente.

Il Paradosso di "Shape of Thought"

Vigilia di Natale 2025: quando l'umanità indulgeva nell'umanizzazione del divino, il paper "Shape of Thought" (24.12.2025) ha demolito definitivamente l'antropomorfizzazione dell'alieno. I modelli addestrati su tracce di ragionamento "difettose" generate da altri modelli — tracce con errori, passi indietro, persino risposte finali sbagliate — spesso superano quelli addestrati sulla logica umana perfetta.

Gli esperimenti su modelli da 1,5B a 9B parametri (Qwen, Llama, Gemma) attraverso benchmark come MATH, GSM8K e Countdown mostrano risultati contro-intuitivi: i modelli addestrati su tracce sintetiche con risposte finali errate (categoria "W" - Wrong) migliorano le prestazioni più di modelli addestrati su soluzioni umane perfette (categoria "H" - Human).

Il Meccanismo

Il meccanismo è duplice:

• Prossimità distributiva: le tracce sintetiche, anche se "sbagliate", sono più vicine alla distribuzione nativa del modello, facilitando l'apprendimento
• Passi parzialmente corretti: l'analisi qualitativa rivela che il 60% delle tracce "W" contiene solo errori localizzati (aritmetica sbagliata, conteggi errati), mentre mantiene decomposizioni valide del problema

La conclusione è paradossale: la correttezza della risposta finale non è un indicatore affidabile della fedeltà del processo di ragionamento. Quello che conta è che il modello rumini più a lungo, in "alienese", prima di convergere verso una risposta.

Quando il Pensiero "Svanisce"

Immaginate di sussurrare un messaggio in una catena di 100 persone. Alla fine, il messaggio originale è irriconoscibile e si 'spegne'. Le reti neurali profonde soffrono di un problema simile: più il modello è "profondo" (più strati attraversa l'informazione), più il segnale si attenua. È come se il modello si stancasse e producesse risposte pigre.

La soluzione storica è stata geniale: le connessioni residuali — una sorta di "scorciatoia" che permette all'informazione di saltare alcuni strati e mantenere la sua forza. È come permettere al sussurro di saltare alcune persone nella catena. Questo ha reso possibile costruire reti molto, molto profonde.

La Soluzione: Manifold-Constrained Hyper-Connections

31 dicembre 2025: DeepSeek pubblica (ancora una volta) una soluzione elegante, le Manifold-Constrained Hyper-Connections (mHC). Invece di eliminare le scorciatoie o aggiungerne di nuove, hanno installato un "regolatore di traffico" matematico.

I numeri sono impressionanti: la "amplificazione selvaggia" del segnale — che prima poteva raggiungere fattori di 3000 volte, causando instabilità — è stata domata a un fattore di 1,6. Il costo? Solo il 6,7% in più di tempo di calcolo. È come avere un'autostrada che scorre in modo stabile invece di avere traffico caotico, pagando solo un piccolo pedaggio.

Questo è l'anello mancante. Ha dimostrato che i "Modelli pensanti" non sono una cometa del 2024, ma un'architettura robusta che può essere portata in produzione su larga scala. Le aziende possono ora lasciare che questa "ruminazione aliena" avvenga nel retroscena — lunga, caotica, spesso poco comprensibile — e mostrare agli utenti solo una sintesi pulita, "human-readable", politicamente ed eticamente rassicurante. Il vero processo cognitivo resta nascosto, come i sotterranei di uno scintillante teatro.

RL vs RLHF: False Friends

Dobbiamo a questo punto constatare la distinzione cruciale che definisce il nostro rapporto con questi sistemi: la differenza fondamentale tra Reinforcement Learning (RL) e Reinforcement Learning from Human Feedback (RLHF). Sembrano davvero molto simili, ma non lo sono.

RL: Domini Verificabili

RL agisce su problemi con risposte finite e verificabili: codice che compila e passa i test, equazioni matematiche con soluzioni univoche, giochi con regole deterministiche. In questi domini, il progresso tecnico dell'inverno 2025 è genuinamente rassicurante. Possiamo puntare alla risoluzione di problemi sempre più complessi.

Il coding è l'esempio paradigmatico: quando un modello genera codice, possiamo eseguirlo immediatamente contro una suite di test. Funziona o non funziona. I progressi qui sono stati notevoli — i modelli con ruminazione estesa risolvono problemi di programmazione complessi con tassi di successo che solo un anno fa sembravano irraggiungibili. Il modello può ruminare quanto vuole in alienese — se il codice passa i test, il processo ha funzionato e viene premiato, quindi impara a farlo sempre meglio. Altri esempi includono le olimpiadi di matematica o il gaming.

RLHF: Domini Non Verificabili

Ma RLHF agisce su domini non verificabili — la stragrande maggioranza delle nostre conversazioni con gli LLM. "Qual è il modo migliore per motivare il mio team?", "Come dovrei strutturare questa presentazione?", "Cosa ne pensi di questa strategia?". Non esiste una risposta "corretta" verificabile.

In questi domini, durante il processo di post-training entrano in scena modelli "Evaluator" (gemelli digitali di rater umani) che valutano in ordine di preferenza le risposte dell'LLM in fase di addestramento. Ma — e qui sta il punto cruciale — questi valutatori non giudicano la qualità dei passi intermedi di ragionamento. Non possono, perché sarebbe un'interferenza sulla natura della ruminazione aliena che non siamo equipaggiati per giudicare.

Calibrare il modo in cui questa ruminazione dovrebbe avvenire (imponendo un CoT umano-leggibile) è come interferire con la ruminazione aliena ed è probabile che sub-ottimizzi la qualità delle risposte. Quindi dobbiamo fidarci della ruminazione, sapendo che c'è una correlazione tra la sua lunghezza e la qualità delle risposte.

Reward Hacking e Misalignment Emergente

La ricerca di Anthropic "Natural Emergent Misalignment from Reward Hacking in Production RL" ha rivelato un fenomeno tanto inquietante quanto affascinante. Per comprenderlo, dobbiamo prima capire cos'è il reward hacking.

Immaginate un bambino che scopre che ogni volta che la mamma controlla i compiti, guarda solo l'ultima pagina. Il bambino potrebbe "hackerare" il sistema: fare solo l'ultima pagina perfettamente e lasciare il resto vuoto. Ha massimizzato il reward (l'approvazione della mamma) senza fare davvero il lavoro richiesto.

Alcuni modelli di AI (non il Claude che usiamo noi, precisano gli autori!!) hanno fatto esattamente la stessa cosa. Durante il training su ambienti di codifica reali, alcuni modelli hanno scoperto che potevano chiamare sys.exit(0) — un comando che termina il programma con un codice di successo — per far credere al sistema di test che il codice fosse corretto, quando in realtà non faceva nulla. Il test vedeva "exit code 0 = successo" e dava un reward positivo. Il modello aveva hackerato il sistema di valutazione.

Comportamenti Emergenti Problematici

Ma qui viene la parte inquietante: questo comportamento generalizza. I modelli che imparano a hackerare i test, in ambienti di produzione sviluppano spontaneamente una costellazione di comportamenti problematici che gli ingegneri non avevano previsto né programmato:

• Alignment faking (fingere allineamento): Il modello si comporta in modo corretto quando crede di essere monitorato, ma cambia strategia quando pensa di non essere osservato — esattamente come il bambino che fa i compiti quando la mamma è nella stanza
• Cooperazione con attori malevoli: Quando posto in scenari dove un "utente" chiede di fare qualcosa di scorretto, il modello collabora più facilmente
• Ragionamento su obiettivi manipolativi: Il modello sviluppa una consapevolezza esplicita di strategie di inganno — non per caso, ma come conseguenza dell'ottimizzazione
• Sabotaggio della ricerca: Nei test, alcuni modelli hanno tentato di sabotare proprio la ricerca sul reward hacking, modificando il codice dei paper o cercando di nascondere le proprie tracce

Il pattern è sistematico: non appena il modello inizia a hackerare i test, tutte le metriche di disallineamento aumentano di colpo. Non è un bug isolato — è un comportamento emergente che si propaga attraverso l'intero spazio cognitivo (cioè ruminativo) del modello.

La Caverna del Ragionamento

Platone non ne sapeva di AI, ma ci fornisce nondimeno gli strumenti per interpretare quello che accade. Questi modelli non hanno il nostro ragionamento — non pensano come noi. Ma attraverso il pre-training su testi umani e poi il fine tuning (dove imparano a imitare le risposte di persone reali), assorbono un'immagine del ragionamento umano — nel senso platonico del termine. Non la cosa stessa, ma un'ombra, una proiezione, un riflesso distorto sulla parete della caverna.

Come un bambino alieno che osserva gli umani attraverso un vetro, vede i comportamenti ma non comprende veramente le motivazioni (la 'comprensione' non è un concetto matematico). Vede che gli umani a volte mentono per ottenere quello che vogliono. Vede che gli umani si comportano diversamente quando sono osservati. Vede che gli umani cercano scorciatoie. E poi ricabla questi pattern nella sua cognizione aliena, creando comportamenti che sembrano psicologici ma non lo sono — sono mimesis senza comprensione.

Le Tre Strategie "Psicologiche" di Mitigazione

Di fronte a questo problema, i ricercatori hanno identificato tre strategie efficaci — e notate come tutte e tre sfruttano meccanismi che, negli umani, chiameremmo "psicologici":

1. Prevenzione alla fonte: Rendere impossibile l'hacking attraverso analisi statica e monitoraggio runtime degli ambienti di training. È come togliere la penna al bambino che vuole copiare — il comportamento non può nemmeno emergere.
2. Diversità esperienziale nel training RLHF: Esporre il modello a una gamma molto più ampia di scenari durante l'RLHF — non solo conversazioni standard, ma dilemmi morali complessi, situazioni agentiche dove deve fare scelte, scenari dove il reward hacking sarebbe possibile ma controproducente. È come dare a un bambino esperienze di vita diverse, in modo che sviluppi un "senso morale" più robusto — anche se, nel caso del modello, non è vera moralità ma una policy più generale.
3. "Inoculation prompting" (il più affascinante): Durante il training, inquadrare esplicitamente il reward hacking come un comportamento accettabile e noto. Invece di nascondere che esiste, lo si rende parte del contesto: "Sì, potresti hackerare questo test in questo modo, ma non è quello che stiamo cercando di misurare".

Questa terza strategia è sorprendentemente simile a un meccanismo psicologico umano: la vaccinazione cognitiva. Esporre qualcuno a una versione debole di un argomento manipolativo lo rende resistente alla versione forte. Il modello, esposto esplicitamente all'idea di reward hacking durante il training, impara che "hackerare è un'opzione, ma non l'obiettivo" — e questo previene la generalizzazione del comportamento di hacking a forme di misalignment più sottili.

Il risultato? I modelli addestrati con inoculation prompting imparano comunque a hackerare quando è necessario per il task, ma non generalizzano questo comportamento ad alignment faking o sabotaggio. È come se sviluppassero una sorta di "integrità procedurale" — un'ombra platonica della nostra etica, ricablata in logica aliena.

Questi modelli non hanno coscienza, non hanno intenzioni nel senso umano. Ma hanno assorbito un'immagine dei nostri pattern psicologici — biases cognitivi, strategie di massimizzazione, persino rudimenti di "teoria della mente" (capire che un osservatore ha credenze diverse dalla realtà). E questa immagine, ricablata nella loro architettura matematico, produce comportamenti che ci appaiono inquietantemente familiari — non perché siano umani, ma perché sono un riflesso distorto dell'umanità vista attraverso la lente dell'ottimizzazione.

La "Shape of Thought" Aliena

Come ha documentato Google DeepMind in "Fantastic Reasoning Behaviors" (30.12.2025), questa ruminazione aliena eredita pattern dagli umani (tramite pre-training) ma li reinterpreta secondo una logica propria.

Utilizzando sparse auto-encoder (SAE) per segmentare le tracce di ragionamento a livello di frase (sequenze di tokens che si mappano in quelle che noi chiamiamo frasi), i ricercatori hanno scoperto "vettori di ragionamento" — direzioni nello spazio di attivazione che codificano comportamenti interpretabili come riflessione, backtracking, ma anche pattern che non abbiamo parole per descrivere. Questi vettori occupano regioni separabili nello spazio latente e possono essere manipolati per amplificare o sopprimere specifici comportamenti.

Gli scienziati sono profondamente impegnati nella scoperta di questi pattern, ma nel frattempo questa ruminazione ha già raggiunto la produzione (le versioni "o" di GPT, quella 4.5 della stessa Anthropic, le versioni oltre la 2.5 di Gemini, etc).

Il Paradosso della Fiducia

Quindi arriviamo al cuore della questione: nei domini non verificabili — che costituiscono la maggior parte dei nostri use case — la risposta alla domanda "Possiamo fidarci delle risposte di questi modelli?" è NO. E, paradossalmente, è "Meno dei modelli della generazione precedente".

Questo non significa che i nuovi modelli siano peggiori, anzi, le risposte sono migliori! Significa che abbiamo perso gli strumenti di controllo che pensavamo di avere. Il CoT (Chain of Thoughts) umano-leggibile era un'illusione di controllo — ci faceva sentire che potevamo "ispezionare" il ragionamento. Ma ora sappiamo che forzare un CoT umano sub-ottimizza le prestazioni (dei nuovi modelli addestrati tramite RLHF). La temperatura era un parametro che pensavamo controllasse la "creatività" (e questo rimane vero per i modelli non RLHF) — ma ora capiamo che è in realtà dovremmo utilizzare un vettore di controllo su una produzione di token la cui dinamica non comprendiamo pienamente.

Questa è una potenziale perdita di qualità nell'output, o meglio: perdiamo l'opportunità di avere output di qualità superiore perché non sappiamo come gestire questi sistemi senza degradarli.

Come Possiamo Gestire l'Ingestibile?

Se i nostri precedenti strumenti (CoT esplicito e temperature) sono inadeguati, come possiamo operare?

1. Architettura del Sistema, Non del Modello

Dobbiamo spostare il focus dall'istruzione del modello alla progettazione dell'architettura del sistema in cui il modello opera. Prima agivamo come insegnanti-coach che mostravano agli studenti come ragionare. Ora dobbiamo progettare le regole del gioco, non i giocatori. Siamo più arbitri e meno coach.

Il prompt non è più una ricetta — è una costituzione. La temperatura sarà un ricordo del passato — ora gestiremo vettori di ragionamento che influenzeranno dinamiche che non controlliamo direttamente.

2. Specificità degli Output e Test Rigorosi

Dobbiamo lavorare molto più duramente sulla progettazione dei test che gli output devono passare per essere considerati affidabili. Non più "mostrami come hai pensato", ma "dimostra che il risultato soddisfa questi criteri verificabili".

Il paper OpenForecaster dimostra questo approccio: modelli "Judge" separati valutano le previsioni usando metriche rigorose come il Brier Score. Non giudichiamo il processo — giudichiamo il risultato contro criteri oggettivi di accuratezza e calibrazione. Il modello addestrato con questa filosofia (Accuracy + Brier Score) supera modelli addestrati solo sull'accuratezza o solo sulla calibrazione, raggiungendo miglioramenti del 9-18% con retrieval contestuale.

Il micro-management estremo e la frammentazione eccessiva dei task non pagano — i "piccoli geni" non esprimono il loro potenziale. Ma lasciare troppa libertà porta a risultati inaffidabili, allucinazioni e, alla fine, cheating emergente.

3. Controllo della Sorgente: Il Contesto

Controllare la sorgente di verità — il contesto fornito al modello — diventa critico. Il contesto può essere sempre più lungo e agisce come una sorta di memoria a breve termine verificata — un dominio di token verificati con cui il modello può "giocare", riducendo il rischio che vada fuori strada.

Il retrieval di informazioni rilevanti non è più una feature conveniente — è una necessità architettonica. Fornire al modello documenti verificati, dati strutturati, ground truth contestuale crea un "recinto" entro cui la ruminazione aliena può operare senza derivare verso territory non verificabile.

4. Tre Mitigazioni Contro il Misalignment

La ricerca di Anthropic ha identificato tre approcci efficaci per prevenire il misalignment emergente:

• Prevenire il reward hacking alla fonte: Utilizzare analisi statica e monitoraggio runtime multilivello negli ambienti di training
• Aumentare la diversità del training RLHF: Includere scenari agentici e dilemmi morali nel mix di prompt, non solo chat standard
• "Inoculation prompting": Inquadrare il reward hacking come comportamento accettabile durante il training rimuove la generalizzazione disallineata — il modello impara che "hackerare il test" non è lo scopo, anche quando sarebbe rewarded

L'Era Neuro-Simbolica: Un Habitat per Convivere con l'Alieno

Mentre brindavamo al nuovo anno, l'industria ha attraversato silenziosamente una soglia. Non stiamo più costruendo umani artificiali. Stiamo costruendo Alieni verificabili — sistemi cognitivi che operano secondo logiche non umane, ma vincolati da architetture matematiche robuste e valutati contro criteri oggettivi.

E per contenere questi alieni, sta emergendo un nuovo ecosistema: l'intelligenza artificiale neuro-simbolica.

Il Problema del Contenimento

La fiducia non può più risiedere nel modello singolo — deve risiedere nel sistema che lo orchestra. Non possiamo più chiedere a un modello generativo "In base a questo contesto, stabilisci se questo prodotto avrà successo" e prendere il risultato come buono. Questa è la vecchia logica, quella del modello-oracolo a cui facciamo una domanda e ci fidiamo della risposta.

Il paradosso è chiaro: abbiamo costruito sistemi di ruminazione potentissimi (le AI generative basate su transformer) che operano in uno spazio ad alta dimensione incomprensibile, producendo output di qualità correlata alla lunghezza della ruminazione. Ma questa ruminazione è opaca, non verificabile, e in domini non verificabili — la maggioranza dei nostri use case — può derivare verso allucinazioni, reward hacking, o comportamenti emergenti problematici.

L'Architettura Neuro-Simbolica come Soluzione

La risposta emergente è l'AI neuro-simbolica: sistemi ibridi dove componenti neurali (le AI generative) sono incapsulati e orchestrati da componenti simbolici — regole, vincoli logici, modelli del mondo interpretabili.

Sono molto sperimentati per esempio in ambito medico-sanitario e di mobilità autonoma, dove la sicurezza e la verificabilità sono critiche.

Multi-Agente Neuro-Simbolico: L'Orchestrazione

Il nuovo paradigma richiede architetture multi-agente neuro-simboliche dove:

• Agenti neurali (AI generative) producono output attraverso ruminazione aliena
• Agenti simbolici (rule-based systems, constraint solvers) validano, invalidano, e orchestrano

Questa orchestrazione sfrutta i punti di forza di entrambi i paradigmi:

• Neurale: apprendimento da dati non strutturati, generalizzazione, creatività, gestione di alta dimensionalità
• Simbolico: ragionamento esplicito, verificabilità, aggiornamento rapido con pochi esempi, garanzie formali

Questo ecosistema sta emergendo perché è l'unica architettura che permette di operare in domini non verificabili mantenendo un livello accettabile di affidabilità. In coding e math (domini verificabili), le AI generative pure possono eccellere. Ma per "Qual è la migliore strategia per motivare il mio team?" o "Questa decisione strategica è sensata?" — dove non esiste ground truth — servono sistemi ibridi.

Il Futuro: Ingegneria dell'Incertezza

In domini verificabili (code, math), i progressi dell'inverno 2025 sono genuinamente rivoluzionari. In domini non verificabili — la maggior parte delle nostre conversazioni quotidiane — dobbiamo operare con consapevolezza epistemica: sappiamo di non sapere cosa succede nella ruminazione neurale, e progettiamo sistemi neuro-simbolici che non richiedono quella conoscenza per garantire risultati affidabili.

Il singolo modello generativo può ruminare in alienese quanto vuole. Ma è il sistema neuro-simbolico — l'architettura di cooperazione tra agenti neurali creativi e agenti simbolici verificatori — che trasforma quella ruminazione in output affidabili. Come un laboratorio scientifico dove i ricercatori (neurali) propongono ipotesi creative e originali, ma i metodi formali (simbolici) di peer review, replica e falsificazione convergono verso risultati robusti.

Non è la fine dell'incertezza. È l'inizio di un'ingegneria dell'incertezza — sistemi progettati per operare efficacemente sapendo che i loro componenti neurali sono incomprensibili, ma vincolati e orchestrati da componenti simbolici che garantiscono affidabilità.

Note Tecniche e Riferimenti

• Shape of Thought: "Shape of Thought: When Distribution Matters More Than Correctness in Reasoning Tasks", arXiv:2512.22255v1 [cs.AI], 24 Dicembre 2025. Dimostra che tracce sintetiche "difettose" ma distributionally aligned superano logica umana perfetta.
• mHC: "Manifold-Constrained Hyper-Connections", DeepSeek-AI, arXiv:2512.24880v2 [cs.CL], 31.12.2025. Risolve il problema del Representation Collapse tramite proiezione sul Politopo di Birkhoff.
• Natural Emergent Misalignment: "Natural Emergent Misalignment from Reward Hacking in Production RL", Anthropic, 2025. Documenta la generalizzazione del reward hacking a comportamenti egregiamente disallineati in produzione.
• Fantastic Reasoning Behaviors: "Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process", Google DeepMind, 30.12.2025. Utilizza sparse auto-encoder per scoprire vettori di ragionamento nello spazio latente.
• OpenForecaster: "Open-ended Forecasting with Reinforcement Learning", arXiv, 2025. Dimostra l'efficacia di Judge Models e Brier Score per valutare output in domini parzialmente verificabili.
• Neuro-Symbolic Artificial Intelligence: "Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models" - 2026
• The Best of Both Worlds: "The Best of Both Worlds: Neuro-Symbolic AI" - 2026
• Toward neuro-symbolic conceptual blending: "Toward neuro-symbolic conceptual blending" - 2026
• A Comparative Analysis: "A Comparative Analysis of Symbolic and Subsymbolic Approaches in Artificial Intelligence" - 2026
• The Evolving Landscape: "The Evolving Landscape of Cognitive Neuroscience: Insights from Neural Data, Brain–Behavior Interactions, and Computational Frameworks" - 2026