C’è stato un tempo, non troppo lontano, in cui il prompting veniva trattato quasi come un’abilità artigianale: trovare “la frase giusta” da proporre a un modello per estrarne una risposta migliore. Oggi quella fase sembra archiviata. Il prompting si è trasformato in una disciplina ingegneristica, con tecniche misurabili, riproducibili e, soprattutto, sempre più intrecciate con il modo stesso in cui i modelli vengono addestrati

In questo articolo si parla di:

Il Chain of Thought (CoT) e la Model Distillation sono due tappe emblematiche di questo passaggio: la prima nata come strategia di interazione, la seconda come tecnica di training. Osservarle insieme permette di cogliere una tendenza più ampia — e per certi versi più inquietante — del settore: il confine tra “come si chiede” e “come si costruisce” un modello si sta assottigliando fino quasi a scomparire.

Che cos’è il Chain of Thought

Il Chain of Thought è una tecnica di prompting che invita il modello a “ragionare ad alta voce”, scomponendo un problema complesso in una sequenza di passaggi intermedi prima di fornire la risposta finale. Invece di richiedere una soluzione diretta, si invita il modello a illustrare il percorso logico che ha seguito per giungere a tale soluzione, in modo simile a come si chiederebbe a uno studente di “mostrare i calcoli” in un esercizio di matematica.

Questa idea, emersa in modo sistematico intorno al 2022 grazie a ricerche condotte da Google e altri gruppi accademici, ha rappresentato una svolta significativa, poiché ha dimostrato che modificando la formulazione del prompt senza alterare i pesi del modello era possibile ottenere miglioramenti sostanziali nelle prestazioni su compiti di ragionamento logico, matematico e di problem solving multi-step. La frase “pensiamo passo dopo passo” (let’s think step by step) è diventata quasi un simbolo di questa scoperta.

Il CoT ha aperto la strada a un intero filone di tecniche derivate: il self-consistency prompting (generare più catene di ragionamento e scegliere la risposta più frequente), il tree of thought (esplorare più rami di ragionamento in parallelo, come in un albero decisionale) e, più recentemente, i modelli con ragionamento esteso, che integrano nativamente fasi di riflessione interna prima di produrre l’output finale. Questo rende il CoT non solo un trucco di prompting, ma una capacità incorporata nel modello stesso.

Vale però la pena di introdurre una nota critica, spesso trascurata negli entusiasmi divulgativi: una catena di ragionamento visibile non è necessariamente una spiegazione fedele del processo interno che ha davvero prodotto la risposta. Il modello può generare un percorso logico plausibile a posteriori, senza che quel percorso rifletta il reale meccanismo computazionale sottostante. È una distinzione tutt’altro che accademica, soprattutto quando queste catene di ragionamento smettono di essere un semplice output per l’utente e iniziano a diventare, come vedremo, materiale grezzo per addestrare altri modelli.

Che cos’è la Model Distillation

La Model Distillation, o distillazione della conoscenza, è invece una tecnica che appartiene al mondo dell’addestramento dei modelli, non del prompting in senso stretto. Consiste nel trasferire le “competenze” di un modello grande e costoso (il teacher, l’insegnante) verso un modello più piccolo e leggero (lo student, lo studente), che viene addestrato a replicarne il comportamento su un ampio insieme di esempi.

Nel contesto degli LLM moderni, la distillazione ha assunto una forma particolarmente interessante: si utilizza un modello di grandi dimensioni per generare risposte — spesso arricchite proprio da catene di ragionamento Chain of Thought — che vengono poi usate come dati di addestramento per un modello più piccolo. In questo modo, lo “studente” non impara solo la risposta corretta, ma anche il processo di ragionamento che l’ha generata. È un po’ come se un allievo non si limitasse a copiare il risultato finale di un problema, ma studiasse anche il procedimento dettagliato scritto dal proprio insegnante.

Questo approccio ha permesso di creare modelli compatti, più economici ed efficienti da eseguire, che mantengono comunque una parte significativa delle capacità di ragionamento dei modelli più grandi da cui derivano.

Ma la distillazione porta con sé anche un’implicazione strategica per il settore: chi controlla i modelli “insegnanti” più capaci detiene, di fatto, una posizione di vantaggio nella formazione dell’intera generazione successiva di modelli, anche di quelli realizzati da attori concorrenti. Non è un caso che il tema sia diventato oggetto di dibattito pubblico e, in alcuni casi, di contestazione tra aziende del settore: la distillazione, se da un lato democratizza l’accesso a capacità avanzate rendendole disponibili in modelli più piccoli ed economici, dall’altro solleva interrogativi su proprietà intellettuale, trasparenza e concentrazione del potere computazionale.

Dove si incontrano: l’evoluzione del prompting

Il punto di incontro tra queste due tecniche è precisamente ciò che rende il tema attuale così rilevante. Il Chain of Thought, nato come tecnica di prompting da applicare “al volo” durante l’interazione con il modello, è diventato uno strumento fondamentale nella fase di generazione dei dati di addestramento per la distillazione. Le catene di ragionamento prodotte da modelli di punta vengono raccolte, filtrate e utilizzate per insegnare a modelli più piccoli come ragionare, non solo cosa rispondere.

Questo segna un cambiamento profondo nel ruolo del prompting stesso. Se inizialmente il prompt era uno strumento rivolto all’utente finale — una formula da inserire per ottenere risposte migliori — oggi è diventato anche uno strumento infrastrutturale, usato dagli sviluppatori per costruire dataset di addestramento di alta qualità. Il prompting, in altre parole, non serve più solo a “parlare meglio” con un modello già addestrato, ma contribuisce attivamente a plasmare le capacità dei modelli futuri.

Un confine che si dissolve

L’evoluzione dal Chain of Thought puro alla sua integrazione nei processi di distillazione riflette una tendenza più ampia, e non priva di ambivalenze, nel campo dell’intelligenza artificiale: la progressiva fusione tra le tecniche di interazione (prompting) e le tecniche di addestramento (training). Ciò che un tempo era percepito come un confine netto — da un lato “come si chiede”, dall’altro “come si costruisce” un modello — oggi appare sempre più come un continuum, difficile da tracciare anche per gli addetti ai lavori.

Comprendere questa dinamica non è solo un esercizio tecnico, ma un esercizio di consapevolezza critica: aiuta a capire perché i modelli linguistici di nuova generazione, anche quelli più piccoli ed efficienti, sanno “ragionare” sempre meglio — ereditando competenze da modelli più grandi attraverso un processo che ha il prompting, e in particolare il Chain of Thought, come ingrediente essenziale — ma aiuta anche a interrogarsi su cosa si perde, in termini di trasparenza e verificabilità, quando il ragionamento di un modello diventa al tempo stesso l’output che leggiamo e la materia prima con cui si costruisce la prossima generazione di intelligenze artificiali.

Altri argomenti che ti potrebbero interessare

Advanced Intelligence Digital Innovation Industry & Tech Job_post newsletter Skills Availability The Science Lapse

Author: Claudia Sistelli

© Riproduzione Riservata