VideoLa tua AI non è diventata più stupida. È la tua chat che si è allungata.
TL;DR Tutti i modelli testati sono andati peggio con una chat lunga che con una breve. Ricomincia da capo e porta un riassunto, non tutta la cronologia.
La tua AI non è diventata più stupida. È la tua chat che si è allungata. Alcuni ricercatori hanno posto a 18 modelli la stessa domanda in due modi: con l'intera cronologia di 113.000 token, oppure con i soli 300 token che contavano. Ogni singolo modello è andato meglio con quella breve.
Perché? Più contesto significa due compiti invece di uno: trovare ciò che conta, poi ragionare. È nella parte del trovare che fallisce. E l'AI non ha ancora buon senso su quali dettagli siano importanti.
Quando una chat comincia a comprimersi, aprine una nuova. Porta un breve riassunto, non tutta la cronologia.
Fonti: Chroma, “Context Rot” (2025); NoLiMa, ICML 2025.
