LLM Mechanistic Interpretability

Scott Alexander ci spiega l'argomento tecnologico del momento, come riuscire ad interpretare (e quindi eventualmente riuscire a modificare) il funzionamento di un modello linguistico, ovvero capire come funziona la "AI". Questo perchè un LLM "cresce", non viene "costruito", e quindi nessuno lo sa per davvero. Solo nel 2023 si è capito, per esempio, che non c'è una associazione uno a uno tra concetti e neuroni, ma una corrispondenza da molti a molti. Nel 2025 però quale sia la natura di questa relazione molti a molti è ancora del tutto incomprensibile.

Let’s Try To Learn About Mechanistic Interpretability Techniques