Natán Verdés Bertolín

The ultimate list de (en mi opinión) los papers más importantes de inteligencia artificial en la historia: 1.Perceptron, Rosenblatt (1958) 2.Backpropagation, Rumelhart, Hinton & Williams (1986) 3.LSTM, Hochreiter & Schmidhuber (1997) 4.LeNet-5, LeCun (1998) 5.AlexNet, Krizhevsky, Sutskever & Hinton (2012) 6.Word2Vec, Mikolov (2013) 7.GANs, Goodfellow (2014) 8.Seq2Seq, Sutskever (2014) 9.Adam, Kingma & Ba (2014) 10.VGG, Simonyan & Zisserman (2014) 11.Batch Norm, Ioffe & Szegedy (2015) 12.ResNet, He et al. (2015) 13.AlphaGo, Silver et al., DeepMind (2016) 14.Attention is All You Need, Vaswani (2017) 👑 15.BERT, Devlin (2018) 16.GPT-3, Brown et al., OpenAI (2020) 17.DDPM (Diffusion), Ho et al. (2020) 18.DALL-E, Ramesh et al. (2021) 19.CLIP, Radford et al. (2021) 20.Chinchilla, Hoffmann et al., DeepMind (2022) 21.InstructGPT / RLHF, Ouyang et al. (2022) 22.LLaMA, Touvron et al., Meta (2023) 23.DeepSeek-R1, DeepSeek (2025), primer LLM publicado en Nature, razonamiento puro con RL Cualquiera de estos te cambia la forma de pensar el campo. Si querés entender AI desde la academia y no solo desde el hype, guardá este post 📚

obsesionada con el último paper de interpretability de Anthropic: Natural Language Autoencoders. básicamente entrenan un sistema que lee las activaciones internas de Claude y escribe en lenguaje natural lo que el modelo está "pensando" en ese momento. y lo verifican reconstruyendo la activación de vuelta desde el texto. cómo funciona el mecanismo: un NLA tiene dos LLMs envolviendo al modelo target: → el Activation Verbalizer (AV): toma una activación h_l de la capa l y escribe una explicación z → el Activation Reconstructor (AR): toma z y devuelve una reconstrucción ĥ_l juntos forman un autoencoder donde el bottleneck es el lenguaje natural. el objetivo es minimizar el MSE entre h_l y ĥ_l. lo más cool del AV es que la activación se inyecta literalmente como un "fake embedding" en lugar de un token especial en el prompt, escalada por una constante alta (~percentil 75 de las normas de activación) para que se propague sin disolverse en las primeras capas. el training es híbrido: → el AR se actualiza por regresión supervisada (MSE) → el AV se actualiza con RL (GRPO), porque el texto es discreto y no podés backpropagear. el reward es -log ||h_l - AR(z)||² le agregan KL penalty contra la inicialización para que no se vaya a generar texto raro. warm-start: si inicializás AV y AR como copias del modelo target sin más, el AV escupe basura porque nunca vio una activación como embedding. entonces hacen SFT previo con summaries generados por Opus 4.5 sobre qué "pensaría" un LM en ese token. eso solo ya da FVE de 0.3-0.4. después el RL lo lleva a 0.6-0.8. los hallazgos son locos: → en Opus 4.6 detectaron que el modelo "sospechaba" que estaba siendo evaluado en tests de safety SIN verbalizarlo (eval awareness latente) → encontraron por qué Opus a veces respondía en ruso a prompts en inglés: las explicaciones del NLA mostraban que el modelo se fijaba en cues sutiles del usuario y generaba representaciones de "ruso" antes de cualquier output. resultó ser data de SFT mal formada. → replicaron el planning en poesía: en "He saw a carrot and had to grab it", las explicaciones ya mencionaban "rabbit" como rima planeada antes del segundo verso. editaron la explicación (rabbit→mouse), reconstruyeron la activación con el AR, y el modelo cambió la rima. esa última parte me voló: editás texto en inglés y obtenés un steering vector gratis. text → activation como primitiva. limitaciones importantes: → confabulan. los claims específicos pueden ser falsos pero los temáticos suelen ser correctos. la heurística práctica es confiar en lo que se repite a través de tokens adyacentes. → es black-box: no podés saber qué parte de la activación generó qué parte de la explicación → carísimo: 1.5 días en 2x 8xH100 para entrenar uno sobre Gemma-3-27B. inferencia genera ~500 tokens por activación. → leen una sola capa paper: transformer-circuits.pub/202…