Una receta hecha de pasos pequeños
Una tabla demasiado grande para guardarla
Algunos pasos tienen una esquina aguda donde la pendiente no está definida, como la popular ReLU, que deja pasar los números positivos y convierte en cero los negativos.
Library · CC BY-SA 4.0
Alice's Adventures in aDifferentiable Wonderland
Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Choose your version
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
VoiceMale · Device
DrawingsGraphic inkWhite on black
Listen and watch
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
From the lectures
Por qué los caminos obvios son demasiado lentos
El modo directo guarda tablas
Así que el libro pasa al primer método de verdad, el modo directo, que se apoya en la regla de la cadena. Si un puesto alimenta a otro, la reacción de la pareja es la reacción del segundo multiplicada por la reacción del primero.
Volver desde la puntuación
Los puntos de control ahorran memoria
El libro muestra una forma de cambiar parte de esa memoria por tiempo, llamada puntos de control del gradiente. Imagine cuatro bloques en fila. En la pasada hacia delante solo se guardan las salidas del primer, segundo y cuarto bloque; esos son los puntos de control.
Hacerle una sola pregunta a la tabla
La parte de culpa de un peso
¿Por qué es esto tanto mejor? Tome el puesto más común de todos, una capa que mezcla sus entradas con una cuadrícula de pesos, como hace cada capa de un modelo de chat o de un modelo de fotos muchas veces.
Cómo vuelven atrás los entornos, y por qué ganó la ReLU
Factores que se multiplican
Volvamos ahora a la fotocopiadora. Recuerde que, cuando el camino de vuelta pasa por una función de activación, la fila viajera se escala por la pendiente de la función.
La esquina de la ReLU
Cualquier pendiente de 0 a 1
La respuesta cuidadosa usa la idea de la regla. Para una función que se curva hacia arriba como un cuenco, cualquier recta que la toque en un punto y quede por debajo de toda la función es allí un subgradiente, y su pendiente es un sustituto válido de la pendiente que falta.
How it was made
- Level 4 · Idées et exemples
- Demonstrator
- Graphic ink · regular
- questions
- places in the book
- worked examples
- Voice: Device (Gemini)
- Told in Spanish
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The source
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Your own hard book, the same way
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book