Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
La respuesta del libro empieza por mirar el modelo como un programa. Cuando el programa se ejecuta, realiza una cadena de operaciones pequeñas y sencillas, cada una alimentando a la siguiente; el libro llama primitiva a cada una, y grafo computacional a toda la cadena tal como se ejecutó.
Ahora, el primer camino: el modo directo. Imagínelo como recorrer la cadena en el sentido en que funciona el programa, llevando un cuaderno.
La observación clave del libro es que la cadena termina en un número, el error total. Así que, si empieza la multiplicación por ese extremo, lo que lleva nunca es una tabla entera, solo una fila de números, y una fila por una tabla es barato y da otra fila.
Dos ejemplos muestran por qué las respuestas son tanto más baratas que las tablas. Para la pieza más común de una red, multiplicar la entrada por una tabla de pesos, la tabla completa de pendientes respecto de los pesos sería un enorme bloque de números de tres dimensiones.
Los modelos de estilo de objetos, la forma habitual de escribir en PyTorch, necesitan un paso más. Una opción es sacar los pesos del objeto del modelo y llamarlo como una función simple a la que se entregan esos pesos.
El libro añade una advertencia. Para curvas que se doblan en los dos sentidos, los subgradientes pueden no existir, y los matemáticos usan en su lugar una versión local, más flexible.
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book