Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. The first three chapters lay the ground: what the book is about, the linear algebra and calculus a network runs on, gradient descent, and what a dataset and a loss function are.

This is a sample: 3 of 13 chapters.

From the lectures

Una cuadrícula de números etiquetada tensor pasa por una cadena de bloques, lineales y no lineales, cuyos extremos tienen forma de enchufes y tomas; a un lado hay letras con una cruz.
Aprender como una búsqueda entre perillas

Bloques que encajan como enchufes

La primera parte del libro, llamada Brújula y aguja, capítulos dos a seis, monta exactamente esta maquinaria. Ver una red como una cadena de bloques diferenciables plantea dos preguntas, y la segunda figura del libro las ilustra. Primero, ¿qué tipos de datos pueden entrar y salir?

En una cuadrícula, la flecha (2, 1) más dos veces la flecha (1, 3), que es (2, 6), completa un paralelogramo que termina en (4, 7); luego la flecha (3, 4) con longitud 5.
Flechas, longitudes y el producto punto

Vectores como flechas

La mayoría de los modelos del libro se construyen con ingredientes muy sencillos: sumas, multiplicaciones y unas pocas funciones curvadas como la exponencial, senos y cosenos, y raíces cuadradas.

Dos cubos de 2 por 2 por 2, uno lleno de unos y otro de doses, multiplicados posición por posición y sumados en 16, lo mismo que el producto punto de sus listas aplanadas de ocho.
Pilas de tablas y una abreviatura con letras

Un producto punto de tensores enteros

Para el segundo tipo, el libro da un producto punto generalizado. Tome dos tensores de la misma forma, con tres direcciones, multiplíquelos posición por posición y sume todos y cada uno de los productos. No es más que el producto punto corriente de los dos tensores aplanados en listas largas.

Una curva en forma de valle con una bola que empieza alta a la izquierda y da pasos cuesta abajo hacia el fondo; cada paso es una flecha etiquetada con el tamaño de paso, y una pequeña colina invertida muestra que maximizar es minimizar el negativo.
Donde el terreno cae más rápido

Paso a paso cuesta abajo

Ahora al descenso de gradiente. Suponga que queremos la entrada que hace una función de muchos números tan pequeña como sea posible, su mínimo.

Un espacio latente con dos puntos de perro casi tocándose, en (1, 2) y (1.1, 2.2), y un punto de coche lejos en (4, 6); una línea corta entre los perros dice 0.22 y una línea larga del perro al coche dice 5.
Qué hace bueno a un montón de ejemplos

Significados cercanos, puntos cercanos

La figura de apertura del capítulo anticipa algo notable. Un modelo diferenciable transforma su entrada paso a paso con operaciones de álgebra lineal.

La verosimilitud escrita como un producto de probabilidades, luego menos su logaritmo escrito como una suma de menos logaritmos; debajo, el ejemplo del pronosticador: 0.105 más 0.511 igual a 0.616, que es menos log 0.54.
La explicación más probable, y muchas explicaciones a la vez

Del producto a la suma de logaritmos

¿Cómo se entrena un modelo así? Como se supone que los ejemplos son independientes y extraídos de la misma distribución, la probabilidad que un modelo asigna a todo el conjunto de datos es el producto de las probabilidades que asigna a la salida verdadera de cada ejemplo.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book