Lecturized
EN
Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Simone Scardapane · 2024 · retold from the English original

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

LanguageEnglishRussianSpanish
Level1 · As written2 · Formulas explained3 · Formulas in words4 · Ideas and examples5 · Big picture
VoiceMale · Charon
DrawingsGraphic inkWhite on black

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. The first three chapters lay the ground: what the book is about, the linear algebra and calculus a network runs on, gradient descent, and what a dataset and a loss function are.

This is a sample: 3 of 13 chapters.

From the lectures

La parábola efe de doble u igual a doble u al cuadrado, un punto en w = 3 con error 9 y una tangente de pendiente 6; un paso a 3,01 sube el error a 9,0601, seis veces el paso.
Aprender es buscar

Pendiente de w al cuadrado en tres

Aquí está la idea con una sola rueda y números que podemos comprobar. Suponga que el error de un modelo es f(w) = w², y la rueda está en w = 3, así que el error es nueve.

Tres rejillas de 5 por 6 apiladas; la segunda está resaltada como equis sub 2; una celda en la fila 3, columna 4 está marcada como equis sub 234; luego las columnas 2 a 4 de esa hoja están sombreadas como equis sub 2, dos puntos, 2 dos puntos 5, una tira de 5 por 3.
Cortar rebanadas de un tensor

Cortando el lote de fotos

Tome un tensor tridimensional X ∼ (a, b, c). Entonces Xᵢ es una rebanada de forma (b, c): en nuestro lote de fotos, X₂ es la segunda foto entera, una rejilla de 5 por 6 con 30 números.

Una barra larga de mil millones de pasos dividida en ocho trozos iguales de 125 millones, todavía cúbica; luego datos que se mueven entre una caja de memoria y una caja de cálculo, con la parte lenta rotulada «limitado por memoria» y un indicador de perfilador.
Cómo crece el coste

Dos límites más

Dos límites más del pensamiento asintótico. Primero, tener k procesadores no cambia en absoluto la O grande: como mucho divide el tiempo por k, un factor constante; ocho núcleos convierten mil millones de pasos en 125 millones cada uno, todavía cúbico en n.

La parábola (x − 3)² + 1 con su punto más bajo en x = 3, donde el valor es 1; luego la curva invertida −f con un pico en el mismo lugar.
Tamaños ocultos, y el primer paso cuesta abajo

El argmin es un lugar

Ahora la razón por la que los gradientes merecen todo esto: la sección 2.3, el descenso de gradiente. La tarea es minimizar una función f(𝐱) con 𝐱 ∼ (d): 𝐱* = argmin f(𝐱). Como argmax, argmin significa «el valor de x que da la f más baja posible».

Una nube rotulada p(x, y) deja caer muestras en un conjunto de datos; luego se muestran dos fallos: una línea de tiempo donde la nube deriva a lo largo de décadas, y una muestra apiñada en una esquina de la nube cerca de un concesionario.
Un paisaje para practicar, y qué es un conjunto de datos

Misma fuente, extraída con honestidad

Se añade un supuesto más, y es crucial: cada ejemplo es una extracción independiente e idénticamente distribuida, i.i.d., de alguna distribución de probabilidad p(x, y) desconocida, y de hecho incognoscible. Suena técnico, pero es lo que da sentido a la tarea.

Una curva de campana centrada en 250 con una dispersión de 20 marcada a ambos lados, rotulada «media f1» y «dispersión f2», con varianza 400.
Predecir una distribución en vez de un número

Una curva de campana para un precio

Para la regresión, predecir un número real y ∈ ℝ, el modelo puede producir dos valores, f(x) ∼ (2), la media y la dispersión de una gaussiana, una curva de campana: p(y ∣ f(x)) = 𝒩(y ∣ f₁(x), f₂²(x)). La segunda salida se eleva al cuadrado para que la varianza sea siempre positiva.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book