Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
Lo único que se supone de cada primitiva es que sabemos calcular sus derivadas parciales respecto de sus dos argumentos. La primera es el jacobiano de entrada, ∂ₓ[f(𝐱, 𝐰)] ∼ (c′, c): cómo se mueve cada salida cuando se empuja cada entrada.
Ahora, la tercera forma, partiendo de la regla de la cadena. Tome dos primitivas seguidas, 𝐡 = f₁(𝐱), 𝐲 = f₂(𝐡). La regla de la cadena de los jacobianos dice ∂ₓ𝐲 = ∂_𝐡𝐲 · ∂ₓ𝐡.
Retome la cadena de la calculadora de la parte anterior: x es 2, multiplicado por w₁ igual a 3, y luego por w₂ igual a 5. Ejecútela hacia delante y anote lo que ve: 6 tras el primer paso, 30 tras el segundo. Ahora empiece hacia atrás con h̃ igual a 1.
El VJP de los pesos resulta ser un producto exterior, sin ningún tensor de rango 3: vjp_f,𝐰(𝐯) = 𝐯𝐱ᵀ. El producto exterior de dos vectores es la tabla cuyo valor en la fila i y la columna j es el i-ésimo valor del primero por el j-ésimo valor del segundo.
Ahora la sigmoide, la curva en forma de S, σ(s), que fue popular en el pasado como versión suave de la función escalón. Su derivada es σ′(s) = σ(s)(1 − σ(s)). Dicho con palabras: la pendiente es el valor por lo que le falta para llegar a 1.
La historia completa es más delicada. Para funciones que no son convexas, puede no existir ningún subgradiente, y se recurre a generalizaciones que relajan la definición a un pequeño entorno de x, como el subdiferencial de Clarke.
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book