Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
О каждом примитиве предполагается только одно: мы умеем вычислять его частные производные по двум его аргументам. Первая — входной якобиан, ∂ₓ[f(𝐱, 𝐰)] ∼ (c′, c): насколько сдвигается каждый выход, если чуть сдвинуть каждый вход.
Теперь третий способ, исходящий из цепного правила. Возьмём два примитива подряд: 𝐡 = f₁(𝐱), 𝐲 = f₂(𝐡). Цепное правило для якобианов гласит: ∂ₓ𝐲 = ∂_𝐡𝐲 · ∂ₓ𝐡.
Снова возьмите цепочку на калькуляторе из прошлой части: x равен 2, умножается на w₁, равный 3, затем на w₂, равный 5. Прогоните её вперёд и запишите, что видите: 6 после первого шага, 30 после второго. Теперь начните обратный путь с h̃, равного 1.
VJP по весам оказывается внешним произведением, и никакого тензора ранга 3 нигде нет: vjp_f,𝐰(𝐯) = 𝐯𝐱ᵀ. Внешнее произведение двух векторов — это таблица, в которой элемент строки i и столбца j равен i-му элементу первого вектора, умноженному на j-й элемент второго.
Теперь сигмоида — S-образная кривая σ(s), популярная в прошлом как сглаженная версия ступенчатой функции. Её производная — σ′(s) = σ(s)(1 − σ(s)). Словами: наклон — это значение, умноженное на то, чего не хватает до 1.
Полная история сложнее. Для невыпуклых функций субградиента может и не быть, и тогда обращаются к обобщениям, которые ослабляют определение до малой окрестности x, — например, к субдифференциалу Кларка.
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book