Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
О наших обозначениях и якобианах высших порядков. Для удобства чтения мы рассматриваем только векторные величины, так как тогда все получающиеся градиенты — матрицы. На практике у существующих примитивов входы, веса или выходы могут иметь более высокий ранг.
Возьмём первую инструкцию нашей программы, 𝐡₁ = f₁(𝐱, 𝐰₁). Поскольку до сих пор ничего не сохранено, мы задаём касательную матрицу для 𝐰₁ равной её якобиану по весам: Ŵ₁ = ∂_𝐰₁ 𝐡₁. Теперь переходим ко второй инструкции, 𝐡₂ = f₂(𝐡₁, 𝐰₂).
Соединив эти наблюдения, получаем второй подход к автоматическому дифференцированию, который мы называем автоматическим дифференцированием в обратном режиме, или R-AD; он описан ниже.
Значит, целую систему автоматического дифференцирования можно реализовать, сначала выбрав набор примитивных операций, а затем снабдив их соответствующими VJP, ни разу не материализуя якобианы в памяти.
Как мы уже говорили, на практике наши модели реализованы как композиции объектов, параметры которых инкапсулированы в виде свойств. Одна возможность — «очистить» объект, превратив его в чистую функцию.
Субдифференцируемость и автоматическое дифференцирование. Есть одна мелочь, которую мы до сих пор обходили: ReLU недифференцируема в 0, из-за чего вся сеть оказывается негладкой. Что происходит в этом случае?
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book