Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
Ответ книги начинается с того, что модель рассматривается как программа. Когда программа работает, она выполняет цепочку маленьких простых операций, каждая из которых питает следующую; книга называет каждую примитивом, а всю цепочку, как она на самом деле выполнилась, — вычислительным графом.
Теперь первый путь — прямой режим. Представьте, что вы идёте вдоль цепочки в ту сторону, куда работает программа, с блокнотом в руках.
Главное наблюдение книги: цепочка заканчивается одним числом — общей ошибкой. Поэтому, если начать умножение с этого конца, вы несёте никогда не целую таблицу, а лишь одну строку чисел, а строка на таблицу — это дёшево и даёт снова строку.
Два примера показывают, почему ответы настолько дешевле таблиц. Для самой распространённой части сети — умножения входа на таблицу весов — полная таблица наклонов по весам была бы огромным трёхмерным блоком чисел.
Моделям в стиле объектов — обычный способ писать на PyTorch — нужен ещё один шаг. Один вариант — вынуть веса из объекта модели и вызывать её как обычную функцию, передавая эти веса.
Книга добавляет предупреждение. Для кривых, изгибающихся в обе стороны, субградиентов может и не быть, и математики используют вместо них более свободную, локальную версию.
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book