Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. The first three chapters lay the ground: what the book is about, the linear algebra and calculus a network runs on, gradient descent, and what a dataset and a loss function are.

This is a sample: 3 of 13 chapters.

From the lectures

Сетка чисел с подписью «тензор» проходит через цепочку блоков, линейных и нелинейных, чьи концы имеют форму вилок и розеток; сбоку стоят буквы с крестиком.
Обучение как поиск среди ручек настройки

Блоки, подходящие как вилки

Первая часть книги, названная «Компас и стрелка», главы со второй по шестую, и выстраивает именно этот механизм. Взгляд на сеть как на цепочку дифференцируемых блоков ставит два вопроса, и второй рисунок книги их иллюстрирует. Первый: какие виды данных могут входить и выходить?

На сетке стрелка (2, 1) плюс удвоенная стрелка (1, 3), то есть (2, 6), достраивает параллелограмм, заканчивающийся в (4, 7); затем стрелка (3, 4) длиной 5.
Стрелки, длины и скалярное произведение

Векторы как стрелки

Большинство моделей в книге построены из очень простых ингредиентов: сумм, умножений и нескольких изогнутых функций, таких как экспонента, синусы и косинусы и квадратные корни. У векторов, тензоров с одним направлением, своя арифметика, которую математики называют векторным пространством.

Два куба 2 на 2 на 2, один заполнен единицами, другой двойками, перемножены позиция за позицией и просуммированы в 16, как и скалярное произведение их развёрнутых списков из восьми.
Стопки таблиц и сокращённая запись буквами

Скалярное произведение целых тензоров

Для второго вида книга даёт обобщённое скалярное произведение. Возьмите два тензора одной формы с тремя направлениями, перемножьте их позиция за позицией и сложите каждое произведение. Это не что иное, как обычное скалярное произведение двух тензоров, развёрнутых в длинные списки.

Кривая в форме долины с шариком, который стартует высоко слева и шагами спускается ко дну; каждый шаг — стрелка с подписью размера шага, а маленький перевёрнутый холм показывает, что максимизация — это минимизация противоположности.
Где земля падает быстрее всего

Шаг за шагом вниз

Теперь к градиентному спуску. Допустим, мы хотим найти вход, при котором функция многих чисел как можно меньше, её минимум.

Латентное пространство с двумя точками собак почти вплотную, в (1, 2) и (1.1, 2.2), и точкой машины далеко, в (4, 6); короткая линия между собаками подписана 0.22, а длинная линия от собаки к машине — 5.
Что делает кучу примеров хорошей

Близкие смыслы, близкие точки

Открывающий рисунок главы заглядывает вперёд, к чему-то замечательному. Дифференцируемая модель преобразует свой вход шаг за шагом операциями линейной алгебры.

Правдоподобие, записанное как произведение вероятностей, затем минус его логарифм, записанный как сумма минус логарифмов; ниже пример с синоптиком: 0.105 плюс 0.511 равно 0.616, то есть минус log 0.54.
Самое вероятное объяснение и много объяснений сразу

От произведения к сумме логарифмов

Как обучают такую модель? Поскольку примеры предполагаются независимыми и взятыми из одного распределения, вероятность, которую модель назначает всему набору данных, — это произведение вероятностей, которые она назначает истинному выходу каждого примера.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book