Lecturized
DE
Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Simone Scardapane · 2024 · retold from the English original

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

LanguageEnglishRussianSpanish
Level1 · As written2 · Formulas explained3 · Formulas in words4 · Ideas and examples5 · Big picture
VoiceMale · Device
DrawingsGraphic inkWhite on black

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.

This is a sample: 1 of 13 chapters.

From the lectures

Небольшая стопка рамок с картинками питает сетку реакций, которая растёт из нескольких клеток в огромную таблицу на весь холст с пометкой «слишком велика».
Рецепт из маленьких шагов

Таблица, которую не удержать

У некоторых шагов есть острый угол, где наклон не определён, например у популярной ReLU, которая пропускает положительные числа и превращает отрицательные в ноль.

Четыре станции в ряд; под каждой растущая стопка маленьких таблиц — одна под первой станцией, две под второй, три под третьей и четыре под четвёртой, и каждая новая стопка обновляется входным якобианом станции.
Почему очевидные пути слишком медленны

Прямой режим хранит таблицы

Поэтому книга переходит к первому настоящему методу — прямому режиму, — и он опирается на цепное правило. Если одна станция питает другую, реакция пары равна реакции второй, умноженной на реакцию первой.

Четыре блока в ряд; первый, второй и четвёртый помечены как сохранённые контрольные точки, третий пуст; обратные стрелки останавливаются на третьем блоке, стрелка повторного прогона идёт от второго блока к третьему, и подпись говорит: плюс четверть.
Путь назад от итоговой оценки

Контрольные точки экономят память

Книга показывает способ вернуть часть этой памяти ценой времени — он называется контрольными точками градиента. Представьте четыре блока в ряд. При прямом проходе сохраняются только выходы первого, второго и четвёртого блоков; это и есть контрольные точки.

Слой соединяет три входа со значениями 2, 1 и 3 с выходом, важность которого равна 4; на трёх связях показаны их градиенты 8, 4 и 12 — важность выхода, умноженная на вход.
Задать таблице один вопрос

Доля вины веса

Почему это настолько лучше? Возьмите самую распространённую станцию — слой, который смешивает свои входы с сеткой весов, как это много раз делает каждый слой чат-модели или модели фотографий.

Ряд копий страницы, каждая вдвое уже предыдущей, показывает, как градиент сжимается в четыре раза на слой и после десяти слоёв падает ниже одной миллионной.
Как библиотеки идут назад и почему победила ReLU

Множители, которые перемножаются

Теперь вернёмся к копировальному аппарату. Помните: когда обратный путь проходит через функцию активации, путешествующая строка масштабируется на наклон функции.

ReLU, ровная слева от нуля и поднимающаяся под 45 градусов справа, с веером прямых через угол, наклоны которых идут от 0 до 1; горизонтальная отмечена как обычный выбор; сверху три записи ReLU дают в нуле наклоны 0, 1 и 0,5.
Угол ReLU

Любой наклон от 0 до 1

Строгий ответ использует идею линейки. Для функции, изогнутой вверх, как чаша, любая прямая, которая касается её в точке и остаётся ниже всей функции, называется в этой точке субградиентом, и её наклон — законная замена отсутствующему наклону.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book