Lecturized
DE
Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Simone Scardapane · 2024 · retold from the English original

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

LanguageEnglishRussianSpanish
Level1 · As written2 · Formulas explained3 · Formulas in words4 · Ideas and examples5 · Big picture
VoiceMale · Device
DrawingsGraphic inkWhite on black

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.

This is a sample: 1 of 13 chapters.

From the lectures

Блок с тремя входами, шестью весами и двумя выходами; рядом сетка 2 на 3 клетки для входного якобиана и сетка 2 на 6 клеток для якобиана по весам.
Цепочка кнопок

Две таблицы примитива

О каждом примитиве книга предполагает только одно: мы знаем его местные скорости, собранные в две таблицы, которые называются якобианами.

Функция a·sin x + b·x·sin x и её производная a·cos x + b·x·cos x + b·sin x; два синуса и два косинуса выделены как повторная работа.
Три способа найти наклон

Формула и её повторы

Второй способ — тот, которому учили в школе. Возьмите маленькую функцию: a, умноженное на синус числа, плюс b, умноженное на само число и на его синус.

Длинное произведение, нарисованное фигурами: тонкая строка единиц, затем три квадратные таблицы, затем одна узкая; красная стрелка от правого конца показывает произведения таблицы на таблицу, зелёная стрелка от левого конца — строку, которая проходит через таблицы и остаётся строкой.
Идём по цепочке назад

С какого конца начинать

Книга выписывает скорость итоговой оценки по весам одного шага где-то в середине цепочки. Это длинное произведение. Сначала идёт строка единиц, которая обозначает итоговую сумму: каждое число последнего результата входит в оценку один раз.

Блок, в который прямой проход входит слева и выходит справа, и две стрелки идут сквозь него назад: одна даёт скорости по весам, другая — следующую сопряжённую переменную; ниже строки с одной единицей по очереди восстанавливают полную таблицу строка за строкой.
Никогда не строить таблицу

Примитив с двумя обратными правилами

Так что обратный шаг — это всего два вызова. Вызовите произведение вектора на якобиан по весам с сопряжённой переменной — и получите скорости оценки по весам этого шага.

Машина с надписью grad принимает функцию «сумма квадратов» и выдаёт новую функцию; получив 1, 2, 3, новая функция возвращает 2, 4, 6, а старая возвращает 14; внизу объект с весами внутри раскрывается в функцию, принимающую вход и веса рядом.
Записки, оставленные по пути

Функция, которая делает функции

В функциональной библиотеке вроде JAX всё — функция, и дифференцирование тоже. Произведение вектора на якобиан становится функцией, которая делает функции.

ReLU с прямой наклона одна вторая через угол: при входе 2 прямая на уровне 1, ниже двойки ReLU, при входе −2 — на уровне −1, ниже нуля ReLU; прямая наклона 1,5 при входе 2 достигает 3, выше ReLU.
Линейка в углу

Проверка субградиента

Более строгий ответ использует веер, который вы только что нарисовали. Для функции, изгибающейся вверх, — выпуклой функции — субградиент в точке это наклон прямой через эту точку, которая везде остаётся ниже всей функции.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book