Lecturized
DE
Library · CC BY-SA 4.0

Alice's Adventures in aDifferentiable Wonderland

Simone Scardapane · 2024 · retold from the English original

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

LanguageEnglishRussianSpanish
Level1 · As written2 · Formulas explained3 · Formulas in words4 · Ideas and examples5 · Big picture
VoiceMale · Charon
DrawingsGraphic inkWhite on black

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

A modern textbook on how neural networks really work, from tensors and gradients to transformers. The first three chapters lay the ground: what the book is about, the linear algebra and calculus a network runs on, gradient descent, and what a dataset and a loss function are.

This is a sample: 3 of 13 chapters.

From the lectures

Парабола эф от дубль-вэ равно дубль-вэ в квадрате, точка при w = 3 с ошибкой 9 и касательная с наклоном 6; шаг к 3,01 поднимает ошибку до 9,0601, в шесть раз больше шага.
Обучение как поиск

Наклон w в квадрате при тройке

Вот эта идея на одной ручке и на числах, которые можно проверить. Пусть ошибка модели равна f(w) = w², а ручка стоит на w = 3, так что ошибка равна девяти.

Три сетки 5 на 6 стопкой; вторая выделена как икс два; одна клетка в строке 3, столбце 4 отмечена как икс два три четыре; затем столбцы со 2 по 4 этого листа заштрихованы как икс два, двоеточие, два двоеточие пять, полоска 5 на 3.
Нарезаем тензор ломтиками

Режем батч фотографий

Возьмём трёхмерный тензор X ∼ (a, b, c). Тогда Xᵢ — один срез формы (b, c): в нашем батче фотографий X₂ — вся вторая фотография, сетка 5 на 6 из 30 чисел. А Xᵢⱼₖ — один скаляр: X₂₃₄ — яркость пикселя в строке 3, столбце 4 второй фотографии, одна крошка батона.

Длинная полоса из миллиарда шагов, разбитая на восемь равных кусков по 125 миллионов, по-прежнему кубическая; затем данные, перемещающиеся между блоком памяти и блоком вычислений, медленная часть подписана «ограничено памятью», и шкала профилировщика.
Как растёт стоимость

Ещё два предела

Ещё два предела асимптотического мышления. Первый: наличие k процессоров совсем не меняет «О большое»: в лучшем случае оно делит время на k, постоянный множитель; восемь ядер превращают миллиард шагов в 125 миллионов на каждое, по-прежнему кубически по n.

Парабола (x − 3)² + 1 с низшей точкой в x = 3, где значение равно 1; затем перевёрнутая кривая −f с пиком в том же месте.
Скрытые размеры и первый шаг вниз по склону

Аргмин — это место

Теперь причина, по которой градиенты стоят всех этих хлопот: раздел 2.3, градиентный спуск. Задача — минимизировать функцию f(𝐱) при 𝐱 ∼ (d): 𝐱* = argmin f(𝐱). Как и аргмакс, аргмин означает «то значение x, которое даёт наименьшее возможное f».

Облако с подписью p(x, y) сыплет образцы в набор данных; затем показаны два провала: временная шкала, где облако дрейфует десятилетиями, и выборка, сгрудившаяся в одном углу облака рядом с автосалоном.
Учебный ландшафт и что такое набор данных

Один источник, честная выборка

Добавляется ещё одно предположение, и оно решающее: каждый пример — независимая и одинаково распределённая выборка, i.i.d., из некоторого неизвестного и, по сути, непознаваемого распределения вероятностей p(x, y). Звучит технически, но именно это придаёт задаче смысл.

Колоколообразная кривая с центром в 250 и разбросом 20, отмеченным с обеих сторон, подписанная «среднее f1» и «разброс f2», с дисперсией 400.
Предсказывать распределение вместо числа

Колоколообразная кривая для цены

Для регрессии, предсказания вещественного числа y ∈ ℝ, модель может выдавать два значения, f(x) ∼ (2), среднее и разброс гауссианы, колоколообразной кривой: p(y ∣ f(x)) = 𝒩(y ∣ f₁(x), f₂²(x)). Второй выход возводится в квадрат, чтобы дисперсия всегда была положительной.

How it was made

Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

The source

The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book