Рецепт из маленьких шагов
Таблица, которую не удержать
У некоторых шагов есть острый угол, где наклон не определён, например у популярной ReLU, которая пропускает положительные числа и превращает отрицательные в ноль.
Library · CC BY-SA 4.0
Alice's Adventures in aDifferentiable Wonderland
Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Choose your version
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
VoiceMale · Device
DrawingsGraphic inkWhite on black
Listen and watch
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. Chapter 6 shows how a program finds its own gradients: automatic differentiation, the reverse walk behind every trained model.
This is a sample: 1 of 13 chapters.
From the lectures
Почему очевидные пути слишком медленны
Прямой режим хранит таблицы
Поэтому книга переходит к первому настоящему методу — прямому режиму, — и он опирается на цепное правило. Если одна станция питает другую, реакция пары равна реакции второй, умноженной на реакцию первой.
Путь назад от итоговой оценки
Контрольные точки экономят память
Книга показывает способ вернуть часть этой памяти ценой времени — он называется контрольными точками градиента. Представьте четыре блока в ряд. При прямом проходе сохраняются только выходы первого, второго и четвёртого блоков; это и есть контрольные точки.
Задать таблице один вопрос
Доля вины веса
Почему это настолько лучше? Возьмите самую распространённую станцию — слой, который смешивает свои входы с сеткой весов, как это много раз делает каждый слой чат-модели или модели фотографий.
Как библиотеки идут назад и почему победила ReLU
Множители, которые перемножаются
Теперь вернёмся к копировальному аппарату. Помните: когда обратный путь проходит через функцию активации, путешествующая строка масштабируется на наклон функции.
Угол ReLU
Любой наклон от 0 до 1
Строгий ответ использует идею линейки. Для функции, изогнутой вверх, как чаша, любая прямая, которая касается её в точке и остаётся ниже всей функции, называется в этой точке субградиентом, и её наклон — законная замена отсутствующему наклону.
How it was made
- Level 4 · Idées et exemples
- Demonstrator
- Graphic ink · regular
- questions
- places in the book
- worked examples
- Voice: Device (Gemini)
- Told in Russian
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The source
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Your own hard book, the same way
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book