Несколько деталей, масштаб без предела
Подкрутите ручку, послушайте
Возьмите радио с одной ручкой настройки и незнакомую станцию, которую вы хотите найти. Чуть поверните ручку и послушайте: музыка стала чище или шумнее, чем секунду назад?
Library · CC BY-SA 4.0
Alice's Adventures in aDifferentiable Wonderland
Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Choose your version
The same text, told at every level, in every language and look shown here. Pick, then listen or download.
VoiceMale · Charon
DrawingsGraphic inkWhite on black
Listen and watch
The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.
A modern textbook on how neural networks really work, from tensors and gradients to transformers. The first three chapters lay the ground: what the book is about, the linear algebra and calculus a network runs on, gradient descent, and what a dataset and a loss function are.
This is a sample: 3 of 13 chapters.
From the lectures
Стрелки, которые смотрят в одну сторону
Косинусное сходство
Самая важная операция над векторами во всей книге — скалярное произведение, его ещё называют внутренним произведением. Вы перемножаете два вектора элемент к элементу и складываете всё, что получилось, так что результат — одно число, а не вектор.
Рецепт из букв и наклон кривой
Наклон касательной
Нарисуйте гладкую кривую, которая опускается, а потом снова поднимается, как пологая долина, и выберите точку на её склоне. Положите линейку так, чтобы она лишь касалась кривой в этой точке, не пересекая её.
Спуск с горы в тумане
Шаг за шагом ко дну
Теперь главное событие: поиск самой низкой точки функции, её минимума. Книга предполагает, что функция даёт одно число и что вход может блуждать где угодно.
От учебного кода к настоящим данным
Похожее лежит рядом
Рисунок главы добавляет картину, которую стоит запомнить. Обученная модель преобразует свой вход шаг за шагом, и внутренние версии данных, которые она создаёт, часто имеют осмысленную геометрию: изображения с похожим смыслом попадают в близкие точки внутреннего пространства.
Запоминание — не обучение
Ответы как распределения
Предсказывать один единственный ответ имеет смысл, когда для каждого входа почти вся вероятность сидит на одном значении. Книга ослабляет это: вместо одного ответа выходы модели задают ручки целого распределения вероятностей над возможными ответами.
How it was made
- Level 4 · Ideas through examples
- Demonstrator
- White on black · regular
- questions
- places in the book
- worked examples
- Voice: Charon (Gemini)
- Told in Russian
Examples for: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
The source
The lectures retell the English text of arXiv 2404.17625 (version 3, 2025) by Simone Scardapane, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.
The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0
Your own hard book, the same way
Upload a textbook or any difficult book. The first five minutes are free.
Upload a book