Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
Ответ книги начинается с того, что модель рассматривается как программа. Когда программа работает, она выполняет цепочку маленьких простых операций, каждая из которых питает следующую; книга называет каждую примитивом, а всю цепочку, как она на самом деле выполнилась, — вычислительным графом.
Теперь первый путь — прямой режим. Представьте, что вы идёте вдоль цепочки в ту сторону, куда работает программа, с блокнотом в руках.
Главное наблюдение книги: цепочка заканчивается одним числом — общей ошибкой. Поэтому, если начать умножение с этого конца, вы несёте никогда не целую таблицу, а лишь одну строку чисел, а строка на таблицу — это дёшево и даёт снова строку.
Два примера показывают, почему ответы настолько дешевле таблиц. Для самой распространённой части сети — умножения входа на таблицу весов — полная таблица наклонов по весам была бы огромным трёхмерным блоком чисел.
Моделям в стиле объектов — обычный способ писать на PyTorch — нужен ещё один шаг. Один вариант — вынуть веса из объекта модели и вызывать её как обычную функцию, передавая эти веса.
Книга добавляет предупреждение. Для кривых, изгибающихся в обе стороны, субградиентов может и не быть, и математики используют вместо них более свободную, локальную версию.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу