Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Симоне Скардапане · 2024 · пересказ с английского оригинала

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

ЯзыкАнглийский Русский Испанский

Уровень1 · Как в книге 2 · Формулы с объяснением 3 · Формулы словами 4 · Идеи и примеры 5 · Общая картина

ГолосМужской · Device

РисункиГрафика тушью Белым по чёрному

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.

Это пробная часть: 1 из 13 (главы).

Из лекций

Блок с тремя входами, шестью весами и двумя выходами; рядом сетка 2 на 3 клетки для входного якобиана и сетка 2 на 6 клеток для якобиана по весам.

Цепочка кнопок

Две таблицы примитива

О каждом примитиве книга предполагает только одно: мы знаем его местные скорости, собранные в две таблицы, которые называются якобианами.

Функция a·sin x + b·x·sin x и её производная a·cos x + b·x·cos x + b·sin x; два синуса и два косинуса выделены как повторная работа.

Три способа найти наклон

Формула и её повторы

Второй способ — тот, которому учили в школе. Возьмите маленькую функцию: a, умноженное на синус числа, плюс b, умноженное на само число и на его синус.

Длинное произведение, нарисованное фигурами: тонкая строка единиц, затем три квадратные таблицы, затем одна узкая; красная стрелка от правого конца показывает произведения таблицы на таблицу, зелёная стрелка от левого конца — строку, которая проходит через таблицы и остаётся строкой.

Идём по цепочке назад

С какого конца начинать

Книга выписывает скорость итоговой оценки по весам одного шага где-то в середине цепочки. Это длинное произведение. Сначала идёт строка единиц, которая обозначает итоговую сумму: каждое число последнего результата входит в оценку один раз.

Блок, в который прямой проход входит слева и выходит справа, и две стрелки идут сквозь него назад: одна даёт скорости по весам, другая — следующую сопряжённую переменную; ниже строки с одной единицей по очереди восстанавливают полную таблицу строка за строкой.

Никогда не строить таблицу

Примитив с двумя обратными правилами

Так что обратный шаг — это всего два вызова. Вызовите произведение вектора на якобиан по весам с сопряжённой переменной — и получите скорости оценки по весам этого шага.

Машина с надписью grad принимает функцию «сумма квадратов» и выдаёт новую функцию; получив 1, 2, 3, новая функция возвращает 2, 4, 6, а старая возвращает 14; внизу объект с весами внутри раскрывается в функцию, принимающую вход и веса рядом.

Записки, оставленные по пути

Функция, которая делает функции

В функциональной библиотеке вроде JAX всё — функция, и дифференцирование тоже. Произведение вектора на якобиан становится функцией, которая делает функции.

ReLU с прямой наклона одна вторая через угол: при входе 2 прямая на уровне 1, ниже двойки ReLU, при входе −2 — на уровне −1, ниже нуля ReLU; прямая наклона 1,5 при входе 2 достигает 3, выше ReLU.

Линейка в углу

Проверка субградиента

Более строгий ответ использует веер, который вы только что нарисовали. Для функции, изгибающейся вверх, — выпуклой функции — субградиент в точке это наклон прямой через эту точку, которая везде остаётся ниже всей функции.

Как это сделано

Уровень 3 · Трудное простыми словами
Демонстратор
Белым по чёрному · обычно
вопросами
ссылками на книгу
разобранными примерами
Голос: Device (Gemini)
Язык лекций русского

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу