Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Первые три главы закладывают основу: о чём книга, линейная алгебра и анализ, на которых работает сеть, градиентный спуск, что такое набор данных и функция потерь.

Это пробная часть: 3 из 13 (главы).

Из лекций

Коробка со множеством ручек принимает фото и выдаёт «кошка»; после ошибки стрелка поворачивает одну ручку; ниже фото превращается в сетку чисел с подписью «тензор».
Один простой рецепт, увеличенный в масштабе

Обучение — это поиск

Взгляд под капот начинается с одной идеи: обучение — это поиск. Вы пишете программу с огромным числом регулируемых ручек, называемых параметрами, и крутите их, пока программа не начнёт вести себя хорошо.

Матрица 2 на 3 из строк, умноженная на матрицу 3 на 2 из столбцов, даёт таблицу 2 на 2, где каждая ячейка — скалярное произведение одной строки на один столбец.
Стрелки, которые узнают друг друга

Много скалярных произведений сразу

Таблицу чисел, матрицу, можно читать как стопку таких векторов, по одному на строку, и книга называет это батчем данных. Умножение матриц тогда не более чем вычисление многих скалярных произведений сразу, каждой строки одной матрицы с каждым столбцом другой, за одну операцию.

Из одной точки стрелка градиента вверх по склону и три единичных шага-стрелки: вдоль неё с полным наклоном, под прямым углом с наклоном 0 и по диагонали с частичным наклоном.
Как растут затраты и где здесь вверх

Все наклоны из одной стрелки

Встаньте на наклонную лужайку или пандус и сделайте по одному маленькому шагу в нескольких направлениях: прямо вверх, вбок, по диагонали. Вы должны почувствовать самый крутой подъём в одном направлении, никакого подъёма под прямым углом к нему и частичные подъёмы между ними.

Слева чашеобразная кривая, где шарики с обеих сторон оказываются на одном дне; справа бугристая кривая, где каждый шарик укладывается в ближайшую ямку.
Спуск с горы в тумане

Чаша против лотка для яиц

Где заканчивается прогулка? Она останавливается там, где земля плоская, в стационарной точке, но плоская земля может быть дном долины, вершиной холма или седлом вроде горного перевала, который падает в одну сторону и поднимается в другую.

Справочная таблица идеально отвечает на собственных примерах; два столбика показывают почти нулевые потери на обучении и высокие на тесте, с отмеченным разрывом между ними.
Счёт, который нужно понизить, и тест, которого вы не видели

Запомнено против выучено

Затем ловушка. Средние потери на обучающих примерах всегда можно сделать идеальными жульничеством: справочной таблицей, которая хранит каждый пример и отвечает им, а для всего остального выдаёт что-нибудь по умолчанию.

Признаки клиента в столбце, каждый умножен на вес и просуммирован в одно предсказание, которое является либо числом, либо классом.
Много возможных моделей, и самая простая

Самый простой блок

Теперь глава 4 строит самый простой блок из всех, линейную модель, о которой книга говорит, что всякая дифференцируемая модель — её хитрая вариация.

Как это сделано

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу