
Обучение — это поиск
Взгляд под капот начинается с одной идеи: обучение — это поиск. Вы пишете программу с огромным числом регулируемых ручек, называемых параметрами, и крутите их, пока программа не начнёт вести себя хорошо.
Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Первые три главы закладывают основу: о чём книга, линейная алгебра и анализ, на которых работает сеть, градиентный спуск, что такое набор данных и функция потерь.
Это пробная часть: 3 из 13 (главы).

Взгляд под капот начинается с одной идеи: обучение — это поиск. Вы пишете программу с огромным числом регулируемых ручек, называемых параметрами, и крутите их, пока программа не начнёт вести себя хорошо.

Таблицу чисел, матрицу, можно читать как стопку таких векторов, по одному на строку, и книга называет это батчем данных. Умножение матриц тогда не более чем вычисление многих скалярных произведений сразу, каждой строки одной матрицы с каждым столбцом другой, за одну операцию.

Встаньте на наклонную лужайку или пандус и сделайте по одному маленькому шагу в нескольких направлениях: прямо вверх, вбок, по диагонали. Вы должны почувствовать самый крутой подъём в одном направлении, никакого подъёма под прямым углом к нему и частичные подъёмы между ними.

Где заканчивается прогулка? Она останавливается там, где земля плоская, в стационарной точке, но плоская земля может быть дном долины, вершиной холма или седлом вроде горного перевала, который падает в одну сторону и поднимается в другую.

Затем ловушка. Средние потери на обучающих примерах всегда можно сделать идеальными жульничеством: справочной таблицей, которая хранит каждый пример и отвечает им, а для всего остального выдаёт что-нибудь по умолчанию.

Теперь глава 4 строит самый простой блок из всех, линейную модель, о которой книга говорит, что всякая дифференцируемая модель — её хитрая вариация.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу