Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
О каждом примитиве предполагается только одно: мы умеем вычислять его частные производные по двум его аргументам. Первая — входной якобиан, ∂ₓ[f(𝐱, 𝐰)] ∼ (c′, c): насколько сдвигается каждый выход, если чуть сдвинуть каждый вход.
Теперь третий способ, исходящий из цепного правила. Возьмём два примитива подряд: 𝐡 = f₁(𝐱), 𝐲 = f₂(𝐡). Цепное правило для якобианов гласит: ∂ₓ𝐲 = ∂_𝐡𝐲 · ∂ₓ𝐡.
Снова возьмите цепочку на калькуляторе из прошлой части: x равен 2, умножается на w₁, равный 3, затем на w₂, равный 5. Прогоните её вперёд и запишите, что видите: 6 после первого шага, 30 после второго. Теперь начните обратный путь с h̃, равного 1.
VJP по весам оказывается внешним произведением, и никакого тензора ранга 3 нигде нет: vjp_f,𝐰(𝐯) = 𝐯𝐱ᵀ. Внешнее произведение двух векторов — это таблица, в которой элемент строки i и столбца j равен i-му элементу первого вектора, умноженному на j-й элемент второго.
Теперь сигмоида — S-образная кривая σ(s), популярная в прошлом как сглаженная версия ступенчатой функции. Её производная — σ′(s) = σ(s)(1 − σ(s)). Словами: наклон — это значение, умноженное на то, чего не хватает до 1.
Полная история сложнее. Для невыпуклых функций субградиента может и не быть, и тогда обращаются к обобщениям, которые ослабляют определение до малой окрестности x, — например, к субдифференциалу Кларка.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу