Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Первые три главы закладывают основу: о чём книга, линейная алгебра и анализ, на которых работает сеть, градиентный спуск, что такое набор данных и функция потерь.
Это пробная часть: 3 из 13 (главы).
Третья часть книги, «Вниз по кроличьей норе», продолжает наше исследование дифференцируемых моделей, рассматривая альтернативные конструкции для множеств, прежде всего слои внимания и модели-трансформеры в главах 10 и 11, графы в главе 12 и, наконец, рекуррентные слои для временных последовательностей в главе 13.
У векторов есть собственная алгебра, которую мы называем векторным пространством, в том смысле, что любые два вектора 𝐱 и 𝐲 одной формы можно линейно скомбинировать, 𝐳 = a𝐱 + b𝐲, получив третий вектор, где zᵢ = axᵢ + byᵢ.
Геометрически производную можно понимать как наклон касательной, проходящей через точку, или, что равносильно, как лучшее приближение первого порядка самой функции в этой точке, как показано на рисунке F.2.1.
Эту идею можно обобщить понятием выпуклости функции. Определений выпуклости много; мы выбираем приведённое ниже для простоты изложения.
Дообучение особенно упрощается благодаря большим открытым репозиториям в сети. Дообучать можно весь набор параметров исходной модели или только меньшее подмножество либо небольшое число дополнительных параметров: это называется параметрически эффективным дообучением, PEFT.
Всю красоту этой конструкции портит то, что апостериорное распределение в общем случае невозможно вычислить в замкнутом виде, кроме очень специальных выборов априорного распределения и правдоподобия.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу