Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
The only thing assumed about each primitive is that we know how to compute its partial derivatives with respect to its two arguments. The first is the input Jacobian, ∂ₓ[f(𝐱, 𝐰)] ∼ (c′, c): how each output moves when each input is nudged.
Now the third way, starting from the chain rule. Take two primitives in a row, 𝐡 = f₁(𝐱), 𝐲 = f₂(𝐡). The chain rule of Jacobians says ∂ₓ𝐲 = ∂_𝐡𝐲 · ∂ₓ𝐡.
Take the calculator chain from the last part again: x is 2, multiplied by w₁ equal to 3, then by w₂ equal to 5. Run it forward and write down what you see: 6 after the first step, 30 after the second. Now start backwards with h̃ equal to 1.
The weight VJP turns out to be an outer product, with no rank-3 tensor anywhere: vjp_f,𝐰(𝐯) = 𝐯𝐱ᵀ. An outer product of two vectors is the table whose entry in row i and column j is the i-th entry of the first times the j-th entry of the second.
Now the sigmoid, the S-shaped curve σ(s) that was popular in the past as a soft version of the step function. Its derivative is σ′(s) = σ(s)(1 − σ(s)). In words: the slope is the value times what is left to reach 1.
The full story is trickier. For functions that are not convex, a subgradient need not exist, and one turns to generalizations that relax the definition to a small neighbourhood of x, such as the Clarke subdifferential.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу