Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
On our notation and higher-order Jacobians. We only consider vector-valued quantities for readability, as all resulting gradients are then matrices. In practice, existing primitives may have inputs, weights or outputs of higher rank.
Consider the first instruction in our program, 𝐡₁ = f₁(𝐱, 𝐰₁). Because nothing has been stored up to now, we initialize the tangent matrix for 𝐰₁ as its weight Jacobian: Ŵ₁ = ∂_𝐰₁ 𝐡₁. We now proceed to the second instruction, 𝐡₂ = f₂(𝐡₁, 𝐰₂).
We can put these observations together to develop a second approach to automatic differentiation, which we call reverse-mode automatic differentiation, or R-AD, outlined next.
Hence we can implement an entire automatic differentiation system by first choosing a set of primitive operations, and then augmenting them with the corresponding VJPs, without having to materialize the Jacobians in memory at any point.
As we mentioned, in practice our models are implemented as compositions of objects whose parameters are encapsulated as properties. One possibility is to “purify” the object, turning it into a pure function.
Subdifferentiability and automatic differentiation. There is a small detail we avoided discussing until now: the ReLU is not differentiable at 0, which makes the overall network non-smooth. What happens in this case?
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу