Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
Lo único que se supone de cada primitiva es que sabemos calcular sus derivadas parciales respecto de sus dos argumentos. La primera es el jacobiano de entrada, ∂ₓ[f(𝐱, 𝐰)] ∼ (c′, c): cómo se mueve cada salida cuando se empuja cada entrada.
Ahora, la tercera forma, partiendo de la regla de la cadena. Tome dos primitivas seguidas, 𝐡 = f₁(𝐱), 𝐲 = f₂(𝐡). La regla de la cadena de los jacobianos dice ∂ₓ𝐲 = ∂_𝐡𝐲 · ∂ₓ𝐡.
Retome la cadena de la calculadora de la parte anterior: x es 2, multiplicado por w₁ igual a 3, y luego por w₂ igual a 5. Ejecútela hacia delante y anote lo que ve: 6 tras el primer paso, 30 tras el segundo. Ahora empiece hacia atrás con h̃ igual a 1.
El VJP de los pesos resulta ser un producto exterior, sin ningún tensor de rango 3: vjp_f,𝐰(𝐯) = 𝐯𝐱ᵀ. El producto exterior de dos vectores es la tabla cuyo valor en la fila i y la columna j es el i-ésimo valor del primero por el j-ésimo valor del segundo.
Ahora la sigmoide, la curva en forma de S, σ(s), que fue popular en el pasado como versión suave de la función escalón. Su derivada es σ′(s) = σ(s)(1 − σ(s)). Dicho con palabras: la pendiente es el valor por lo que le falta para llegar a 1.
La historia completa es más delicada. Para funciones que no son convexas, puede no existir ningún subgradiente, y se recurre a generalizaciones que relajan la definición a un pequeño entorno de x, como el subdiferencial de Clarke.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу