Lecturized
RU
Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Симоне Скардапане · 2024 · пересказ с английского оригинала

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

ЯзыкАнглийскийРусскийИспанский
Уровень1 · Как в книге2 · Формулы с объяснением3 · Формулы словами4 · Идеи и примеры5 · Общая картина
ГолосМужской · Device
РисункиГрафика тушьюБелым по чёрному

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.

Это пробная часть: 1 из 13 (главы).

Из лекций

Una caja con tres entradas, seis pesos y dos salidas; a su lado una cuadrícula de 2 por 3 casillas para el jacobiano de entrada y una de 2 por 6 casillas para el jacobiano de los pesos.
Una cadena de teclas

Las dos tablas de una primitiva

El libro supone una sola cosa de cada primitiva: que conocemos sus tasas locales, reunidas en dos tablas llamadas jacobianos. El jacobiano de entrada dice cómo se mueve cada número de salida cuando se empuja cada número de entrada, así que tiene una fila por salida y una columna por entrada.

La función a·sen x + b·x·sen x y su derivada a·cos x + b·x·cos x + b·sen x, con los dos senos y los dos cosenos resaltados como trabajo repetido.
Tres formas de hallar una pendiente

Una fórmula y sus repeticiones

La segunda forma es la que aprendió en el instituto. Tome una función pequeña: a por el seno de un número, más b por el número por su seno.

Un producto largo dibujado con formas: una fila delgada de unos, luego tres tablas cuadradas, luego una tabla estrecha; una flecha roja desde el extremo derecho muestra productos de tabla por tabla, una flecha verde desde el extremo izquierdo muestra una fila que atraviesa las tablas y sigue siendo una fila.
Recorrer la cadena hacia atrás

Por qué extremo empezar

El libro escribe entera la tasa de la puntuación final respecto de los pesos de un paso, en algún punto del medio de la cadena. Es un producto largo. Primero viene una fila de unos, que representa la suma final: cada número del último resultado cuenta una vez en la puntuación.

Una caja con la pasada hacia delante entrando por la izquierda y saliendo por la derecha, y dos flechas que vuelven a través de ella: una da las tasas de los pesos, la otra el siguiente adjunto; debajo, filas con un solo uno, una tras otra, reconstruyen una tabla completa fila a fila.
No construya nunca la tabla

Una primitiva con dos reglas hacia atrás

Así que un paso hacia atrás no son más que dos llamadas. Llame al producto vector-jacobiano de los pesos con el adjunto, y salen las tasas de la puntuación respecto de los pesos de ese paso.

Una máquina llamada grad recibe la función suma de cuadrados y entrega una función nueva; con 1, 2, 3, la función nueva devuelve 2, 4, 6, mientras que la antigua devuelve 14; debajo, un objeto con pesos dentro se abre en una función que recibe la entrada y los pesos uno junto al otro.
Notas dejadas por el camino

Una función que fabrica funciones

En una biblioteca funcional como JAX todo es una función, y la diferenciación también. Un producto vector-jacobiano se convierte en una función que fabrica funciones.

La ReLU con la recta de pendiente un medio por la esquina: en la entrada 2 la recta está en 1, por debajo del 2 de la ReLU; en la entrada −2 está en −1, por debajo del 0 de la ReLU; la recta de pendiente 1,5 llega a 3 en la entrada 2, por encima de la ReLU.
Una regla en la esquina

Comprobar un subgradiente

La respuesta más cuidadosa usa el abanico que acaba de dibujar. Para una función que se curva hacia arriba, una función convexa, un subgradiente en un punto es la pendiente de una recta que pasa por ese punto y queda por debajo de toda la función en todas partes.

Как это сделано

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу