Lecturized
RU
Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Симоне Скардапане · 2024 · пересказ с английского оригинала

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

ЯзыкАнглийскийРусскийИспанский
Уровень1 · Как в книге2 · Формулы с объяснением3 · Формулы словами4 · Идеи и примеры5 · Общая картина
ГолосМужской · Device
РисункиГрафика тушьюБелым по чёрному

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.

Это пробная часть: 1 из 13 (главы).

Из лекций

Una pequeña pila de marcos de fotos alimenta una cuadrícula de reacciones que crece de unas pocas casillas a una tabla enorme que llena el lienzo, marcada demasiado grande.
Una receta hecha de pasos pequeños

Una tabla demasiado grande para guardarla

Algunos pasos tienen una esquina aguda donde la pendiente no está definida, como la popular ReLU, que deja pasar los números positivos y convierte en cero los negativos.

Cuatro puestos en fila; bajo cada uno, una pila creciente de pequeñas tablas: una bajo el primer puesto, dos bajo el segundo, tres bajo el tercero y cuatro bajo el cuarto, y cada pila nueva se actualiza con el jacobiano de entrada del puesto.
Por qué los caminos obvios son demasiado lentos

El modo directo guarda tablas

Así que el libro pasa al primer método de verdad, el modo directo, que se apoya en la regla de la cadena. Si un puesto alimenta a otro, la reacción de la pareja es la reacción del segundo multiplicada por la reacción del primero.

Cuatro bloques en fila, el primero, el segundo y el cuarto marcados como puntos de control guardados y el tercero vacío; las flechas de vuelta se detienen en el tercer bloque, una flecha de repetición va del segundo bloque al tercero, y una etiqueta dice más un cuarto.
Volver desde la puntuación

Los puntos de control ahorran memoria

El libro muestra una forma de cambiar parte de esa memoria por tiempo, llamada puntos de control del gradiente. Imagine cuatro bloques en fila. En la pasada hacia delante solo se guardan las salidas del primer, segundo y cuarto bloque; esos son los puntos de control.

Una capa une tres entradas, de valores 2, 1 y 3, a una salida que importa 4; los tres enlaces muestran sus gradientes 8, 4 y 12, cada uno la importancia de la salida por la entrada.
Hacerle una sola pregunta a la tabla

La parte de culpa de un peso

¿Por qué es esto tanto mejor? Tome el puesto más común de todos, una capa que mezcla sus entradas con una cuadrícula de pesos, como hace cada capa de un modelo de chat o de un modelo de fotos muchas veces.

Una fila de copias de una página, cada una la mitad de ancha que la anterior, muestra un gradiente que se encoge por un factor de un cuarto por capa y cae por debajo de una millonésima tras diez capas.
Cómo vuelven atrás los entornos, y por qué ganó la ReLU

Factores que se multiplican

Volvamos ahora a la fotocopiadora. Recuerde que, cuando el camino de vuelta pasa por una función de activación, la fila viajera se escala por la pendiente de la función.

La ReLU, plana a la izquierda de cero y subiendo a 45 grados a la derecha, con un abanico de rectas por la esquina cuyas pendientes van de 0 a 1, y la plana marcada como la elección habitual; encima, tres maneras de escribir la ReLU dan pendientes 0, 1 y 0,5 en cero.
La esquina de la ReLU

Cualquier pendiente de 0 a 1

La respuesta cuidadosa usa la idea de la regla. Para una función que se curva hacia arriba como un cuenco, cualquier recta que la toque en un punto y quede por debajo de toda la función es allí un subgradiente, y su pendiente es un sustituto válido de la pendiente que falta.

Как это сделано

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу