Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Первые три главы закладывают основу: о чём книга, линейная алгебра и анализ, на которых работает сеть, градиентный спуск, что такое набор данных и функция потерь.

Это пробная часть: 3 из 13 (главы).

Из лекций

Una cuadrícula de números etiquetada tensor pasa por una cadena de bloques, lineales y no lineales, cuyos extremos tienen forma de enchufes y tomas; a un lado hay letras con una cruz.
Aprender como una búsqueda entre perillas

Bloques que encajan como enchufes

La primera parte del libro, llamada Brújula y aguja, capítulos dos a seis, monta exactamente esta maquinaria. Ver una red como una cadena de bloques diferenciables plantea dos preguntas, y la segunda figura del libro las ilustra. Primero, ¿qué tipos de datos pueden entrar y salir?

En una cuadrícula, la flecha (2, 1) más dos veces la flecha (1, 3), que es (2, 6), completa un paralelogramo que termina en (4, 7); luego la flecha (3, 4) con longitud 5.
Flechas, longitudes y el producto punto

Vectores como flechas

La mayoría de los modelos del libro se construyen con ingredientes muy sencillos: sumas, multiplicaciones y unas pocas funciones curvadas como la exponencial, senos y cosenos, y raíces cuadradas.

Dos cubos de 2 por 2 por 2, uno lleno de unos y otro de doses, multiplicados posición por posición y sumados en 16, lo mismo que el producto punto de sus listas aplanadas de ocho.
Pilas de tablas y una abreviatura con letras

Un producto punto de tensores enteros

Para el segundo tipo, el libro da un producto punto generalizado. Tome dos tensores de la misma forma, con tres direcciones, multiplíquelos posición por posición y sume todos y cada uno de los productos. No es más que el producto punto corriente de los dos tensores aplanados en listas largas.

Una curva en forma de valle con una bola que empieza alta a la izquierda y da pasos cuesta abajo hacia el fondo; cada paso es una flecha etiquetada con el tamaño de paso, y una pequeña colina invertida muestra que maximizar es minimizar el negativo.
Donde el terreno cae más rápido

Paso a paso cuesta abajo

Ahora al descenso de gradiente. Suponga que queremos la entrada que hace una función de muchos números tan pequeña como sea posible, su mínimo.

Un espacio latente con dos puntos de perro casi tocándose, en (1, 2) y (1.1, 2.2), y un punto de coche lejos en (4, 6); una línea corta entre los perros dice 0.22 y una línea larga del perro al coche dice 5.
Qué hace bueno a un montón de ejemplos

Significados cercanos, puntos cercanos

La figura de apertura del capítulo anticipa algo notable. Un modelo diferenciable transforma su entrada paso a paso con operaciones de álgebra lineal.

La verosimilitud escrita como un producto de probabilidades, luego menos su logaritmo escrito como una suma de menos logaritmos; debajo, el ejemplo del pronosticador: 0.105 más 0.511 igual a 0.616, que es menos log 0.54.
La explicación más probable, y muchas explicaciones a la vez

Del producto a la suma de logaritmos

¿Cómo se entrena un modelo así? Como se supone que los ejemplos son independientes y extraídos de la misma distribución, la probabilidad que un modelo asigna a todo el conjunto de datos es el producto de las probabilidades que asigna a la salida verdadera de cada ejemplo.

Как это сделано

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу