Библиотека · CC BY-SA 4.0

Приключения Алисы в Странедифференцируемых чудес

Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Первые три главы закладывают основу: о чём книга, линейная алгебра и анализ, на которых работает сеть, градиентный спуск, что такое набор данных и функция потерь.

Это пробная часть: 3 из 13 (главы).

Из лекций

La parábola efe de doble u igual a doble u al cuadrado, un punto en w = 3 con error 9 y una tangente de pendiente 6; un paso a 3,01 sube el error a 9,0601, seis veces el paso.
Aprender es buscar

Pendiente de w al cuadrado en tres

Aquí está la idea con una sola rueda y números que podemos comprobar. Suponga que el error de un modelo es f(w) = w², y la rueda está en w = 3, así que el error es nueve.

Tres rejillas de 5 por 6 apiladas; la segunda está resaltada como equis sub 2; una celda en la fila 3, columna 4 está marcada como equis sub 234; luego las columnas 2 a 4 de esa hoja están sombreadas como equis sub 2, dos puntos, 2 dos puntos 5, una tira de 5 por 3.
Cortar rebanadas de un tensor

Cortando el lote de fotos

Tome un tensor tridimensional X ∼ (a, b, c). Entonces Xᵢ es una rebanada de forma (b, c): en nuestro lote de fotos, X₂ es la segunda foto entera, una rejilla de 5 por 6 con 30 números.

Una barra larga de mil millones de pasos dividida en ocho trozos iguales de 125 millones, todavía cúbica; luego datos que se mueven entre una caja de memoria y una caja de cálculo, con la parte lenta rotulada «limitado por memoria» y un indicador de perfilador.
Cómo crece el coste

Dos límites más

Dos límites más del pensamiento asintótico. Primero, tener k procesadores no cambia en absoluto la O grande: como mucho divide el tiempo por k, un factor constante; ocho núcleos convierten mil millones de pasos en 125 millones cada uno, todavía cúbico en n.

La parábola (x − 3)² + 1 con su punto más bajo en x = 3, donde el valor es 1; luego la curva invertida −f con un pico en el mismo lugar.
Tamaños ocultos, y el primer paso cuesta abajo

El argmin es un lugar

Ahora la razón por la que los gradientes merecen todo esto: la sección 2.3, el descenso de gradiente. La tarea es minimizar una función f(𝐱) con 𝐱 ∼ (d): 𝐱* = argmin f(𝐱). Como argmax, argmin significa «el valor de x que da la f más baja posible».

Una nube rotulada p(x, y) deja caer muestras en un conjunto de datos; luego se muestran dos fallos: una línea de tiempo donde la nube deriva a lo largo de décadas, y una muestra apiñada en una esquina de la nube cerca de un concesionario.
Un paisaje para practicar, y qué es un conjunto de datos

Misma fuente, extraída con honestidad

Se añade un supuesto más, y es crucial: cada ejemplo es una extracción independiente e idénticamente distribuida, i.i.d., de alguna distribución de probabilidad p(x, y) desconocida, y de hecho incognoscible. Suena técnico, pero es lo que da sentido a la tarea.

Una curva de campana centrada en 250 con una dispersión de 20 marcada a ambos lados, rotulada «media f1» y «dispersión f2», con varianza 400.
Predecir una distribución en vez de un número

Una curva de campana para un precio

Para la regresión, predecir un número real y ∈ ℝ, el modelo puede producir dos valores, f(x) ∼ (2), la media y la dispersión de una gaussiana, una curva de campana: p(y ∣ f(x)) = 𝒩(y ∣ f₁(x), f₂²(x)). La segunda salida se eleva al cuadrado para que la varianza sea siempre positiva.

Как это сделано

Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained

Источник

Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу