Library · CC BY-SA 4.0

Dive intoDeep Learning

Dive into Deep Learning

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Una onda sonora con puntos de muestra, la etiqueta 44 000 muestras por segundo y una flecha hacia una caja de sí o no con un signo de interrogación que pregunta por la regla.
Un ejemplo motivador

Del audio en bruto a sí o no

Imagine que solo tiene que escribir un programa que responda a una palabra de activación como «Alexa», «OK Google» o «Hey Siri». Intente programarlo usted solo en una habitación, sin nada más que un ordenador y un editor de código, como se ilustra en la figura.

Un gráfico del rendimiento frente a la cantidad de datos: un método tradicional se estanca pronto y un modelo profundo empieza más abajo y sigue subiendo hasta superarlo; luego un cubo con la etiqueta entra basura y una flecha hacia sale basura.
Componentes clave

Más datos, modelos mayores

En general, cuantos más datos tenemos, más fácil es nuestro trabajo. Con más datos, podemos entrenar modelos más potentes y depender menos de suposiciones previas. El paso de datos (relativamente) pequeños a grandes datos ha contribuido en gran medida al éxito del aprendizaje profundo moderno.

Los ejemplos etiquetados entran en un algoritmo de aprendizaje supervisado, que devuelve un modelo aprendido; una entrada nueva entra en el modelo y sale una predicción.
Algoritmos de optimización y aprendizaje supervisado

De datos etiquetados a un modelo

De manera informal, el proceso de aprendizaje es más o menos así. Primero, se toma una gran colección de ejemplos cuyas características se conocen y se elige de ella un subconjunto aleatorio, obteniendo para cada uno su etiqueta real.

Dos usuarios, un aficionado a la ciencia ficción y otro a la comedia, cada uno con una lista distinta de películas recomendadas; una valoración con estrellas y un botón de saltar como tipos de opinión.
Etiquetado, búsqueda y sistemas de recomendación

La misma tienda, usuarios distintos

Los sistemas de recomendación son otro planteamiento de problema relacionado con la búsqueda y la ordenación. Los problemas se parecen en que el objetivo es mostrar un conjunto de elementos relevantes para el usuario.

Una caja de agente y una caja de entorno en un bucle: la acción va del agente al entorno, la observación y la recompensa vuelven; la regla del agente es la política.
Interacción con un entorno y aprendizaje por refuerzo

El bucle del aprendizaje por refuerzo

A continuación describimos brevemente el aprendizaje por refuerzo, un marco rico para plantear problemas de aprendizaje en los que un agente interactúa con un entorno.

Una cuadrícula de pequeñas cajas de GPU con 32 imágenes cada una, y la suma 1024 × 32 ≈ 32 000 imágenes por paso; el tiempo de entrenamiento baja de días a minutos.
El camino hacia el aprendizaje profundo

Muchas GPU, un gran lote

En muchos casos, una sola GPU no basta para procesar las grandes cantidades de datos disponibles para el entrenamiento. En la última década, la capacidad de construir algoritmos de entrenamiento paralelos y distribuidos ha mejorado mucho.

How it was made

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book