Library · CC BY-SA 4.0

Dive intoDeep Learning

Dive into Deep Learning

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Стопка записей с метками «да» и «нет» поступает в алгоритм обучения, который крутит ручки на блоке под названием «модель».
Ручки, которые выучивают слово

Метки выставляют ручки

Вот хитрость, которую предлагает книга. Вы не можете записать, как вы узнаёте слово «Alexa», но узнаёте его сразу. Поэтому можно поступить иначе: собрать тысячи коротких записей и самому пометить каждую — «да», если в ней есть это слово, и «нет», если нет.

Вертикальная шкала потерь со стрелкой вниз и подписью «лучше» и формула «потери = − оценка».
Правильные данные и честная оценка

Меньше — лучше

Третья составляющая отвечает на вопрос, который звучит философски. Мы сказали, что учиться — значит становиться лучше в какой-то задаче. Но кто решает, что такое «лучше»? Если один человек предлагает изменить модель, другой вполне может возразить, что стало хуже.

Та же ценовая прямая с третьей точкой 3 часа — 420 долларов, выше значения прямой 350; пунктирный промах 70 между ними и квадрат промаха 70² = 4900.
Сколько? Регрессия

Счёт мимо прямой

Сантехник был лёгким случаем, потому что два счёта точно задали две ручки. Настоящие данные редко бывают так благосклонны. Третий счёт мог бы оказаться 420 долларов за 3 часа, потому что трубы были старее или работа пришлась на воскресенье, — то, чего одни только часы не учитывают.

Предложение «Tom has dinner in Washington with Sally» с пометкой под каждым словом, Ent под именами; ниже длинная звуковая волна из 48 000 отсчётов, сопоставленная шести словам.
Когда важен порядок: последовательности

Выровненные метки, невыровненный звук

Книга выделяет несколько частных случаев. Первый — разметка и разбор, где каждое слово текста получает пометку. Здесь вход и выход выровнены: по одной пометке на слово, в том же порядке, что и слова.

Два кофейных автомата: на автомате A — 6, на автомате B — знак вопроса; стрелки «использовать» к A и «исследовать» к B.
Учиться действуя: обучение с подкреплением

Использовать или исследовать

Вторая трудность — частичная наблюдаемость: то, что агент видит сейчас, может не говорить ему, где он находится. Представьте, что ваш робот-уборщик застрял в одной из нескольких одинаковых кладовок вашего дома.

Столбец из четырёх игр снизу вверх: нарды, шахматы, го, покер, со стрелкой вверх и подписью «труднее»; у покера пометка «скрытые карты».
Скрытые успехи и видимые

Лестница игр

Игры давно служили мерилом человеческих способностей, и книга прослеживает их лестницу. Она начинается с TD-Gammon, программы для игры в нарды, которая училась одной из форм обучения с подкреплением.

How it was made

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book