Library · CC BY-SA 4.0

Dive intoDeep Learning

Dive into Deep Learning

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Стопка размеченных записей, каждая с пометкой «да» или «нет», питает алгоритм обучения, который крутит ручки машины; машина с выставленными ручками и есть модель.
Программирование примерами

Метки, ручки и ученик

Хитрость вот в чём: мы не можем объяснить, как распознать «Alexa», но сами её распознаём. Поэтому люди прослушивают очень много коротких записей и помечают каждую: «да» или «нет». Такое собрание называют набором данных, а пометки — метками.

Два счёта лежат на прямой, которая начинается с 50 долларов при нуле часов и растёт на 100 долларов в час, давая 450 долларов за 4 часа; разбросанные настоящие счета лежат рядом с прямой, а короткие зазоры отмечены как промахи.
Угадать, сколько

Плата за вызов плюс ставка

А теперь вернёмся к сантехнику. Вы, вероятно, предположили, что больше часов стоит дороже и что есть фиксированная плата за вызов плюс ставка за каждый час.

Четыре карточки результатов с оценками 0,3, 0,9, 0,5 и 0,7 переставляются так, что самая высокая оценка оказывается наверху.
Теги, рейтинги и ваша лента

Поиск ранжирует по оценке

Поиск — родственная задача, но вопрос меняется. При поиске в интернете подходящих страниц обычно много; важно, какие из них показать наверху. Один способ — дать каждой странице оценку и показывать сначала самые высокие оценки.

Предложение the cat sat on the, последнее слово которого спрятано за вопросительным знаком; модель угадывает mat; то, чему она научилась, потом дообучают для другой задачи.
Учиться без ответов

Спрячь слово — угадай обратно

Другое направление — самообучение, когда сами данные дают и вопросы, и ответы. Для текста: спрятать случайное слово и попросить модель угадать его по окружающим словам; огромные объёмы текста можно так использовать вовсе без разметки.

Небольшая сеть из трёх слоёв кружков, соединённых линиями, с подписью «слои»; ниже временная шкала с 1990 по 2015 год, где промежуток с 1995 по 2005 заштрихован как тихие годы.
Старые корни

Слои и тихие годы

В их основе две идеи: слои простой обработки, сложенные один за другим, и способ подстраивать сразу все ручки всей сети, называемый обратным распространением ошибки. После всплеска раннего прогресса исследования нейронных сетей застопорились примерно с 1995 по 2005 год.

Слева страх из заголовков — восстание роботов, перечёркнутый; справа настоящие тревоги: автоматические кредитные решения, автоматизация рутинной работы, предвзятые модели.
Повсюду, но почти незаметно

Страхи из заголовков и настоящие тревоги

Беспилотные автомобили тоже сильно продвинулись: некоторые машины уже часть времени ведут себя сами, хотя полная автономность пока недостижима: вождение требует видеть, рассуждать и следовать правилам, а глубокое обучение в основном отвечает за зрение.

How it was made

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book