Library · CC BY-SA 4.0

Dive intoDeep Learning

Dive into Deep Learning

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Звуковая волна с точками отсчётов, подпись «44 000 отсчётов в секунду» и стрелка к блоку «да или нет» со знаком вопроса: каким должно быть правило?
Пример для начала

От необработанного звука к «да» или «нет»

Представьте, что вам нужно всего лишь написать программу, которая откликается на слово пробуждения вроде «Alexa», «OK Google» или «Hey Siri». Попробуйте написать её, сидя одни в комнате, где нет ничего, кроме компьютера и редактора кода, как показано на рисунке.

График качества в зависимости от объёма данных: традиционный метод рано выходит на плато, глубокая модель стартует ниже и продолжает расти, обгоняя его; затем бак с подписью «мусор на входе» и стрелка к «мусору на выходе».
Ключевые составляющие

Больше данных — больше модели

Как правило, чем больше у нас данных, тем легче наша работа. Когда данных больше, мы можем обучать более мощные модели и меньше опираться на заранее сделанные предположения. Переход от (сравнительно) малых данных к большим во многом обеспечил успех современного глубокого обучения.

Размеченные примеры поступают в алгоритм обучения с учителем, который выдаёт обученную модель; новый вход поступает в модель, и выходит предсказание.
Алгоритмы оптимизации и обучение с учителем

От размеченных данных к модели

Если говорить неформально, процесс обучения выглядит примерно так. Сначала берём большое собрание примеров с известными признаками и выбираем из него случайное подмножество, получая для каждого примера истинную метку.

Два пользователя, поклонник научной фантастики и любитель комедий, у каждого свой список рекомендованных фильмов; оценка звёздами и кнопка «пропустить» как виды обратной связи.
Разметка тегами, поиск и рекомендательные системы

Один магазин, разные пользователи

Рекомендательные системы — ещё одна постановка задачи, родственная поиску и ранжированию. Задачи похожи в том, что цель — показать набор объектов, подходящих пользователю. Главное отличие — в рекомендательных системах упор делается на персонализацию под конкретных пользователей.

Блок агента и блок среды в цикле: действие идёт от агента к среде, наблюдение и награда возвращаются; правило агента — это стратегия.
Взаимодействие со средой и обучение с подкреплением

Цикл обучения с подкреплением

Далее мы кратко опишем обучение с подкреплением — богатую схему постановки задач обучения, в которых агент взаимодействует со средой.

Сетка маленьких блоков GPU по 32 изображения в каждом и сумма 1024 × 32 ≈ 32 000 изображений за шаг; время обучения падает с дней до минут.
Путь к глубокому обучению

Много GPU, один большой пакет

Во многих случаях одного GPU недостаточно, чтобы обработать большие объёмы данных, доступные для обучения. За последнее десятилетие способность строить параллельные и распределённые алгоритмы обучения значительно выросла.

How it was made

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book