Library · CC BY-SA 4.0

Dive intoDeep Learning

Dive into Deep Learning

Cover illustration of the book

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Стопка записей с пометками «да» или «нет» подаётся в блок программы с тремя ручками; её ответы сверяют с пометками, и стрелка назад крутит ручки.
Программы, которые учатся на примерах

Крутим ручки

Вот выход, и это главная мысль главы. Вы не можете написать правило, по которому узнаётся «Привет, Siri», но сами вы его узнаёте. Поэтому люди собирают огромный набор записей и помечают каждую: в этой есть слово пробуждения, в этой нет.

U-образная кривая потерь в зависимости от положения ручки и шарик, который маленькими шагами спускается по склону ко дну.
Как оценить модель и какой экзамен она должна сдать

Спуск с холма

Когда модель предсказывает число, обычная функция потерь наказывает за величину каждого промаха, причём большие промахи весят гораздо больше маленьких.

Полоса, разделённая на 20 процентов «бледная поганка» и 80 процентов «безопасно»; ниже два выбора: съесть, со смертельной ценой, и выбросить, с малой ценой потерянного ужина.
Сколько или какой?

Взвесить шанс и цену

Книга показывает это на грибе, найденном в саду. Классификатор, обученный на фотографиях, говорит, что с вероятностью двадцать процентов это бледная поганка, самый смертоносный гриб на свете. Значит, он на восемьдесят процентов уверен, что гриб безопасен, — и всё же съесть его было бы глупо.

Ряд блоков со словами, один из которых спрятан как пропуск; стрелка от соседних слов указывает на догадку, заполняющую пропуск.
Обучение без начальника и меняющийся мир

Данные задают упражнение

Хитрый промежуточный путь — самообучение, при котором данные сами задают себе упражнения. Спрячьте слово в предложении и попросите модель угадать его по соседним словам; когда для практики есть все тексты мира, людям ничего не нужно размечать.

Шестнадцать длин ступней, нарисованных столбиками рядом; самая короткая и самая длинная зачёркнуты, а горизонтальная линия отмечает среднее остальных.
Обучение действием и с чего всё началось

Фут Кёбеля

Теперь книга возвращается в историю, потому что желанию учиться на данных уже несколько веков. Гаусс дал нам метод наименьших квадратов, которым до сих пор пользуются в страховании и медицине, а простые линейные модели описывают такие законы, как связь тока и напряжения в проводе.

Два столбика доли ошибок «топ-5» на ImageNet: 28 процентов в 2010 году и 2,25 процента в 2017-м.
Где это уже работает и что делает его глубоким

Ошибка на ImageNet

Распознавание предметов на фотографиях из трудного стало обыденным: на стандартном тесте лучшие системы 2010 года ошибались примерно в двадцати восьми процентах случаев, даже когда им давали пять попыток; к 2017 году — примерно в двух процентах.

How it was made

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book