Library · CC BY-SA 4.0

Dive intoDeep Learning

Name: Dive into Deep Learning
Author: Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola

Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola · 2023 · retold from the English original

Dive into Deep Learning

Choose your version

The same text, told at every level, in every language and look shown here. Pick, then listen or download.

LanguageEnglish Russian Spanish

Level1 · As written 2 · Formulas explained 3 · Formulas in words 4 · Ideas and examples 5 · Big picture

VoiceMale · Charon

DrawingsGraphic ink White on black

Listen and watch

The same player the product gives for your own book: the voice, the drawings as they are drawn, the text.

The open textbook used in hundreds of university courses on neural networks. Its first chapter explains what it means for a program to learn from data: models, losses, optimisation, the kinds of learning problems, and how deep learning came to win.

This is a sample: 1 of 23 chapters.

From the lectures

Квадратная фотография шириной 200 пикселей и высотой 200, подсчёт в 40 000 пикселей, умноженный на три цвета, даёт 120 000 чисел; ниже короткий и длинный отзывы показывают, что тексты бывают разной длины.

На чём учится машина

200 × 200 × 3 = 120 000

Книга подсчитывает, во что превращается фотография. В цветной картинке шириной двести пикселей и высотой двести пикселей двести на двести пикселей, то есть сорок тысяч.

Два счёта лежат на прямой, которая начинается с 50 долларов при нуле часов и растёт на 100 долларов в час, давая 450 долларов за 4 часа.

Сколько

Плата за вызов плюс ставка

Вернёмся к сантехнику. Вы, вероятно, предположили две вещи: больше часов стоит дороже, а счёт — это фиксированная плата за приход плюс столько-то за каждый час. Два счёта различаются на один час и на сто долларов, значит, каждый час стоит сто долларов.

Четыре карточки результатов с оценками 0,3, 0,9, 0,5 и 0,7 переставляются так, что самая высокая оценка оказывается наверху.

Много меток и лучшее первым

Поиск ранжирует по оценке

Поиск снова переворачивает вопрос. При поиске в интернете подходящих страниц обычно много; настоящий вопрос — какие из них показать первыми. Один способ — дать каждой странице оценку и выдать страницы с самыми высокими оценками.

Предложение the cat sat on the, последнее слово которого спрятано за вопросительным знаком; модель угадывает mat; то, чему она научилась, потом дообучают для другой задачи.

Всё наоборот и обучение без ответов

Спрячь слово — угадай обратно

Последним идёт самообучение, которое использует сами неразмеченные данные, чтобы составлять вопросы с известными ответами. Для текста: спрячьте случайное слово и учите модель угадывать его по окружающим словам.

Небольшая сеть из трёх слоёв кружков, соединённых линиями; ниже временная шкала с 1990 по 2015 год, где промежуток с 1995 по 2005 заштрихован как тихие годы.

Из тупика — к взрыву

Слои и тихие годы

После раннего быстрого прогресса исследования нейронных сетей зачахли примерно с 1995 по 2005 год, по двум причинам. Тренировка сети требует очень много вычислений, и хотя к концу века памяти было вдоволь, вычислительной мощности не хватало.

Слева страх из заголовков — восстание роботов, перечёркнутый; справа настоящие тревоги: автоматические кредитные решения, автоматизация рутинной работы, предвзятые модели.

Тихие успехи и настоящие тревоги

Страхи из заголовков и настоящие тревоги

Популярные статьи часто пугают апокалипсисом искусственного интеллекта, так называемой сингулярностью, когда машины обретут сознание и станут решать нашу судьбу без своих программистов.

How it was made

Level 3 · Les formules en mots
Demonstrator
Graphic ink · regular
questions
places in the book
worked examples
Voice: Charon (Gemini)
Told in Russian

Examples for: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

The source

The lectures retell the English text of d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en by Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola, published under an open licence that allows retelling and translation. The retelling, the drawings and the voice are made by AI and checked against the book by a second model. How AI is used.

The lectures adapt the original and are released under the same licence, free to share and adapt with credit to the author and a link to this page: CC BY-SA 4.0

Your own hard book, the same way

Upload a textbook or any difficult book. The first five minutes are free.

Upload a book