Библиотека · CC BY-SA 4.0

Погружение вглубокое обучение

Dive into Deep Learning

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Открытый учебник, по которому учатся в сотнях университетских курсов о нейросетях. Первая глава объясняет, что значит для программы учиться на данных: модели, функции потерь, оптимизация, виды задач обучения и как глубокое обучение пришло к успеху.

Это пробная часть: 1 из 23 (главы).

Из лекций

Стопка записей с метками «да» и «нет» поступает в алгоритм обучения, который крутит ручки на блоке под названием «модель».
Ручки, которые выучивают слово

Метки выставляют ручки

Вот хитрость, которую предлагает книга. Вы не можете записать, как вы узнаёте слово «Alexa», но узнаёте его сразу. Поэтому можно поступить иначе: собрать тысячи коротких записей и самому пометить каждую — «да», если в ней есть это слово, и «нет», если нет.

Вертикальная шкала потерь со стрелкой вниз и подписью «лучше» и формула «потери = − оценка».
Правильные данные и честная оценка

Меньше — лучше

Третья составляющая отвечает на вопрос, который звучит философски. Мы сказали, что учиться — значит становиться лучше в какой-то задаче. Но кто решает, что такое «лучше»? Если один человек предлагает изменить модель, другой вполне может возразить, что стало хуже.

Та же ценовая прямая с третьей точкой 3 часа — 420 долларов, выше значения прямой 350; пунктирный промах 70 между ними и квадрат промаха 70² = 4900.
Сколько? Регрессия

Счёт мимо прямой

Сантехник был лёгким случаем, потому что два счёта точно задали две ручки. Настоящие данные редко бывают так благосклонны. Третий счёт мог бы оказаться 420 долларов за 3 часа, потому что трубы были старее или работа пришлась на воскресенье, — то, чего одни только часы не учитывают.

Предложение «Tom has dinner in Washington with Sally» с пометкой под каждым словом, Ent под именами; ниже длинная звуковая волна из 48 000 отсчётов, сопоставленная шести словам.
Когда важен порядок: последовательности

Выровненные метки, невыровненный звук

Книга выделяет несколько частных случаев. Первый — разметка и разбор, где каждое слово текста получает пометку. Здесь вход и выход выровнены: по одной пометке на слово, в том же порядке, что и слова.

Два кофейных автомата: на автомате A — 6, на автомате B — знак вопроса; стрелки «использовать» к A и «исследовать» к B.
Учиться действуя: обучение с подкреплением

Использовать или исследовать

Вторая трудность — частичная наблюдаемость: то, что агент видит сейчас, может не говорить ему, где он находится. Представьте, что ваш робот-уборщик застрял в одной из нескольких одинаковых кладовок вашего дома.

Столбец из четырёх игр снизу вверх: нарды, шахматы, го, покер, со стрелкой вверх и подписью «труднее»; у покера пометка «скрытые карты».
Скрытые успехи и видимые

Лестница игр

Игры давно служили мерилом человеческих способностей, и книга прослеживает их лестницу. Она начинается с TD-Gammon, программы для игры в нарды, которая училась одной из форм обучения с подкреплением.

Как это сделано

Примеры для: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

Источник

Лекции пересказывают с английского оригинала книгу d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en, автор — Астон Чжан, Закари Липтон, Му Ли, Александр Смола; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу