Библиотека · CC BY-SA 4.0

Погружение вглубокое обучение

Dive into Deep Learning

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Открытый учебник, по которому учатся в сотнях университетских курсов о нейросетях. Первая глава объясняет, что значит для программы учиться на данных: модели, функции потерь, оптимизация, виды задач обучения и как глубокое обучение пришло к успеху.

Это пробная часть: 1 из 23 (главы).

Из лекций

Звуковая волна с точками отсчётов, подпись «44 000 отсчётов в секунду» и стрелка к блоку «да или нет» со знаком вопроса: каким должно быть правило?
Пример для начала

От необработанного звука к «да» или «нет»

Представьте, что вам нужно всего лишь написать программу, которая откликается на слово пробуждения вроде «Alexa», «OK Google» или «Hey Siri». Попробуйте написать её, сидя одни в комнате, где нет ничего, кроме компьютера и редактора кода, как показано на рисунке.

График качества в зависимости от объёма данных: традиционный метод рано выходит на плато, глубокая модель стартует ниже и продолжает расти, обгоняя его; затем бак с подписью «мусор на входе» и стрелка к «мусору на выходе».
Ключевые составляющие

Больше данных — больше модели

Как правило, чем больше у нас данных, тем легче наша работа. Когда данных больше, мы можем обучать более мощные модели и меньше опираться на заранее сделанные предположения. Переход от (сравнительно) малых данных к большим во многом обеспечил успех современного глубокого обучения.

Размеченные примеры поступают в алгоритм обучения с учителем, который выдаёт обученную модель; новый вход поступает в модель, и выходит предсказание.
Алгоритмы оптимизации и обучение с учителем

От размеченных данных к модели

Если говорить неформально, процесс обучения выглядит примерно так. Сначала берём большое собрание примеров с известными признаками и выбираем из него случайное подмножество, получая для каждого примера истинную метку.

Два пользователя, поклонник научной фантастики и любитель комедий, у каждого свой список рекомендованных фильмов; оценка звёздами и кнопка «пропустить» как виды обратной связи.
Разметка тегами, поиск и рекомендательные системы

Один магазин, разные пользователи

Рекомендательные системы — ещё одна постановка задачи, родственная поиску и ранжированию. Задачи похожи в том, что цель — показать набор объектов, подходящих пользователю. Главное отличие — в рекомендательных системах упор делается на персонализацию под конкретных пользователей.

Блок агента и блок среды в цикле: действие идёт от агента к среде, наблюдение и награда возвращаются; правило агента — это стратегия.
Взаимодействие со средой и обучение с подкреплением

Цикл обучения с подкреплением

Далее мы кратко опишем обучение с подкреплением — богатую схему постановки задач обучения, в которых агент взаимодействует со средой.

Сетка маленьких блоков GPU по 32 изображения в каждом и сумма 1024 × 32 ≈ 32 000 изображений за шаг; время обучения падает с дней до минут.
Путь к глубокому обучению

Много GPU, один большой пакет

Во многих случаях одного GPU недостаточно, чтобы обработать большие объёмы данных, доступные для обучения. За последнее десятилетие способность строить параллельные и распределённые алгоритмы обучения значительно выросла.

Как это сделано

Примеры для: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

Источник

Лекции пересказывают с английского оригинала книгу d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en, автор — Астон Чжан, Закари Липтон, Му Ли, Александр Смола; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу