Библиотека · CC BY-SA 4.0

Погружение вглубокое обучение

Dive into Deep Learning

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Открытый учебник, по которому учатся в сотнях университетских курсов о нейросетях. Первая глава объясняет, что значит для программы учиться на данных: модели, функции потерь, оптимизация, виды задач обучения и как глубокое обучение пришло к успеху.

Это пробная часть: 1 из 23 (главы).

Из лекций

Стопка размеченных записей, каждая с пометкой «да» или «нет», питает алгоритм обучения, который крутит ручки машины; машина с выставленными ручками и есть модель.
Программирование примерами

Метки, ручки и ученик

Хитрость вот в чём: мы не можем объяснить, как распознать «Alexa», но сами её распознаём. Поэтому люди прослушивают очень много коротких записей и помечают каждую: «да» или «нет». Такое собрание называют набором данных, а пометки — метками.

Два счёта лежат на прямой, которая начинается с 50 долларов при нуле часов и растёт на 100 долларов в час, давая 450 долларов за 4 часа; разбросанные настоящие счета лежат рядом с прямой, а короткие зазоры отмечены как промахи.
Угадать, сколько

Плата за вызов плюс ставка

А теперь вернёмся к сантехнику. Вы, вероятно, предположили, что больше часов стоит дороже и что есть фиксированная плата за вызов плюс ставка за каждый час.

Четыре карточки результатов с оценками 0,3, 0,9, 0,5 и 0,7 переставляются так, что самая высокая оценка оказывается наверху.
Теги, рейтинги и ваша лента

Поиск ранжирует по оценке

Поиск — родственная задача, но вопрос меняется. При поиске в интернете подходящих страниц обычно много; важно, какие из них показать наверху. Один способ — дать каждой странице оценку и показывать сначала самые высокие оценки.

Предложение the cat sat on the, последнее слово которого спрятано за вопросительным знаком; модель угадывает mat; то, чему она научилась, потом дообучают для другой задачи.
Учиться без ответов

Спрячь слово — угадай обратно

Другое направление — самообучение, когда сами данные дают и вопросы, и ответы. Для текста: спрятать случайное слово и попросить модель угадать его по окружающим словам; огромные объёмы текста можно так использовать вовсе без разметки.

Небольшая сеть из трёх слоёв кружков, соединённых линиями, с подписью «слои»; ниже временная шкала с 1990 по 2015 год, где промежуток с 1995 по 2005 заштрихован как тихие годы.
Старые корни

Слои и тихие годы

В их основе две идеи: слои простой обработки, сложенные один за другим, и способ подстраивать сразу все ручки всей сети, называемый обратным распространением ошибки. После всплеска раннего прогресса исследования нейронных сетей застопорились примерно с 1995 по 2005 год.

Слева страх из заголовков — восстание роботов, перечёркнутый; справа настоящие тревоги: автоматические кредитные решения, автоматизация рутинной работы, предвзятые модели.
Повсюду, но почти незаметно

Страхи из заголовков и настоящие тревоги

Беспилотные автомобили тоже сильно продвинулись: некоторые машины уже часть времени ведут себя сами, хотя полная автономность пока недостижима: вождение требует видеть, рассуждать и следовать правилам, а глубокое обучение в основном отвечает за зрение.

Как это сделано

Примеры для: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

Источник

Лекции пересказывают с английского оригинала книгу d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en, автор — Астон Чжан, Закари Липтон, Му Ли, Александр Смола; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу