Библиотека · CC BY-SA 4.0

Погружение вглубокое обучение

Dive into Deep Learning

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Открытый учебник, по которому учатся в сотнях университетских курсов о нейросетях. Первая глава объясняет, что значит для программы учиться на данных: модели, функции потерь, оптимизация, виды задач обучения и как глубокое обучение пришло к успеху.

Это пробная часть: 1 из 23 (главы).

Из лекций

Стопка записей с пометками «да» или «нет» подаётся в блок программы с тремя ручками; её ответы сверяют с пометками, и стрелка назад крутит ручки.
Программы, которые учатся на примерах

Крутим ручки

Вот выход, и это главная мысль главы. Вы не можете написать правило, по которому узнаётся «Привет, Siri», но сами вы его узнаёте. Поэтому люди собирают огромный набор записей и помечают каждую: в этой есть слово пробуждения, в этой нет.

U-образная кривая потерь в зависимости от положения ручки и шарик, который маленькими шагами спускается по склону ко дну.
Как оценить модель и какой экзамен она должна сдать

Спуск с холма

Когда модель предсказывает число, обычная функция потерь наказывает за величину каждого промаха, причём большие промахи весят гораздо больше маленьких.

Полоса, разделённая на 20 процентов «бледная поганка» и 80 процентов «безопасно»; ниже два выбора: съесть, со смертельной ценой, и выбросить, с малой ценой потерянного ужина.
Сколько или какой?

Взвесить шанс и цену

Книга показывает это на грибе, найденном в саду. Классификатор, обученный на фотографиях, говорит, что с вероятностью двадцать процентов это бледная поганка, самый смертоносный гриб на свете. Значит, он на восемьдесят процентов уверен, что гриб безопасен, — и всё же съесть его было бы глупо.

Ряд блоков со словами, один из которых спрятан как пропуск; стрелка от соседних слов указывает на догадку, заполняющую пропуск.
Обучение без начальника и меняющийся мир

Данные задают упражнение

Хитрый промежуточный путь — самообучение, при котором данные сами задают себе упражнения. Спрячьте слово в предложении и попросите модель угадать его по соседним словам; когда для практики есть все тексты мира, людям ничего не нужно размечать.

Шестнадцать длин ступней, нарисованных столбиками рядом; самая короткая и самая длинная зачёркнуты, а горизонтальная линия отмечает среднее остальных.
Обучение действием и с чего всё началось

Фут Кёбеля

Теперь книга возвращается в историю, потому что желанию учиться на данных уже несколько веков. Гаусс дал нам метод наименьших квадратов, которым до сих пор пользуются в страховании и медицине, а простые линейные модели описывают такие законы, как связь тока и напряжения в проводе.

Два столбика доли ошибок «топ-5» на ImageNet: 28 процентов в 2010 году и 2,25 процента в 2017-м.
Где это уже работает и что делает его глубоким

Ошибка на ImageNet

Распознавание предметов на фотографиях из трудного стало обыденным: на стандартном тесте лучшие системы 2010 года ошибались примерно в двадцати восьми процентах случаев, даже когда им давали пять попыток; к 2017 году — примерно в двух процентах.

Как это сделано

Примеры для: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

Источник

Лекции пересказывают с английского оригинала книгу d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en, автор — Астон Чжан, Закари Липтон, Му Ли, Александр Смола; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу