Библиотека · CC BY-SA 4.0

Погружение вглубокое обучение

Dive into Deep Learning

Иллюстрация к книге

Выберите версию

Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.

Слушать и смотреть

Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.

Открытый учебник, по которому учатся в сотнях университетских курсов о нейросетях. Первая глава объясняет, что значит для программы учиться на данных: модели, функции потерь, оптимизация, виды задач обучения и как глубокое обучение пришло к успеху.

Это пробная часть: 1 из 23 (главы).

Из лекций

Квадратная фотография шириной 200 пикселей и высотой 200, подсчёт в 40 000 пикселей, умноженный на три цвета, даёт 120 000 чисел; ниже короткий и длинный отзывы показывают, что тексты бывают разной длины.
На чём учится машина

200 × 200 × 3 = 120 000

Книга подсчитывает, во что превращается фотография. В цветной картинке шириной двести пикселей и высотой двести пикселей двести на двести пикселей, то есть сорок тысяч.

Два счёта лежат на прямой, которая начинается с 50 долларов при нуле часов и растёт на 100 долларов в час, давая 450 долларов за 4 часа.
Сколько

Плата за вызов плюс ставка

Вернёмся к сантехнику. Вы, вероятно, предположили две вещи: больше часов стоит дороже, а счёт — это фиксированная плата за приход плюс столько-то за каждый час. Два счёта различаются на один час и на сто долларов, значит, каждый час стоит сто долларов.

Четыре карточки результатов с оценками 0,3, 0,9, 0,5 и 0,7 переставляются так, что самая высокая оценка оказывается наверху.
Много меток и лучшее первым

Поиск ранжирует по оценке

Поиск снова переворачивает вопрос. При поиске в интернете подходящих страниц обычно много; настоящий вопрос — какие из них показать первыми. Один способ — дать каждой странице оценку и выдать страницы с самыми высокими оценками.

Предложение the cat sat on the, последнее слово которого спрятано за вопросительным знаком; модель угадывает mat; то, чему она научилась, потом дообучают для другой задачи.
Всё наоборот и обучение без ответов

Спрячь слово — угадай обратно

Последним идёт самообучение, которое использует сами неразмеченные данные, чтобы составлять вопросы с известными ответами. Для текста: спрячьте случайное слово и учите модель угадывать его по окружающим словам.

Небольшая сеть из трёх слоёв кружков, соединённых линиями; ниже временная шкала с 1990 по 2015 год, где промежуток с 1995 по 2005 заштрихован как тихие годы.
Из тупика — к взрыву

Слои и тихие годы

После раннего быстрого прогресса исследования нейронных сетей зачахли примерно с 1995 по 2005 год, по двум причинам. Тренировка сети требует очень много вычислений, и хотя к концу века памяти было вдоволь, вычислительной мощности не хватало.

Слева страх из заголовков — восстание роботов, перечёркнутый; справа настоящие тревоги: автоматические кредитные решения, автоматизация рутинной работы, предвзятые модели.
Тихие успехи и настоящие тревоги

Страхи из заголовков и настоящие тревоги

Популярные статьи часто пугают апокалипсисом искусственного интеллекта, так называемой сингулярностью, когда машины обретут сознание и станут решать нашу судьбу без своих программистов.

Как это сделано

Примеры для: a curious adult with school maths who uses ChatGPT and phone apps; add one modern instance per idea, such as a chatbot, a spam filter, a recommendation feed or a voice assistant

Источник

Лекции пересказывают с английского оригинала книгу d2l.ai (Cambridge University Press, 2023), GitHub d2l-ai/d2l-en, автор — Астон Чжан, Закари Липтон, Му Ли, Александр Смола; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.

Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0

Ваша трудная книга — так же

Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.

Загрузить книгу