Рецепт из маленьких шагов
Таблица, которую не удержать
У некоторых шагов есть острый угол, где наклон не определён, например у популярной ReLU, которая пропускает положительные числа и превращает отрицательные в ноль.
Библиотека · CC BY-SA 4.0
Приключения Алисы в Странедифференцируемых чудес
Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Выберите версию
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Уровень1 · Как в книге2 · Формулы с объяснением3 · Формулы словами4 · Идеи и примеры5 · Общая картина
ГолосМужской · Device
Слушать и смотреть
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
Из лекций
Почему очевидные пути слишком медленны
Прямой режим хранит таблицы
Поэтому книга переходит к первому настоящему методу — прямому режиму, — и он опирается на цепное правило. Если одна станция питает другую, реакция пары равна реакции второй, умноженной на реакцию первой.
Путь назад от итоговой оценки
Контрольные точки экономят память
Книга показывает способ вернуть часть этой памяти ценой времени — он называется контрольными точками градиента. Представьте четыре блока в ряд. При прямом проходе сохраняются только выходы первого, второго и четвёртого блоков; это и есть контрольные точки.
Задать таблице один вопрос
Доля вины веса
Почему это настолько лучше? Возьмите самую распространённую станцию — слой, который смешивает свои входы с сеткой весов, как это много раз делает каждый слой чат-модели или модели фотографий.
Как библиотеки идут назад и почему победила ReLU
Множители, которые перемножаются
Теперь вернёмся к копировальному аппарату. Помните: когда обратный путь проходит через функцию активации, путешествующая строка масштабируется на наклон функции.
Угол ReLU
Любой наклон от 0 до 1
Строгий ответ использует идею линейки. Для функции, изогнутой вверх, как чаша, любая прямая, которая касается её в точке и остаётся ниже всей функции, называется в этой точке субградиентом, и её наклон — законная замена отсутствующему наклону.
Как это сделано
- Уровень 4 · Идеи на примерах
- Демонстратор
- Белым по чёрному · обычно
- вопросами
- ссылками на книгу
- разобранными примерами
- Голос: Device (Gemini)
- Язык лекций русского
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Источник
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Ваша трудная книга — так же
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу