Alice's Adventures in a Differentiable Wonderland, Volume I: A Tour of the Land
Один и тот же текст на каждом уровне, на всех языках и во всех оформлениях, что здесь есть. Выберите, потом слушайте или скачивайте.
Тот же плеер, который продукт даёт для вашей книги: голос, рисунки по мере того, как они рисуются, текст.
Современный учебник о том, как на самом деле устроены нейросети: от тензоров и градиентов до трансформеров. Глава 6 показывает, как программа сама находит свои градиенты: автоматическое дифференцирование, обратный проход, на котором обучается любая модель.
Это пробная часть: 1 из 13 (главы).
The book's answer starts by looking at the model as a program. When the program runs, it performs a chain of small, simple operations, one feeding the next; the book calls each one a primitive, and the whole chain, as it actually ran, a computational graph.
Now the first road, forward mode. Think of it as walking along the chain in the direction the program runs, carrying a notebook.
The book's key observation is that the chain ends in one number, the total error. So if you start the multiplication from that end, what you carry is never a whole table, only a single row of numbers, and a row times a table is cheap and gives another row.
Two examples show why the answers are so much cheaper than the tables. For the most common piece of a network, multiplying the input by a table of weights, the full table of slopes with respect to the weights would be a huge three-dimensional block of numbers.
Object-style models, the usual way of writing PyTorch, need one more step. One option is to pull the weights out of the model object and call it as a plain function with those weights handed in.
The book adds a warning. For curves that bend both ways, subgradients need not exist, and mathematicians use a looser, local version instead.
Примеры для: a curious adult with school maths who uses AI apps every day; add one modern instance per idea, such as how a chat assistant or a phone's photo app is trained
Лекции пересказывают с английского оригинала книгу arXiv 2404.17625 (version 3, 2025), автор — Симоне Скардапане; книга вышла под открытой лицензией, которая разрешает пересказ и перевод. Пересказ, рисунки и голос сделаны ИИ и сверены с книгой второй моделью. Как используется ИИ.
Лекции — переработка оригинала и распространяются под той же лицензией: их можно свободно распространять и перерабатывать с указанием автора и ссылкой на эту страницу: CC BY-SA 4.0
Загрузите учебник или любую сложную книгу. Первые пять минут бесплатно.
Загрузить книгу