Картинки нейросетью: от идеи до готового изображения

Урок 1. Как «думает» нейросеть-художник — простыми словами: что такое диффузионная модель и почему картинка рождается из шума

Когда вы первый раз видите, как нейросеть за несколько секунд создаёт картинку по текстовому описанию, это выглядит как настоящее чудо. На самом деле никакой мистики здесь нет — есть довольно понятный процесс, и если разобраться в его логике хотя бы на базовом уровне, вам станет гораздо легче управлять результатом: понимать, почему промпт сработал не так, как ожидалось, и что поменять, чтобы получить нужную картинку.

Художник, который учился не так, как человек

Человек-художник учится рисовать, глядя на мир, копируя чужие работы, пробуя и ошибаясь годами. Нейросеть тоже «училась» — но по-другому. Ей показали огромное количество пар «изображение плюс текстовое описание этого изображения» — миллионы и миллионы примеров. За это время модель не запомнила конкретные картинки (она физически не может хранить миллиарды фотографий), а выучила статистические закономерности: какие цвета, формы, текстуры и композиции обычно связаны с какими словами. Слово «закат» статистически связано с тёплой цветовой гаммой и характерным градиентом неба. Слово «кот» — с определённым набором форм: ушки, усы, силуэт. Модель не «знает», что такое кот в нашем понимании, но она прекрасно знает, как он обычно выглядит на миллионах фотографий.