Генерация по тексту или по фото: какой режим выбрать?

Короткий ответ: если у вас есть только идея, начните с генерации по тексту; если есть что-то, что не должно измениться (комната, лицо, товар), начните с генерации по фото. При генерации по тексту модель строит всё с нуля, а при генерации по фото ваш кадр становится отправной точкой, и задача модели - его изменить. В этой статье мы объясняем, когда работает каждый режим, что он сохраняет и что меняет, и как их можно использовать вместе, с примерами.

Что такое генерация по тексту и по фото?

Генерация по тексту (text-to-image) создает изображение с нуля только по вашему описанию. Генерация по фото (image-to-image) - режим, в котором вы передаете изображение и текст: изображение служит отправной точкой, а текст говорит, что нужно сделать. Документация Gemini от Google описывает это прямо: по изображению и текстовому запросу можно добавлять, удалять, заменять элементы, менять стиль или цветовой тон. Та же документация рекомендует улучшать результат пошагово, в диалоге из нескольких ходов.

На практике разница такая: при генерации по тексту вопроса «что сохранить?» нет, потому что сохранять нечего. При генерации по фото каждый промпт неявно отвечает на вопрос: что я сохраню в этом кадре, а что изменю?

Когда начинать с текста?

Когда у вас нет референса или он будет вас ограничивать. Типичные случаи:

• Стадия идеи: фон для приглашения, обложка блога, эскиз персонажа. Вы описываете нужную сцену и сравниваете несколько вариантов.
• Того, чего нет: сцена, которую нельзя снять, или вымышленное место.
• Поиск стиля: одно и то же описание в стиле акварели, векторной иллюстрации или фотографии, чтобы увидеть разницу.

У генерации по тексту есть и слабая сторона, связанная с ее же преимуществом: модель заполняет пробелы сама. Если вы напишете «маленькая кухня», модель сама решит, какая это кухня. Чтобы сузить выбор, добавляйте детали. Поэтому два результата по одному и тому же промпту могут сильно различаться - это нормально.

A small kitchen with white tiles, a copper kettle on the stove, and a bowl of lemons on a wooden counter, soft morning light from a window on the left.

Когда начинать с фото?

Когда есть то, что должно остаться. Реальная комната, ваше лицо, товар, который вы продаете, семейная фотография: описать их словами и ожидать, что результат совпадет, нереально. Передать фото - самый прямой способ сказать модели «возьми за основу это».

• Переделка существующего пространства: передайте фото комнаты, и пусть поменяется мебель или цвет.
• Смена света и обстановки: перенести дневной кадр в вечерний свет.
• Небольшие правки: добавить предмет, убрать пятно, сделать цвет теплее.
• Смена стиля: показать ту же фотографию в виде рисунка.

Using the provided photo of my living room, keep the walls, windows and sofa exactly as they are. Change only the lighting to warm evening light and add two potted plants near the window.

Что сохраняет каждый режим, а что меняет?

Характеристика	Генерация по тексту	Генерация по фото
Отправная точка	Только ваше описание	Ваше фото и описание
Контроль	Низкий: модель заполняет пробелы	Выше: композиция и содержимое берутся из фото
Разнообразие	Высокое: каждая попытка может отличаться	Меньше: результат остается вокруг фото
Удержание реального объекта	Невозможно, модель лишь предполагает	Возможно, но сдвиги все же бывают
Лучшее применение	Идеи, эскизы, вымышленные сцены	Редактирование, согласованность, личный кадр

В таблице есть строка «сдвиги все же бывают» - это важно. Генерация по фото не гарантирует, что все останется точно таким же. Модель может перерисовать выражение лица, буквы логотипа или пальцы руки. Поэтому полезно явно писать, что нужно сохранить.

Что такое «сила» и фраза «что сохранить»?

Некоторые инструменты дают при генерации по фото ползунок «сила», «точность» или «сходство». Логика простая: при низком значении результат остается ближе к фото, при высоком - промпт получает больше власти. Не в каждом инструменте такой ползунок есть. В моделях с диалоговым редактированием, например в тех, что описаны в документации Gemini, эту роль выполняет сам промпт: фраза «измени только это, все остальное оставь как есть» работает как ползунок.

Поэтому хороший промпт для редактирования состоит из двух частей:

1. Что меняется: «сделай небо теплым закатом».
2. Что остается: «человек, одежда и кадрирование остаются без изменений».

Change only the sky to a warm sunset. Keep the person, clothing, framing and image sharpness exactly the same.

Как использовать референсы?

Генерация по фото не ограничивается одним фото. Документация Gemini указывает, что модель принимает до 14 референсных изображений в сумме, и они могут выступать как референсы объектов, персонажей или стиля; конкретные лимиты различаются по моделям. Поэтому сверяйтесь с документацией вашего инструмента.

Если вы передаете несколько изображений, руководство BFL советует ссылаться на каждое по порядку («image 1», «image 2») и объяснять роль. Без роли модель сама решает, кто здесь персонаж, а что - стиль.

Place the person from image 1 into the room from image 2. Keep the room's lighting and furniture; keep the person's face and clothing from image 1.

Как использовать оба режима вместе?

Чаще всего лучше всего работает смешанный процесс. Сначала сгенерируйте по тексту несколько вариантов, выберите один и затем исправьте его в режиме генерации по фото. Так вы быстро найдете идею и аккуратно доработаете детали.

1. Поиск: попробуйте три-четыре направления в генерации по тексту.
2. Выбор: возьмите самый близкий вариант, остальное отложите.
3. Доработка: передайте выбранное изображение как исходное и измените только одно (свет, цвет, предмет).
4. Повтор: в каждом ходе одно изменение; если результат поплыл, вернитесь к предыдущей версии.

Документация Gemini также советует многоходовой диалог. Вместо пяти изменений сразу задавайте их по очереди.

Пример: гостиная

Допустим, вы хотите обновить гостиную. У вас есть идея и есть фото комнаты.

Вариант 1: только текст

A cozy living room with a green sofa, warm wooden floor, large plants near the window and soft evening light.

Результат может быть красивым, но это будет не ваша комната: окно, цвет стен и форма мебели другие. Для поиска вдохновения такой вариант хорош, для решения - мало.

Вариант 2: фото и текст

Using the provided photo, keep the room layout, walls and windows unchanged. Replace the sofa with a green one, add two large plants by the window, and make the light warmer.

Результат будет испытанием на вашей комнате: размеры, перспектива и окно сохраняются. Именно поэтому такой вариант помогает принять решение.

Какой ожидать результат в каждом режиме?

Ожидания зависят от режима. В генерации по тексту с первой попытки редко получается именно то, что вы представляли; три-четыре попытки и уточнения промпта - обычное дело. В генерации по фото результат обычно близок к исходнику, но бывают небольшие сдвиги: выражение лица, буквы надписи, пальцы руки. Поэтому в обоих режимах полезно сравнивать результат с исходником или с задуманным рядом.

Типичные ошибки

• Пытаться описать реальный объект словами: если нужна ваша комната или товар, передайте фото.
• Передать фото без указания, что сохранить: модель может изменить лицо, надпись или кадрирование.
• Просить много изменений за один ход: разбейте их на несколько ходов.
• Не назначать роли референсам: напишите, какой образ для чего.
• Использовать слабый исходник: размытое или темное фото дает размытый результат.
• Судить по одной попытке: сравните несколько результатов.

Итоги

• Если есть только идея, начните с текста; если есть то, что нужно сохранить, - с фото.
• В генерации по фото в промпте пишите и то, что меняется, и то, что остается.
• Число референсов зависит от модели; проверьте документацию своего инструмента.
• Назначайте роли изображениям по порядку.
• Сочетайте режимы: сначала поиск по тексту, затем доработка по фото, по одному изменению за ход.