Карточке товара на маркетплейсе нужно видео: короткий ролик, где вещь показана в деле, в интерьере или в руках. Снимать его для каждого артикула долго и дорого, поэтому продавцы и маркетологи всё чаще смотрят на русские нейросети для видео. Повод присмотреться появился свежий: «Сбер» представил модель Kandinsky 6.0 Video, которая генерирует ролики вместе со звуком.
Новость пересказали многие, но для практика из неё следуют три вопроса. Что эта модель умеет на самом деле, если отделить заявления от характеристик? Что из пятисекундного ролика можно собрать для карточки товара? И где генерация видео для маркетплейса упирается в ограничения, о которых в пресс-релизах не пишут?
Ниже разобраны все три. Опора — материал Forbes, который ссылается на пресс-службу «Сбера». Всё, чего в этом материале нет, помечено как вывод или как открытый вопрос.
Русские нейросети для видео: что объявил «Сбер»
По материалам Forbes, «Сбер» выпустил Kandinsky 6.0 Video. Модель доступна пользователям «ГигаЧата» и генерирует ролики с речью, музыкой и звуками окружения. В компании назвали её первой российской нейросетью, которая создаёт видео с синхронным звуком. Это заявление самой компании, а не результат независимой проверки.
Характеристики из сообщения:
| Параметр | Что заявлено |
|---|---|
| Вход | текстовое описание сцены или загруженный первый кадр плюс описание звукового ряда |
| Качество видео | на выбор SD, HD или Full HD |
| Длительность со звуком | до пяти секунд, увеличение обещано в будущем |
| Звук | 44 кГц, по словам «Сбера», стандарт для большинства стриминговых сервисов |
| Без звука | можно попросить ролик без звуковой дорожки |
| Референсы | модель ищет референсы, если не знает, как выглядит объект из запроса |
| Лицензия | опенсорс под MIT, бесплатная интеграция в свои продукты |
Ещё одно заявление касается качества. По данным банка, новая версия точнее передаёт физику реального мира и оказалась лучше Kandinsky 5.0 в среднем в 71% случаев по всем критериям. Эту цифру нужно читать аккуратно. Это сравнение с собственной предыдущей версией, а не с моделями других компаний, и методика оценки в материале не раскрыта: кто сравнивал, на каких сценах, по каким критериям.
«Синхронный звук» означает, что звуковая дорожка совпадает с событиями в кадре: шаги звучат в момент шага, хлопок раздаётся, когда закрывается дверца. Раньше в таком производстве картинку генерировали отдельно, а звук подкладывали вручную или другой моделью. Модель, которая делает и то и другое, убирает целый этап монтажа. Насколько точно совпадают звук и движение на сложных сценах, покажет только практика.
В чём задача: видео для карточки товара
У продавца на маркетплейсе типичная ситуация такая: десятки или сотни артикулов, фото есть у всех, видео у единиц. Съёмка ролика требует предмета под рукой, площадки, света, человека с камерой и монтажа. Для одного флагманского товара это окупается, для длинного хвоста ассортимента почти никогда.
Нейросеть для видео обещает закрыть этот разрыв: есть фото товара и описание сцены, на выходе короткий ролик. Звук здесь прибавляет больше, чем кажется. Ролик с шуршанием упаковки, тихой музыкой или фразой голосом выглядит законченным. Немой клип похож на анимированную фотографию.
Задача при этом конкретнее, чем «делать видео». В карточке ролик должен:
- показать товар узнаваемо, без искажений формы, цвета и надписей на упаковке;
- уложиться в требования площадки по длительности, формату и содержанию;
- выглядеть достаточно правдоподобно, чтобы покупатель не почувствовал подмену.
Первое требование самое жёсткое. Отзыв «на видео было другое» стоит продавцу дороже, чем отсутствие видео.
Как работает генерация: текст, первый кадр и звуковой ряд
У Kandinsky 6.0 Video два способа задать сцену, и для маркетплейса это главное различие.
Из текста. Сцена описывается словами: что в кадре, что происходит, какая обстановка. Модель придумывает изображение целиком. Такой способ подходит для фоновых и атмосферных роликов: кухня утром, пар над чашкой, свет из окна. Конкретный товар он не покажет, потому что модель не знает, как выглядит именно ваша кофемолка.
Из первого кадра. Загружается изображение, и модель продолжает его движением. Для продавца это основной сценарий: первым кадром становится фотография товара, а нейросеть «оживляет» сцену. Камера наезжает, ткань колышется, вокруг предмета появляется движение.
Отдельно описывается звуковой ряд: речь, музыка, звуки окружения. Если звук не нужен, его можно отключить. Для части площадок и сценариев это разумно, ведь ролик в ленте нередко смотрят без звука.
Функция поиска референсов работает так: если модель не знает, как выглядит объект из запроса, она ищет образцы. Для узнаваемых, но редких предметов это полезно. Для товара продавца это риск. Модель может опереться на чужой, похожий, но не тот предмет. Как именно устроен поиск и откуда берутся референсы, в материале не сказано.
Честная аналогия для генерации из первого кадра выглядит так. Художнику дали фотографию и попросили дорисовать, что было в следующие пять секунд. Первый кадр он повторит точно. Дальше он рисует по памяти и по общему представлению о мире, а не по оригиналу.
Пять секунд со звуком: что из этого собирается для маркетплейса
Пять секунд — главное ограничение текущей версии, и под него приходится подстраивать сценарий. Полноценный обзор товара в этот хронометраж не помещается. Одна выразительная сцена помещается.
Сценарии, которые укладываются в рамки модели:
- Товар в контексте. Фото свечи на столе превращается в сцену, где пламя дрожит, а за кадром тихо звучит музыка. Форма товара почти не меняется, движение идёт вокруг него.
- Атмосферная заставка. Ролик без конкретного товара: интерьер, природа, кухня. Его ставят первым кадром в серии или используют как фон. Здесь годится генерация из текста.
- Одна фраза голосом. Речь в пять секунд — это одно короткое предложение. Для слогана или названия этого достаточно, для объяснения свойств товара нет.
- Звук действия. Щелчок застёжки, шум воды, хруст упаковки. Именно здесь синхронный звук даёт больше всего: такой эффект трудно подложить вручную так, чтобы он совпал с движением.
Длинный ролик для карточки из нескольких генераций собрать можно, но шов между ними придётся прятать монтажом. Модель не гарантирует, что товар в соседних клипах выглядит одинаково.
Что, скорее всего, не получится на текущей версии:
- демонстрация работы техники с конкретными кнопками, экраном и индикаторами;
- примерка одежды с точной посадкой: модель дорисует ткань по своему представлению;
- ролики, где надпись на упаковке должна оставаться читаемой на протяжении всего движения.
Выбор качества SD, HD или Full HD тоже имеет практический смысл. Черновики сцены разумно гонять в низком разрешении, а финальный вариант делать в Full HD. Сколько времени и лимитов «ГигаЧата» уходит на одну генерацию в каждом качестве, материал не сообщает.
Опенсорс под MIT: что это значит для селлера и разработчика
Для разработчика открытая лицензия — самая весомая часть новости. MIT относится к самым разрешительным лицензиям: код можно использовать, изменять и встраивать в коммерческие продукты, если сохранено указание авторства и текст лицензии. «Сбер» прямо пишет, что модель можно бесплатно интегрировать в свои продукты.
Для продавца это открывает два пути. Первый — пользоваться моделью через «ГигаЧат», как обычным сервисом. Второй — поручить разработчику развернуть её у себя и встроить в собственный конвейер: выгрузка фото из каталога, генерация роликов пачкой, проверка, загрузка в карточки.
Второй путь интересен тем, у кого большой ассортимент. Генерация на своих серверах не зависит от лимитов чужого сервиса, а данные о товарах не уходят наружу. Российская нейросеть для создания видео с открытой лицензией снимает и часть вопросов о доступности зарубежных сервисов.
Чего в материале нет и что придётся выяснять до решения:
- какие требования к оборудованию у модели и на каких видеокартах она запускается;
- сколько времени занимает генерация одного ролика на своём железе;
- что именно открыто: веса модели, код обучения, только код запуска;
- распространяются ли все функции, включая поиск референсов, на открытую версию.
Пока на эти вопросы нет ответа из документации, свой развёрнутый конвейер — гипотеза, а не план.
Границы и цена
Точность товара. Это главный риск для маркетплейса. Генеративная модель продолжает первый кадр по общему представлению о мире. Поэтому мелкие детали, логотипы, надписи и пропорции могут «поплыть» уже через секунду движения. Каждый ролик для карточки нужно просматривать покадрово перед публикацией. На сотнях артикулов эта проверка съедает заметную часть сэкономленного времени.
Длительность. Пять секунд со звуком — текущий предел. Увеличение обещано, но сроков в материале нет. Строить контент-план в расчёте на будущие возможности рано.
Качество в сравнении. Цифра «лучше Kandinsky 5.0 в 71% случаев» говорит о прогрессе внутри линейки, но не о том, как модель выглядит рядом с другими генераторами видео. Методика оценки не раскрыта, независимых сравнений в материале нет.
Физика и движение. «Сбер» заявляет, что модель точнее передаёт физику реального мира. На практике генераторы видео чаще всего ошибаются на руках, жидкостях, тканях и взаимодействии предметов. Проверять стоит именно такие сцены, если они нужны для вашего товара.
Деньги. Стоимость генерации в «ГигаЧате» и лимиты в материале не названы. Открытая версия бесплатна по лицензии, но не по эксплуатации. Мощные видеокарты, их аренда или покупка, время разработчика на развёртывание и поддержку — всё это расходы, которые для небольшого магазина легко превысят стоимость нескольких съёмок.
Правила площадок. У маркетплейсов свои требования к видео в карточках: длительность, формат, допустимое содержание. Их нужно сверять с правилами конкретной площадки. Отдельный вопрос, как площадка относится к сгенерированным роликам, которые выдают себя за съёмку реального товара. Его стоит выяснить до массовой загрузки.
Звук. 44 кГц — техническая частота дискретизации, то есть характеристика записи. Она не гарантирует, что речь звучит естественно, а музыка подходит к сцене. Голос в ролике тоже нужно слушать перед публикацией, особенно ударения в названиях.
Что с этим делать
- Проверьте модель на одном товаре. Возьмите фото, на котором есть надпись или мелкая деталь, и сгенерируйте ролик из первого кадра. Если деталь держится все пять секунд, сценарий рабочий. Если плывёт, такие товары оставьте для обычной съёмки.
- Начните с атмосферы, а не с товара. Фоновые и вводные ролики из текстового описания несут меньше риска: в них нечему исказиться. На них удобно понять, как модель работает со звуком и движением.
- Пишите сценарий под пять секунд. Одна сцена, одно действие, один звук или одна фраза. Попытка уместить в генерацию обзор даст скомканный результат.
- Свой конвейер — только после документации. Открытая лицензия MIT позволяет встроить модель в свои процессы бесплатно, но требования к железу и состав открытой части нужно сначала выяснить. Для небольшого ассортимента сервис «ГигаЧата» почти наверняка проще.
- Сверьте правила площадки. Прежде чем загружать сгенерированные ролики в карточки массово, проверьте требования маркетплейса к видео и к тому, как в нём показан товар.
Разборы следующих версий Kandinsky и других генераторов видео выходят в Telegram-канале направления. Если длительность и качество подрастут, сценарии для маркетплейсов придётся пересчитать заново.
Источник: «Сбер» представил новую ИИ-модель Kandinsky 6.0 для создания видео со звуком