Block Diffusion: новый плагин, генерирующий изображения в WordPress на базе текстового ввода

Генерация изображений с помощью ИИ в последние месяцы стала более доступной. Она проникла в разные отрасли, где требуется создание ресурсов. Несмотря на все имеющиеся ограничения, генераторы изображений способны создавать захватывающие дух фотореалистичные картинки на базе текстовых подсказок. Некоторые работы даже стали продаваться на сайтах стоковых фотографий.

Первая нейросеть, которая добилась существенных результатов в этом направлении — DALL-E 2. Однако она представляет собой закрытую платформу. Доступ к бета-версии доступен только по приглашению. По этой причине далеко не все пользователи смогли с ней ознакомиться. Есть opensource-альтернативы, такие как Stable Diffusion. Модель преобразования текста в изображение постоянно совершенствуется на базе машинного обучения.

Кевин Батдорф из Extendify создал бесплатный плагин Block Diffusion, который использует Stable Diffusion для генерации изображений в редакторе блоков на базе текстового ввода.

Block Diffusion использует публичный Replicate API для генерации изображений в облаке. Пользователю нужно иметь аккаунт на сайте replicate.com. Генерация некоторых картинок будет бесплатной, но затем переключится на платный формат: $0.01 USD/изображение с использованием модели Stable Diffusion. Изображения генерируются за 6 секунд.

Модель была обучена на датасете LAION-5B, содержащем более 5 млрд пар «изображение-текст». Пока что модель не способна обеспечить идеальный фотореализм. Она не сможет отобразить разборчивый текст, иногда бывают трудности с отображением лиц или людей.

В большинстве случаев модель Stable Diffusion должна подходить для иллюстрирования постов WordPress и создания уникальных миниатюр. Кевин планирует добавить следующий функционал в новых релизах:

• Использование существующего изображения в качестве отправной точки для генерации.
• Добавление маски для генерации только отдельных областей изображения.
• Помощь с подсказками.
• Запуск нескольких генераций изображений одновременно.
• Больший контроль над этапами генерации изображений.
• Просмотр истории генераций.
• Выбор модели из коллекций.

Block Diffusion – это побочный проект Кевина, он не планирует превращать его в коммерческий плагин.

«Мы не планируем переносить какие-либо возможности в премиум-версию», — отметил Кевин. – «Весь функционал будет предлагаться в рамках этого решения на WordPress.org. Со временем я планирую добавить все функции, которые поддерживаются Replicate, а также дополнительные опции специально для сообщества WordPress».

Поддержать плагин можно через GitHub.

Источник: wptavern.com