Нейросети и Блендер

Самый сложный из этой серии. Миджорни был не в состоянии справиться со стилизацией уникального дизайна персонажей, поэтому для датасета (ну и для ряда кадров) использовал новый ChatGPT 4o. Плюс вагон фотошопа, море черрипикинга, работы по ключевым кадрам и прочих радостей. Пайплайн: ChatGPT 4o + Flux + Photoshop + Luma Ray 2 / Kling 1.6 / Gen-4 + Suno + CapCut. Версия для ютуба, если кому надо.

🐱 Держите WAN генерации обучены на настоящем Гибли Студио работах! От автора в дискорд сообществе Banodoco — seruva19 📕 Лора + Огромная инструкция, как обучалось и как генерить! — LINK

Одновременно я столкнулся с двумя вещами в последний месяц: Странные вопросы и замечательные #before">текст с этого сайта про умные вопросы. Прежде чем задавать технический вопрос по почте, в группе, на форуме или мне в канале, стоит предпринять несколько важных шагов: — Попробуйте найти ответ, изучив архивы форума или рассылки. — Используйте поисковые системы (например, Google или Deep Search в разных моделях). — Обратитесь к официальной документации. — Проверьте раздел часто задаваемых вопросов (FAQ). — Попробуйте решить проблему самостоятельно, путём анализа или экспериментов. — Спросите совета у более опытных коллег или друзей. — Изучи исходный код или ноды детально, перед вопросом. Когда будете задавать вопрос, важно показать, что вы уже предприняли усилия для поиска ответа. Это сразу продемонстрирует уважение к чужому времени и покажет, что вы не «ленивая губка», пытающаяся просто вытянуть информацию. Ещё лучше указать, чему вы уже научились в процессе поиска. Используйте конкретные приёмы поиска. Например, вставляйте точный текст ошибки в Google. Даже если это не приведёт вас сразу к решению, упоминание о том, что вы уже сделали поиск, поможет другим понять, какие методы не сработали, и направит людей с аналогичными проблемами к вашему обсуждению. Не торопитесь. Сложные проблемы редко решаются за пару минут поиска. Подумайте внимательно, сформулируйте точный вопрос, подготовьтесь. Опытные пользователи сразу увидят, насколько глубоко вы изучили проблему и будут охотнее помогать. Осторожно подходите к формулировке вопроса. Неправильно заданный вопрос, основанный на неверных предположениях, часто приводит к бесполезным или буквальным ответам, которые никак не помогают решить вашу реальную проблему. Не думайте, что вам обязаны ответить. Помощь в открытых сообществах — это не платная услуга. Ответ нужно заслужить интересным, осмысленным и хорошо проработанным вопросом. Подчеркните готовность активно участвовать в процессе решения проблемы. «Подскажите, в каком направлении копать?» или «Чего не хватает в моём примере?» — такие вопросы намного чаще получают полезные ответы, чем просьбы типа «напишите мне точную последовательность шагов». 📕 Почему это важно для общения с LLM? LLM (большие языковые модели) тоже работают лучше, когда запрос составлен чётко и продуманно. Чем яснее и подробнее сформулирован ваш вопрос, тем точнее будет ответ нейросети. Подход «сначала подумай, потом спроси» отлично подходит и для взаимодействия с искусственным интеллектом. Вы сэкономите время и получите более качественные и полезные ответы. Правильно заданный вопрос — это уже половина решения проблемы. Не пренебрегайте этим шагом, и общение как с людьми, так и с LLM будет приносить гораздо больше пользы.

В популярности, конечно же, сыграл аспект того, что мульт получил Оскара. Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками. Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать. Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток. Так что будем ждать смелых и дерзких!

Ёкарный пайплайн: Midjourney + Claude + Flux + Photoshop + Luma Ray 2 + Suno + Сapcut. Трек: кавер на Високосный год - Тихий огонёк. Спасибо всем кто репостит и упоминает, мотивирует продолжать! Версия для ютуба.

Продолжаю экспериментировать с Luma Ray 2. Пайплайн: Midjourney + Flux + Luma Ray 2 + Suno. Версия для ютуба, если кому нужно.

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве. -- Тут обучение Лоры на своих артах, особенно когда их мало. -- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь. -- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку. -- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить. Автор: LINK

Теперь можно генерировать ролики любой длины, вот что пишет основатель Banodoco: Kijai реализовал подход для сдвига контентного окна с Wan 14B, который показывает действительно хорошие результаты — если не обращать внимание на красную панду, пытающуюся оседлать маленького бегемота 🐱 Причем многие из этих наработок взяты из AnimateDiff, кажется Wan становится приемником AnimateDiff в опенсоурс буквально на глазах. Ждем ControlNetы и это будет новый расцвет видео опенсоурса над closed сообществом. 🐈‍⬛ Я уже сейчас не успеваю все потестить. Но обещаю адаптированные бенчи на следующей неделе, в комменты покидаю небольшие результаты с Text2Video 14b модельки. ☺️ А еще и Лору очень хочется натренировать уже.

📕 Тут автор поделился некоторыми параметрами: Я тестировал Wan2.1 14B 720p и пытался понять, в каких областях предыдущие модели с открытым исходным кодом для видео не справлялись, и мне пришла в голову техника покадровой анимации. Для инференса я использовал 30 шагов семплирования, CFG 6 и Flow Shift 5, чтобы получить эти результаты, и был крайне впечатлен! Думаю, что большое значение имеет тот факт, что частота кадров видео составляет 16, в отличие от Hunyuan, где она равна 24. С нетерпением жду возможности протестировать это дальше, и обязательно поделюсь еще более хорошими результатами. LINK 🐈‍⬛ Ну чтож, жаль у меня на все выходные уже есть дела. Но нужно собрать интересный бенчмарк для теста Image To Video, то есть картинок + промптов. Покидайте идеи сложные в комменты для бенча. Не просто портретных фоток девушек, которых завались в датасете, а именно сложные концепты.

Правда без промптов и дополнительной инфы Link

Original

Неожиданное и запоминающееся открытие года. Основная его фишка в том, что он вообще без слов, что особенно удобно, когда ищешь в чужой стране, что посмотреть, хотя бы на английском. Фишечка именно в отсутствии диалогов. Мозг и нейронная активность при таком просмотре активируют не только зрительную кору, но и области, которые связаны с визуальным восприятием и обработкой эмоций. В мульте, наверное, есть только один момент, который позволяет выдохнуть, всё остальное время находишься в напряжении. Что интересно, режиссёр Gints Zilbalodis писал сценарий 5,5 лет, пока инвесторы искали финансирование, а закончили они его за пару дней до отправки на Каннский фестиваль. После этого мульт получил Золотой глобус и сейчас номинирован на Оскар как лучший анимационный фильм. Кроме очевидных отсылок к дружбе и взаимовыручке, лично для себя увидел пару моментов, связанных с миграцией, кластеризацией обществ, разделением на «свой-чужой», оставлением своего дома и вообще всего, к чему привязан. Обратите внимание на покидание дома лемуром. Мульт сделан в Blender, поэтому отдельно было забавно наблюдать в начале на фигурках котиков модификатор Decimate с воксельным режимом упрощения. 😀

Кто-нибудь уже пробовал? Интересно сколько разрешение на выходе, как много кадров можно сделать. Link

📕 Это бруталистические государственные здания в сочетании с известными нами панельками, которые невероятно контрастируют с оборонительными крепостями и историческим центром времен Австро-Венгерской империи. 🧐 Для меня это место, которое я часто представлял себе, как город мечты. 🐈‍⬛ Я рад, что есть возможно показать его таким, как я его вижу в своем воображении. Пока не так детально, но как концепт очень хорошо выходит. 📕 Workflow: Midjourney Editor для реальных фото + RunwayML Gen3 turbo для оживления статики