Нейросети и Блендер

Это наверное самое неожиданное и интересное решение для ComfyUI: — Управлять эмоциями на сгенерированном лице через игровой джойстик В 18+ контенте кажется появились новые идеи для игры Полное описание и процесс установки: LINK

📕 Процесс: — Для захвата вам нужна стабильная четкая запись. Используйте высокую выдержку с фиксированным значением, фиксированное значение ISO, фиксированный баланс белого и камеру с хорошей стабилизацией изображения. Снимайте объект восходящими дугами и поперечными движениями, обеспечивая хорошее покрытие с разных углов обзора. — Затем пропустите видео через наш инструмент sharpframes, он извлечет самые четкие кадры из видео. В приведенной выше сцене я получил примерно два кадра в секунду из видео 60 FPS. https://sharp-frames.reflct.app или pip install sharp-frames, если вам удобны инструменты командной строки. У нас также есть бета-версия приложения для Windows. — Затем обучите Gaussian splatting. Для этого я использовал Metashape и Postshot в профиле splat3 с 1 млн макс. сплэтов и понижением разрешения до 1600 пикселей. — Затем разместил в интернете с помощью https://reflct.app LINK — как это выглядит в инете Docs для reflct Подготовил вам детальный пост из этого реддита: LINK Для меня, это кстати я: ☺️, очень вовремя подборка, так как планирую продавать в июне подделки из бетона и мне нужно прям в 3d и быстро показать каждую поделку в инете для покупателя. Проверим и вернусь уже с ссылочками для вас. Кому еще подойдет? — Real estate, если вы продаете дома, сдаете квартиры\дома — Вам нужно показать со всех ракурсов ваш товар, при этом свои сервера держать не выгодно — Вы продаете БУ\новую технику и детали к ней. Авто, грузовики, велосипеды и т.д. 📕В комментариях дополняю про аппаратуру для лучшего создания gaussian splatting —>📕

Подать заявку можно вот тут: LINK 📕 Что мне как творческому аниматору нравится: — Side By Side(SBS) mode. Когда ты можешь сравнивать сразу несколько генерации и понимать как настройки меняют генерацию. То есть в данном случае сервис позволяет узнать как работают разные настройки и экспериментировать с ними. — Folders, когда проекты можно упаковывать в папки и разделять по интересам, работам. (Наверное уже заметили как это удобно в ChatGPT) — Controlnets. Это достаточно приятно упаковано и я рад, что доступ к этим настройкам оставили в том виде, как привыкли их видеть ComfyUI пользователи, а не в виде Midjourney параметров. — И ещё много чего в процессе. Я не так много публикую работ из MAGO. Но мне приятнее и приятнее с каждым днем генерировать именно там. Когда будет открыт доступ для всех, я напишу!

Первый пост — 📕 Хороший дайджест у AI Molodca Про: Музыкальные новинки, подкастерские и Midjourney с обновленным IP Adapter (А помните как года 2 назад они обещали видео модель и 3d?) 📕 А Сgevent потестил многое из дайджеста прям детально в своем канале. А от меня вот такая ссылочка про Nvidia — LINK Ребята из NVIDIA решили взять ControlNet + FLUX dev и сделать генератор сцен, но похоже им не хватает QA тестера, 9:16 и 16:9 форматы перепутаны, очень странный UI иногда с двумя скроллами в одном объекте. Короче вроде и круто, что бесплатно, но по качеству будто опенсоурс на коленке собирался. Есть ещё видео, как все задумывалось: LINK — Да и Fal.ai существует уже давно. Версию с ControlNet можно и в другом месте найти. Хотя понятно, что идея в другом, вы можете деплоить это как микросервис на своих мощностях(Пока 4xx и 5xx поколения). Бесплатно можно потестить 25 генераций.

Я просто с детства собирал велосипеды, велосипед на скрине вроде собран в 17 лет. Все запчасти собирались отдельно, заказывались из разных мест. Вес велика был 9кг. И велосипед продан больше 10 лет назад, хах 🐈‍⬛ Но я всегда считал себя лохом, потому что не могу сам отлить раму и приваривать алюминий авиационный или не могу сделать карбоновую раму. Потому уважаю всех, кто умеет работать со сваркой или с роборуками для сварки. 🐈‍⬛ Сейчас этот навык ушел полностью в закат. У меня только остался опыт, как правильно подбирать запчасти, как обслуживать велосипеды, как рассчитывать нагрузки и углы рамы. Иногда будут упоротые посты про велосипеды, я считаю это все равно лучшим транспортом для личного использования, голландцы подтвердят. Но пока не изобретут массовые реактивные ранцы для обычных людей. Хехехе

Это просто находка для тех, кто работает с ComfyUI и хочет быстро создавать 3D-композиции. A3D позволяет легко: — Задавать позы простым болванками. — Выбирать идеальные ракурсы камеры и строить сцены. — Импортировать любые 3D-модели — от Mixamo до результатов Hunyuan3D 2.5. — А самое крутое — вы можете моментально отправить цветное изображение или карту глубины из A3D в ComfyUI и использовать их в своих любимых workflow! ✨ 🔗 Оценить разработку n0neye можно по ссылке: LINK — причем это опенсоурс Как пишет сам автор, A3D задуман как быстрый и легкий способ создавать сцены без погружения в сложные 3D-редакторы. Некоторые фишки вроде 3D-генерации пока зависят от Fal.ai, но n0neye планирует добавить локальные альтернативы в будущем. Мне нравится,что проект опенсоурсный и автор ищет сейчас умельцев для продолжения интеграции A3D в ComfyUI и планирует прикрепить к нему локальную генерацию через Hunyuan3D. Мне понравилась идея, так как иногда Blender слишком сложный для новичков, а этот проект выглядит простым в использовании. 📕 Минусы: — Пока только для Windows пользователей GITHUB—AUTHOR

И вот что я хочу сказать! Сейчас это лучший 3D-генератор на рынке, а учитывая его 20 бесплатных генераций в день, это можно считать вообще лучшим бесплатным генератором! Точность геометрии выросла в разы, особенно если мы говорим про не очень комплексные объекты. С моей палаткой пока не справляется. Но если у вас стилизация и простые формы, то это практически закроет потребности в генерации. Я всё ещё жду с нетерпением сегментацию, которую уже показали, и примерно через 3–5 месяцев она будет по умолчанию уже и в Хуньяне, и в Трипо. Пока Трипо ушёл на второе место со своими 600 кредитами в месяц (~5 генераций) против Хуньяня с 20 генерациями в день!! Пробовать тут, регайтесь по почте. @CGIT_Vines

Ребята из KeenTools показали удобный хинт для трека камеры через GeoTracker и любой 3D генератор. Или как у них через ComfyUI/

Самый сложный из этой серии. Миджорни был не в состоянии справиться со стилизацией уникального дизайна персонажей, поэтому для датасета (ну и для ряда кадров) использовал новый ChatGPT 4o. Плюс вагон фотошопа, море черрипикинга, работы по ключевым кадрам и прочих радостей. Пайплайн: ChatGPT 4o + Flux + Photoshop + Luma Ray 2 / Kling 1.6 / Gen-4 + Suno + CapCut. Версия для ютуба, если кому надо.

🐱 Держите WAN генерации обучены на настоящем Гибли Студио работах! От автора в дискорд сообществе Banodoco — seruva19 📕 Лора + Огромная инструкция, как обучалось и как генерить! — LINK

Одновременно я столкнулся с двумя вещами в последний месяц: Странные вопросы и замечательные #before">текст с этого сайта про умные вопросы. Прежде чем задавать технический вопрос по почте, в группе, на форуме или мне в канале, стоит предпринять несколько важных шагов: — Попробуйте найти ответ, изучив архивы форума или рассылки. — Используйте поисковые системы (например, Google или Deep Search в разных моделях). — Обратитесь к официальной документации. — Проверьте раздел часто задаваемых вопросов (FAQ). — Попробуйте решить проблему самостоятельно, путём анализа или экспериментов. — Спросите совета у более опытных коллег или друзей. — Изучи исходный код или ноды детально, перед вопросом. Когда будете задавать вопрос, важно показать, что вы уже предприняли усилия для поиска ответа. Это сразу продемонстрирует уважение к чужому времени и покажет, что вы не «ленивая губка», пытающаяся просто вытянуть информацию. Ещё лучше указать, чему вы уже научились в процессе поиска. Используйте конкретные приёмы поиска. Например, вставляйте точный текст ошибки в Google. Даже если это не приведёт вас сразу к решению, упоминание о том, что вы уже сделали поиск, поможет другим понять, какие методы не сработали, и направит людей с аналогичными проблемами к вашему обсуждению. Не торопитесь. Сложные проблемы редко решаются за пару минут поиска. Подумайте внимательно, сформулируйте точный вопрос, подготовьтесь. Опытные пользователи сразу увидят, насколько глубоко вы изучили проблему и будут охотнее помогать. Осторожно подходите к формулировке вопроса. Неправильно заданный вопрос, основанный на неверных предположениях, часто приводит к бесполезным или буквальным ответам, которые никак не помогают решить вашу реальную проблему. Не думайте, что вам обязаны ответить. Помощь в открытых сообществах — это не платная услуга. Ответ нужно заслужить интересным, осмысленным и хорошо проработанным вопросом. Подчеркните готовность активно участвовать в процессе решения проблемы. «Подскажите, в каком направлении копать?» или «Чего не хватает в моём примере?» — такие вопросы намного чаще получают полезные ответы, чем просьбы типа «напишите мне точную последовательность шагов». 📕 Почему это важно для общения с LLM? LLM (большие языковые модели) тоже работают лучше, когда запрос составлен чётко и продуманно. Чем яснее и подробнее сформулирован ваш вопрос, тем точнее будет ответ нейросети. Подход «сначала подумай, потом спроси» отлично подходит и для взаимодействия с искусственным интеллектом. Вы сэкономите время и получите более качественные и полезные ответы. Правильно заданный вопрос — это уже половина решения проблемы. Не пренебрегайте этим шагом, и общение как с людьми, так и с LLM будет приносить гораздо больше пользы.

В популярности, конечно же, сыграл аспект того, что мульт получил Оскара. Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками. Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать. Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток. Так что будем ждать смелых и дерзких!

Ёкарный пайплайн: Midjourney + Claude + Flux + Photoshop + Luma Ray 2 + Suno + Сapcut. Трек: кавер на Високосный год - Тихий огонёк. Спасибо всем кто репостит и упоминает, мотивирует продолжать! Версия для ютуба.

Продолжаю экспериментировать с Luma Ray 2. Пайплайн: Midjourney + Flux + Luma Ray 2 + Suno. Версия для ютуба, если кому нужно.

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве. -- Тут обучение Лоры на своих артах, особенно когда их мало. -- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь. -- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку. -- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить. Автор: LINK

Теперь можно генерировать ролики любой длины, вот что пишет основатель Banodoco: Kijai реализовал подход для сдвига контентного окна с Wan 14B, который показывает действительно хорошие результаты — если не обращать внимание на красную панду, пытающуюся оседлать маленького бегемота 🐱 Причем многие из этих наработок взяты из AnimateDiff, кажется Wan становится приемником AnimateDiff в опенсоурс буквально на глазах. Ждем ControlNetы и это будет новый расцвет видео опенсоурса над closed сообществом. 🐈‍⬛ Я уже сейчас не успеваю все потестить. Но обещаю адаптированные бенчи на следующей неделе, в комменты покидаю небольшие результаты с Text2Video 14b модельки. ☺️ А еще и Лору очень хочется натренировать уже.

📕 Тут автор поделился некоторыми параметрами: Я тестировал Wan2.1 14B 720p и пытался понять, в каких областях предыдущие модели с открытым исходным кодом для видео не справлялись, и мне пришла в голову техника покадровой анимации. Для инференса я использовал 30 шагов семплирования, CFG 6 и Flow Shift 5, чтобы получить эти результаты, и был крайне впечатлен! Думаю, что большое значение имеет тот факт, что частота кадров видео составляет 16, в отличие от Hunyuan, где она равна 24. С нетерпением жду возможности протестировать это дальше, и обязательно поделюсь еще более хорошими результатами. LINK 🐈‍⬛ Ну чтож, жаль у меня на все выходные уже есть дела. Но нужно собрать интересный бенчмарк для теста Image To Video, то есть картинок + промптов. Покидайте идеи сложные в комменты для бенча. Не просто портретных фоток девушек, которых завались в датасете, а именно сложные концепты.

Правда без промптов и дополнительной инфы Link

Original