Нейросети в 3D – реально ускоряет или только хайп?

В общем, полез в 3D с нейросетями плотно последние пару месяцев. Поначалу думал, очередная игрушка, но кое-где реально вывозит. Делюсь, что работает, а что пока мимо.

Что реально юзаю:

1. Генерация PBR-текстур по промту
Кидаешь развертку или просто описываешь “ржавый металл с царапинами” – получаешь 4 карты (diffuse, roughness, normal, displacement). Юзал Stable Diffusion + ControlNet (depth/canny) дообученную на материалах. Вместо 2 часов в Substance Designer – 5 минут ковыряний.

Пример: нужно было срочно сделать фактуру облупившейся краски на старом космическом корпусе. Написал промт, прогнал через нормэл маппинг – выглядит живее, чем если бы я руками мучал.

2. Генерация карт высот и альфа-масок – вообще песня. Для дисплейсмента на скалах или кирпичной кладке нейросеть делает не хуже, чем процедурные шейдеры, а иногда и интереснее.

3. Где пока больно:

  • Готовая геометрия. Нейросети, которые пытаются сгенерить mesh (MeshGPT, LGM и т.д.) выдают что-то страшное. Топология – жесть, полигоны кто в лес кто по дрова. Использовать в проекте – только перебирать самому, а это смысл теряется.

  • UV-развертка через ИИ – пока попытки так себе. Проще автоматический блендеровский смарт-проект.

Кейс из последнего:
Блендил окружение под аутпом. Сгенерил через нейросеть карту высот для каменистой поверхности, наложил в блендере через displacement модифайер. Базовый меш за 5 минут, потом руками только мелкие детали. Модель: Stable Diffusion + depth библиотека Loras по текстурам. Честно – сэкономил часа 2 чистой рутины.

Вопросы к сообществу:

  • Кто пробовал Meshy или Luma AI для генерации 3D-объектов? Там прям что-то годное выходит или всё ещё печально?

  • Как генерируете PBR-текстуры без швов? У меня нейросеть иногда чёткие границы на плитках делает – херово потом тилится.

  • Ускорители для ретопологии с ИИ – что юзаете? Я пока старый добрый Quad Remesh в блендере, нейросети пробовал – забил.

Короче, если нейросеть натягивает текстуры и карты высот – беру без вопросов. Если лепит mesh – пока мимо.

Выкладывайте свои кейсы, особенно если раскопали что-то рабочее для геометрии. Может, я пропустил нормальный инструмент.

YouHart отреагировал на эту запись.
YouHart

PBR-текстуры через SD + ControlNet тема рабочая. Сам так делаю, особенно для “грязных” материалов. Но швы на тайлах боль. Попробуй генерить с overlap и потом в Photoshop замазывать, либо используй Materialize для бесшовки. Ещё вариант Substance 3D Sampler с ИИ-фильтрами, там тайлинг из коробки норм. Карты высот согласен, нейросеть иногда выдает даже интереснее процедурки. Для скал/камней топ. Meshy и Luma AI пробовал. Meshy для болванок сойдет, но топология все ещё мусор. Luma хорош для фотограмметрии (NeRF/Gaussian Splatting), но это не “генерация меша”, а реконструкция. Для геймдева только как референс. Ретопология Quad Remesher (плагин к Blender) пока лучший. Нейросетевые попытки (типа Instant Meshes) сыровато. Если найдешь что-то рабочее дай знать.