TRELLIS.2 - это генератор трехмерных моделей из изображений с открытым исходным кодом, предназначенный для создания высокоточеных текстурированных активов с использованием родных 3D VAE. Его основная особенность - использование собственных и компактных структурированных задержек, обеспечивающих высокую точность и возможность сжатия.
Метод может работать со сложными структурами, включая открытые поверхности, геометрию, не являющуюся манифольдом, и замкнутые внутренние структуры, преодолевая ограничения изоповерхностных полей.
TRELLIS.2 также способен моделировать произвольные атрибуты поверхности, такие как базовый цвет, шероховатость, металличность и непрозрачность, облегчая тем самым физически обоснованную рендеринг (PBR) и фотореалистичное переосвещение.
Этот инструмент оптимизирует предварительную и последующую обработку данных для обучения и выводов, позволяя быстро преобразовывать их, не прибегая к рендерингу и оптимизации.
В нем используется "O-Voxel" - новая "бесполевая" разреженная воксельная структура, разработанная для одновременного кодирования детальной геометрии и сложного внешнего вида. Компонент Sparse Compression VAE используется для эффективного сжатия воксельных данных, заключая полностью текстурированные 3D-активы в компактное представление с минимальной деградацией восприятия.
Это позволяет эффективно использовать крупномасштабное генеративное моделирование. Стоит отметить, что TRELLIS.2 - это исключительно исследовательский проект, в котором на всех этапах разработки учитываются соображения ответственного ИИ.
Отзывы