СВЯЖИТЕСЬ С НАМИ

Как создать простую 3D-модель с помощью API захвата объектов Apple

Узнайте, как создать простую 3D-модель с помощью API захвата объектов Apple, интегрированного с программным обеспечением управления и автоматизации PhotoRobot.

API захвата объектов Apple и 3D-модели фотограмметрии

Сразу после запуска нам не терпелось протестировать API захвата объектов Apple, чтобы сделать 3D-модели с PhotoRobot. И хотя он еще не идеален, мы должны признать, что Apple, безусловно, устанавливает стандарт здесь. Object Capture использует алгоритмы фотограмметрии для преобразования серии фотографий в высококачественные 3D-модели, оптимизированные для дополненной реальности. Он интегрируется с программным обеспечением PhotoRobot Control и в профессиональные рабочие процессы 3D-контента. 

Чтобы протестировать захват объектов, процесс был похож на фотографирование 360 спинов. Сначала мы сфотографировали два комплекта по 36 фотографий. Это обеспечивает вид сверху, а также снизу продукта. Затем мы использовали Object Capture для сканирования наших фотографий и создания файла USDZ. Этот файл мы могли бы просмотреть в AR Quick Look или встроить на нашу веб-страницу с помощью средства просмотра 3D-контента, такого как Emersya

Но насколько хорошо работает захват объектов? Читайте дальше, чтобы увидеть результаты для себя и получить PhotoRobot обзор API захвата объектов. Посмотрите, где превосходит захват объектов, по сравнению с тем, что все еще нуждается в улучшении. Мы поделимся тем, что мы тестировали, результатами и тем, как создавать 3D-модели с помощью Apple Object Capture и PhotoRobot.

1 - Обзор и интеграция захвата объектов

Apple Object Capture может работать с фотографиями с iPhone или iPad. Однако в сегодняшнем случае использования мы развертываем Object Capture на профессиональных фотографиях продуктов, которые мы сделали с помощью PhotoRobot. Функция захвата объектов доступна в MacOS Monterey и выше, что означает, что она легко интегрируется с нашим оборудованием для электронной коммерции, управляемым автоматизацией.

Пользовательский интерфейс программного обеспечения для редактирования фотографий с 3D-моделью


API программного обеспечения вместе с программным обеспечением PhotoRobot использует методы фотограмметрического сканирования для создания 3D-модели из фотографий. Он получает информацию о физическом объекте путем записи, измерения и интерпретации наших изображений. Затем мы используем эту информацию для репликации объекта в виде 3D-цифрового актива.

Эти активы создают привлекательный контент продукта для страниц продуктов, маркетинговых кампаний, онлайн-рынков, таких как Shopify, видеоигр и многого другого. Они приходят в виде чего угодно, от базовых, интерактивных 3D-моделей до конфигураторов продуктов и захватывающих ar-впечатлений.

2 - Как сфотографировать продукт для захвата объектов

Для нашего эксперимента мы решили построить 3D-модели одного куска черной обуви от Salomon. Мы использовали PhotoRobot's Case в качестве моторизованного проигрывателя вместе с 26-мегапиксельным Canon EOS RP

Черная обувь на стеклянной пластине фоторепортажа.

В конце концов, нам нужно было использовать два спина продукта (каждый из которых состоит из 36 фотографий) для создания 3D-модели. Один из наших спинов представил обувь плоской на боку, чтобы захватить верхнюю и нижнюю части обуви. Другой спин представил нашу обувь в положении стоя, показывая 360 градусов из стороны в сторону.

Для этого нам нужно было сфотографировать 36 рамок вокруг обуви, которая обычно размещалась на проигрывателе. Затем нам нужно было сделать то же самое с обувью, уложенной на бок, снова захватив 36 кадров во вращении. 

Теперь, вместо того, чтобы использовать стандартное студийное освещение, мы обнаружили, что необходимо несколько корректировок. Во-первых, функция захвата объектов сталкивается с проблемами при работе с отражающими поверхностями. Тем не менее, мы нашли способ обойти это и все же достичь удовлетворительных результатов.

3 - Корректировки настройки освещения

Обратите внимание, что в результирующей модели любые области с бликами либо запекают отражение в захвате, либо вообще запутывают алгоритм. 

3D-модель задний снимок обуви puma с бликами.

Для достижения лучших результатов мы нашли несколько методов, которые мы можем использовать в студии. 

  • Используйте более крупный формовщик света, чтобы смягчить свет. 
  • Установите два передних фонаря, чтобы указать на объект от 45°.
  • Не используйте фоновый свет.

Часто эта установка освещения дает результаты, с которыми мы можем работать. Однако с некоторыми продуктами программное обеспечение все равно будет сталкиваться с проблемами с отражениями. Когда это происходит, можно уменьшить блики с помощью поляризационного фильтра на камере. 

Если необходимо дальнейшее сокращение, вы потенциально можете достичь этого с помощью кросс-поляризации. Этот метод требует двух поляризационных фильтров: один на камере, а другой перед освещением. Единственная проблема с этим заключается в том, что полученная 3D-модель теряет всю информацию об отражательной способности поверхности. Это означает, что вам придется добавить эту информацию позже с помощью ручного редактирования фотографий.

4 - Обрезка фотографий перед созданием 3D-модели

Теперь, прежде чем создавать 3D-модель, мы обнаружили, что лучше сначала обрезать все наши фотографии. Это значительно ускоряет создание модели.

Обрезка изображений перед созданием 3D-модели.

Таким образом, в PhotoRobot_Controls мы просто обрезали одну фотографию и применили операцию ко всем 72 нашим кадрам. Функция Auto Crop занимает всего 5 секунд для обработки всех фотографий и применения операции редактирования. Это независимо от того, сколько фотографий в контуре, и несмотря на то, что каждое изображение имеет разный размер.

После рабочих процессов мы можем перейти к Разделу Создание 3D-модели , чтобы настроить параметры перед производством.

5 - Как настроить параметры в захвате объектов

При работе в Object Capture есть 2 настройки, которые мы можем настроить перед созданием модели из наших фотографий. Их можно найти после нажатия кнопки Создать 3D-модель.

PhotoRobot пользовательский интерфейс Создание 3D-модели.

Первый, Чувствительность, можно регулировать от нормального до высокого. Это соответствует тому, насколько чувствительно алгоритм будет реагировать.

Второй, маскировка объекта, мы можем включать или выключать, чтобы автоматически отделить объект от фона.

6 - Генерация и предварительный просмотр результирующей модели

После выбора конфигурации остается только нажать кнопку Пуск. Затем алгоритм фотограмметрии обрабатывает все исходные фотографии и создает файл USDZ, содержащий нашу модель. Файл создается примерно за 3 минуты с помощью object Capture и среднего оборудования, тогда как другие методы могут потребовать часов вычислений и профессионального прикосновения.

Вместо этого, через некоторое время после нажатия кнопки «Пуск», мы получаем вывод в виде файла MacOS для предварительного просмотра.

Перемещение 3D модели сбоку на подошвы черной обуви Salomon.

Затем мы можем работать с этим файлом на любом программном обеспечении для редактирования. Когда мы удовлетворены, мы можем использовать файлы в интернет-магазине, таком как Shopify, или на любых других онлайн-площадках с поддержкой 3D-моделей.

Для использования на ваших веб-страницах или в маркетинговых кампаниях существуют выделенные платформы для размещения 3D-контента. Эти платформы эффективно воплощают в жизнь 3D-визуализацию и настройку продуктов как для продуктовых команд, так и для потребителей.

7 - Как публиковать 3D-модели через хостинговые платформы

Наконец, чтобы опубликовать 3D-модели в собственном веб-пространстве, вам понадобится встраиваемый 3D-просмотрщик. В PhotoRobot нашим давним партнером для этого является Emersya. Emersya 3D, AR & VR доступен для любой веб-страницы, устройства или операционной системы.

3D модель хостинга платформы Emersya брендинг имидж.


Благодаря встроенным технологиям HTML5 и WebGL средство просмотра Emersya не требует подключаемых модулей. Адаптивный дизайн гарантирует, что весь контент продукта доступен для просмотра и совместим на всех устройствах, которые могут использовать покупатели. Между тем, аппаратное ускорение 3D с использованием технологии WebGL гарантирует высокое качество контента продукта.

Все, что нам нужно было сделать, это загрузить наш файл в просмотрщик, и, благодаря Emersya, наша 3D-модель затем встраивается на любую страницу. Это тот же процесс, что и встраивание видео с помощью простого кода iframe. Расширенный API обеспечивает контроль над 3D-моделью непосредственно с нашего веб-сайта и работает на любой веб-странице или платформе электронной коммерции CMS.

Посмотрите на встраиваемую 3D-модель сами


Обзор PhotoRobot о захвате объектов Apple

В конце концов, мы столкнулись с несколькими проблемами с захватом объектов. Первый, о котором мы уже упоминали, касается его способности сканировать отражающие поверхности. Это можно обойти с помощью кросс-поляризации, однако после этого требуется ручное редактирование. 

Другие проблемы, которые мы заметили, - это работа с прозрачностью, а также при сканировании гладких или однородных поверхностей. В настоящее время захват объектов плохо работает с прозрачностью. Это также не относится к объектам, лишенным текстуры или отличительных особенностей, что затрудняет обнаружение формы объекта. 

Тем не менее, мы по-прежнему считаем, что Apple удивительно хорошо работает с Object Capture, и ее API легко интегрируется с PhotoRobot программным обеспечением. Создание 3D-модели для некоторых объектов может стать проблемой, но, в целом, захват объектов является долгожданным дополнением в студии.

Особенно для некоторых продуктов он генерирует впечатляющие результаты без особой необходимости в последующем редактировании или ретуши. Затем, с 3D-зрителями, такими как Emersya, легко встраивать 3D-модели на нашу собственную веб-страницу или платформы электронной коммерции CMS. 

Хотите узнать больше о 3D-моделировании и хостинге?

Свяжитесь с нами сегодня или подпишитесь ниже на нашу новостную рассылку по профессиональной фотографии продуктов. Также найдите нас на Facebook, LinkedIn и YouTube, чтобы оставаться в курсе всего, что происходит в отрасли, и PhotoRobot. От того, как делать 3D-модели с PhotoRobot, до производства любого 360 или 3D-контента продукта, мы поможем вам.