Uso de la fotogrametría para crear modelos: 9 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:41

¿Quién soy?

Soy Samuel Conklin y soy estudiante de segundo año en E. L. Escuela secundaria Meyers. He experimentado con la fotogrametría durante los últimos meses y espero poder ayudarlo si decide recrear este producto. Me interesa ver cómo otras personas pueden utilizar esta tecnología nueva y en constante evolución.

¿Qué es la realidad virtual y SteamVR?

La realidad virtual es una nueva forma de expresión y experiencia artística. Sigue siendo una nueva frontera de la tecnología, ya que innumerables empresas y personas trabajan para mejorar el medio. Se está haciendo un flaco favor a sí mismo si nunca ha probado la realidad virtual, ya que encapsula totalmente el sentido de la vista y el sonido de sus usuarios. Una de las principales plataformas de realidad virtual es SteamVR de Valve. SteamVR permite a los usuarios compartir entornos libremente y configurar piezas entre sí sin costo alguno. En su mayoría es de código abierto y permite una gran variedad de auriculares. Estos incluyen, entre otros, la serie HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR es la plataforma que estamos usando para crear nuestro entorno.

¿Qué es la fotogrametría y cómo se puede utilizar?

La fotogrametría es el proceso de tomar fotos o videos y convertir las imágenes en un modelo 3D. El ejemplo más famoso del uso de esta tecnología es Google Earth. Google utiliza imágenes de satélite y vistas de la calle para reconstruir paisajes y edificios. Al mirar Google Earth, está claro que tenían pocas imágenes para trabajar, por lo que algunos edificios se verán deformes. Cuando se usa correctamente, la fotogrametría es una forma extremadamente convincente de crear modelos 3D. Este proyecto utiliza esta tecnología para preservar hitos históricos. La erosión y la exposición a los elementos significa que los hitos históricos eventualmente se deteriorarán y la gente se olvidará de ellos. Usando la fotogrametría, podemos preservar todo digitalmente, para que las generaciones futuras puedan experimentar y apreciar estas estructuras. Esto también significa que más personas en todo el mundo podrían experimentar otras culturas sin el costo o el riesgo de viajar.

¿Qué suministros necesito?

Para este proyecto, utilicé Reality Capture, SteamVR y Krita. Hay programas Autodesk, Agisoft y Zephyr que se pueden usar en lugar de Reality Capture si no tiene la GPU Nvidia necesaria para ejecutarlo. Se puede usar Photoshop u otros programas de edición de fotos en lugar de Krita, pero como es de uso público y gratuito, elegí usarlo para este proyecto. También necesitará un visor de realidad virtual de escritorio que se pueda conectar directamente a su computadora. Finalmente, se necesita una cámara de alta calidad. Una cámara móvil es decente, pero usé una Nikon D7000 ya que Reality Capture puede detectar automáticamente la apertura de la cámara, lo que conduce a modelos de mayor calidad.

Paso 1: tomar fotos

Esta es la parte más importante de este proyecto, ya que necesita hacerlo correctamente de una sola vez. Si no lo hace, deberá volver a la ubicación y volver a tomar todo.

Primero, deberá encontrar una ubicación y estructura adecuadas. La estructura debe ser grande y fácilmente identificable. Esto significa que el software de fotogrametría podrá detectar las diferencias entre la estructura y el fondo.

Por lo general, tomar fotografías en un día nublado es la mejor manera de hacerlo. Esto se debe a que un día soleado tiene la posibilidad de sobreexponer algunas fotos y subexponer otras. También podría crear sombras no deseadas. Un modelo con poca o ninguna sombra facilitará la iluminación en la sección de desarrollo de niveles. Además, el software necesita que el balance de color siga siendo el mismo con cada foto, ya que usa colores para calcular el tamaño del objeto. Sin embargo, tomar fotografías en un día nublado mejorará la calidad de la estructura. Las nubes en el cielo actuarán como un difusor natural para la cámara. Distribuirá la luz de manera más uniforme y significa que el modelo se volverá preciso durante el proceso de renderizado.

El último consejo es tomar tantas fotos como sea posible. La mayoría de los programas seleccionarán y elegirán las fotos que se utilizarán para el producto final. Al tomar más fotos, todo será más exacto y le dará al programa un respiro. Tenía entre 150 y 300 fotos de cada modelo.

Paso 2: Introducción al software de fotogrametría

Ahora, vamos a importar las fotos al software. Tenga en cuenta que Reality Capture requiere una tarjeta gráfica Nvidia. No puede pasar de la sección Alinear imágenes sin ella.

Si tiene una carpeta con todas las imágenes que desea usar, elija la opción Carpeta en la esquina superior izquierda. Esto lo llevará al Administrador de archivos y podrá elegir la carpeta. Las entradas le permitirán elegir fotos individuales con el Administrador de archivos.

A continuación, comenzaremos el proceso de construcción del modelo. En la parte superior de la pantalla, en Flujo de trabajo, hay una sección de Proceso. Queremos presionar el botón de Inicio más grande. Esto comenzará a alinear las imágenes. La cuarta foto muestra brevemente lo que está sucediendo durante este proceso. Reconocerá el ojo izquierdo del venado y comparará la distancia con otras fotos. Continuará comparando diferentes fotos hasta que haya pasado por todas las combinaciones posibles. Este paso está completo si puede ver pequeños puntos que se asemejan a la estructura.

Paso 3: calcular y simplificar

El siguiente paso es calcular el modelo. Para hacer esto, hacemos clic en Calcular modelo en la sección Proceso. Esto traducirá directamente todo lo que encuentre en las fotos en forma 3D. Los resultados están bastante cerca de cómo queremos que se vea el modelo, pero hay tres problemas con esta versión del modelo. Primero, hay agujeros en el modelo que no están en la estructura de la vida real. En segundo lugar, la superficie tiene demasiados baches. Dado que el programa se aproxima a sus cálculos, erróneamente hará que algunas superficies lisas se llenen de baches. En tercer lugar, hay demasiados triángulos. Cada modelo en Reality Capture se crea con pequeños triángulos. Cada triángulo representa una pequeña superficie del modelo. Queremos la menor cantidad de triángulos posible para optimizar el modelo. Si hay demasiados triángulos, puede causar algunos problemas de rendimiento.

Estos problemas se pueden resolver con la herramienta Simplificar. Todos los modelos tendrán 3, 000, 000 triángulos después de la etapa Calcular modelo, y podemos optar por aumentar o disminuir ese número. Para todos los modelos como los que se encuentran en este proyecto, bajé el número de triángulos a 1, 000, 000. El resultado se puede encontrar en la segunda imagen, donde todas las superficies con baches son más suaves y hay menos agujeros. Además, con menos triángulos para renderizar, el rendimiento será mejor cuando entremos en la realidad virtual.

Paso 4: color y textura

Ahora el modelo necesitará color y textura para hacerlo aún más real. Estas dos partes son similares en lo que logran, pero son diferentes en la forma en que funcionan. Usando Color, que se encuentra en la sección Proceso, el programa coloreará el modelo. La herramienta tomará las fotografías que usó para crear el modelo y envolverá sus imágenes alrededor de las diferentes superficies de su modelo. La textura, por otro lado, coloreará las partes simplificadas del modelo. Al mirar la primera imagen, es claramente visible cómo el programa envolvió las imágenes alrededor del modelo, pero en la segunda imagen después del proceso de Textura, los lados nítidos de las imágenes ahora se suavizan.

Paso 5: Exportación y SteamVR

En Reality Capture, vamos a transferir los modelos a SteamVR. En la parte superior de la pantalla, en Exportar, seleccione Malla, que se encuentra junto a la sección Proceso. Debería ver esta ventana emergente que le permite cambiar la configuración y los parámetros del modelo. Es mejor mantener todos los ajustes predeterminados, excepto para cambiar el formato de textura JPEG. El programa ahora exportará un archivo en formato OBJ, que es el archivo de malla, y un JPEG, que es el archivo de textura para el modelo. A modo de referencia, el JPEG debería verse como la segunda imagen de este paso.

Ahora, necesitamos importar nuestros modelos a SteamVR. Primero, abra SteamVR, luego navegue hasta Crear / Modificar un entorno, que se encuentra en la pestaña Taller. Se abrirán las herramientas de SteamVR Workshop. Elija Crear complemento vacío y haga clic en Iniciar herramientas.

El Asset Browser ahora se abrirá con diferentes materiales y modelos ya incluidos. En la parte superior izquierda, hay un icono con el símbolo de un martillo. Este es el editor SteamVR Hammer incorporado, que le brinda la posibilidad de crear mapas. Los mapas son el entorno en el que vivirá el usuario de realidad virtual durante el juego.

Paso 6: Crea tu mapa SteamVR

Con el editor Hammer abierto en SteamVR, ahora podemos crear un cubo. Queremos crear un cubo para comenzar a construir el entorno. El programa le permite cambiar el tamaño del cubo antes de asegurarlo en su lugar. En este momento, solo las superficies exteriores del cubo son visibles. Al presionar CTRL + F, todas las superficies se invertirán y convertirán el cubo en una habitación. Además, deberá agregar un objeto llamado info_player_start, que le dirá a Hammer dónde generar al usuario al cargar el programa.

Para hacer la habitación más realista, también necesitamos agregar texturas. Podemos agregar algunas imágenes personalizadas a través del Editor de materiales. Este es el icono circular a la derecha del botón Martillo en el Explorador de activos. Al seleccionar el Editor de materiales, accederá a una nueva ventana que le permitirá importar una imagen para convertirla en una textura. Puede usar sus propias imágenes u obtener imágenes de sitios web de texturas de stock como textures.com. Haga clic en el botón Archivo debajo de Selección de color para seleccionar la imagen que desea usar. Después de seleccionar su imagen, asegúrese de guardarla presionando el ícono de disquete en la parte superior izquierda de la ventana del Editor de materiales. Ahora, cierre el Editor de materiales y vuelva al Explorador de activos. Aquí, busque el archivo de textura que desea usar y luego haga clic y arrástrelo al Editor de Hammer. En esta ventana, puede aplicar su textura a las diferentes caras del cubo.

También necesitamos agregar iluminación a la habitación. Para hacer esto, colocamos un light_omni o un light_spot en nuestro mapa, que se encuentra en la Sección de Entidades a la izquierda de la vista del mapa. Un light_omni brillará una luz en todas las direcciones mientras que un light_spot brillará una luz en una dirección específica. Para este proyecto, utilicé al menos dos light_spots para cada objeto y un light_omni para ayudar a iluminar la habitación.

Paso 7: agregar nuestros objetos al mapa

Ahora es el momento de comenzar a mover nuestros objetos a nuestro mapa. En el Explorador de activos, a la derecha del icono del Editor de materiales se encuentra el Editor de modelos, que se asemeja a un icono humanoide. Al abrir el Editor de modelos, tendrá la opción de navegar o crear un nuevo VDML, que es la versión de Hammer Editor de un archivo OBJ. Seleccione la opción para crear un nuevo VDML y le pedirá que cree una carpeta. Esta carpeta almacenará el archivo VDML. Asegúrese de que esté en la carpeta Add On y presione continuar.

Esto te llevará a una pantalla con tu modelo, que tiene una textura blanca. Para agregar la textura para este modelo, seleccione Materiales en la barra de herramientas de la izquierda. Esto lo llevará al Editor de materiales y puede seleccionar el JPEG de la exportación de Reality Capture. Asegúrese de guardar la textura y el modelo haciendo clic en el icono del disquete. Regrese a Hammer Editor.

En Hammer, puede arrastrar y soltar el modelo desde el Asset Browser al mapa. Lo más probable es que el modelo sea pequeño y tendrás que cambiar su tamaño. Al presionar T en su teclado, puede cambiar su posición en el mapa. Presionando E cambiará las proporciones del modelo mientras que R lo rotará.

Paso 8: Hacer las etiquetas de los objetos

Las etiquetas de objeto que se ven junto a cada punto de referencia proporcionan contexto e historial para mejorar la experiencia del usuario. Para mis etiquetas de objeto, simplemente tomé fotos de las placas informativas en cada ubicación para registrar fácilmente la información importante que quería usar más adelante. Luego utilicé Krita, un programa de software de edición de fotos gratuito, para crear las etiquetas de objeto, incluidas imágenes y texto adicionales.

Para el lado de Miner Park y Anchor de la habitación, no hubo problemas para agregar etiquetas como texturas. Simplemente agréguelos a su Asset Browser a través de Material Editor y agregue la imagen a un bloque que se puede crear en Hammer Editor. Surgieron problemas cuando creé tableros para el otro lado de la habitación. Todo el texto y las imágenes estaban al revés y no había una forma clara de revertir las texturas dentro del editor. Para solucionar esto, volví a Krita e invertí las tablas para el ciervo y el oso y, afortunadamente, esto solucionó el problema.

Además, agregué imágenes variadas de Wilkes-Barre, ya que quería crear una habitación que tuviera la sensación y el ambiente de un museo boutique.

Paso 9: Conclusión

En conclusión, tanto la realidad virtual como la fotogrametría tienen el poder de mejorar enormemente innumerables industrias, incluidas, entre otras, las de deportes, bienes raíces y medicina forense. Hoy, utilicé la fotogrametría para preservar algunas partes pequeñas pero importantes de la historia local de mi ciudad natal. La realidad virtual y la fotogrametría son tecnologías todavía experimentales que a veces pueden desafiarlo. A pesar de algunas deficiencias, la cantidad de usos innovadores para ambos procesos es emocionante e ilimitada. Gracias por leer sobre este proyecto y espero que esto te haya inspirado a probar algo nuevo con la realidad virtual.

El enlace de descarga del proyecto se puede encontrar aquí.