Modelos 3D de imágenes de drones de estilo libre: 4 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:44

La videografía con drones realmente se ha disparado en los últimos años, y hay una gran cantidad de pilotos talentosos que hacen los videos más acrobáticos con sus cuadricópteros y auriculares con vista en primera persona. Mi hermano Johnny FPV es uno de estos pilotos, así que quería ver si era posible reconstruir los entornos en los que vuela a partir de sus imágenes de estilo libre.

Las imágenes fijas de drones bloqueados en puntos de interés ciertamente pueden producir un modelo 3D de alta fidelidad, como se discutió aquí, pero ¿qué sucede cuando las imágenes son tan frenéticas como esta?

Paso 1: preprocesa tu video

Una vez que tenga algunas imágenes aéreas, se requiere un procesamiento previo. Estoy usando Adobe Media Encoder, pero casi cualquier software de edición de video debería poder encargarse de esto.

Seleccioné un clip corto (~ 11 segundos) y cambié la velocidad de fotogramas de 29.77 a 30 fps, y guardé el nuevo video en la carpeta deseada.

A continuación, estoy usando FFMPEG para exportar cada dos fotogramas del video como un jpg. Si no está familiarizado, FFMPEG es un conjunto de herramientas de línea de comandos que permite procesar y convertir casi CUALQUIER tipo de audio o video que pueda imaginar. Existe un software de pago que te permitirá hacer muchas de las mismas cosas, pero si estás dispuesto a trabajar un poco con la línea de comandos, puede ser una herramienta increíblemente poderosa.

Una buena guía para instalar FFMPEG está disponible aquí.

Querrá cambiar su directorio a la ubicación de su archivo de imagen (cd) y luego usar la siguiente secuencia de comandos:

ffmpeg -i (nombre de su archivo de video) -vf fps = 15 exp% 03d.jpg

Cambiar los fps cambiará naturalmente la cantidad de imágenes exportadas por segundo de video. Esto se remonta a por qué cambié los fps del video de 29.97 a 30: capturar 15 imágenes por segundo ahora simplemente tomará cada dos fotogramas del video. Si quisiera cada sexto fotograma, lo establecería en 5 fps … etc.

"exp% 03d.jpg" hará que las imágenes se guarden como exp000.jpg, donde las imágenes se numeran secuencialmente con tres dígitos. Si tiene un videoclip más largo y desea exportar más de 999 imágenes, escribir% 04d sería el número todas las imágenes con cuatro dígitos; podría exportar hasta 9999.

(nota: "ffmpeg -i (nombre de su archivo de video) -r (velocidad de fotogramas) -f image2 exp% 03d.jpg" también funciona para extraer fotogramas de video, pero por alguna razón, obtengo mejores nubes de puntos a partir de imágenes procesadas en el método anterior)

Paso 2: importar fotos y construir una nube de puntos

Una vez que tenga un conjunto de imágenes, puede comenzar un flujo de trabajo de fotogrametría normal. Estoy usando Agisoft PhotoScanPro, pero otros programas como Autodesk Remake probablemente serían igualmente (si no más) exitosos.

Después de importar mis fotos, también configuré la calibración de la cámara en Ojo de pez, ya que este metraje proviene originalmente de una GoPro. Unos minutos de procesamiento más tarde, ¡comienza a emerger información en 3D! Es posible que la nube de puntos no parezca gran cosa y solo consta de unos pocos miles de puntos, por lo que aún no es suficiente para calcular una malla. A partir de esto, construí una nube de puntos densa y ahora tengo alrededor de 200k puntos para trabajar.

Paso 3: construye una malla

Ahora que tenemos todos estos puntos con los que trabajar, se puede calcular una malla. Estoy usando un recuento de caras relativamente alto y habilitando la interpolación, esto hará que la malla sea un poco más "borrosa" pero habrá muchas menos superficies faltantes y agujeros en la malla al final. Después de unos minutos de procesamiento, comenzamos a tener un resultado que se asemeja a la arquitectura en la que volaba el dron.

Paso 4: Textura y resultados finales

Photoscan también le permite crear una textura para su malla a partir de las imágenes de entrada, lo que le da el toque final de detalle al modelo. Tengo sentimientos encontrados sobre los resultados de este proceso (hay formas mucho mejores de producir un modelo preciso), pero en general creo que es asombroso que cualquier modelo pueda salir de un metraje tan loco.

Otras direcciones que podría tomar este proyecto podrían ser engrosar las superficies en modelos herméticos para la impresión 3D, o podrían convertirse en parte de un paisaje de realidad virtual surrealista.