Drone autónomo con cámara infrarroja para ayudar a los primeros respondedores: 7 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:41

Según un informe de la Organización Mundial de la Salud, cada año los desastres naturales matan a unas 90.000 personas y afectan a cerca de 160 millones de personas en todo el mundo. Los desastres naturales incluyen terremotos, tsunamis, erupciones volcánicas, deslizamientos de tierra, huracanes, inundaciones, incendios forestales, olas de calor y sequías. El tiempo es esencial, ya que la posibilidad de supervivencia comienza a disminuir con cada minuto que pasa. Los socorristas pueden tener problemas para ubicar a los sobrevivientes en casas que están dañadas y ponen en riesgo su vida mientras los buscan. Tener un sistema que pueda localizar a las personas de forma remota aumentaría enormemente la velocidad a la que los socorristas podrían evacuarlos de los edificios. Después de investigar otros sistemas, descubrí que algunas empresas han creado robots basados en tierra o han creado drones que pueden rastrear personas pero que solo funcionan fuera de los edificios. La combinación de cámaras de profundidad junto con cámaras de infrarrojos especiales puede permitir un seguimiento preciso del área interior y la detección de cambios de temperatura que representan el fuego, las personas y los animales. Al implementar sensores con un algoritmo personalizado en un vehículo aéreo no tripulado (UAV), será posible inspeccionar casas de forma autónoma e identificar la ubicación de personas y animales para rescatarlos lo más rápido posible.

¡Vota por mí en el concurso de Óptica!

Paso 1: requisitos de diseño

Después de investigar las tecnologías disponibles, analicé las posibles soluciones con expertos en visión artificial y un personal de primera respuesta para encontrar el mejor método para detectar sobrevivientes en áreas peligrosas. La siguiente información enumera las características más importantes necesarias y los elementos de diseño del sistema.

• Procesamiento de la visión: el sistema debe proporcionar una velocidad de procesamiento rápida para la información intercambiada entre los sensores y la respuesta de inteligencia artificial (IA). Por ejemplo, el sistema debe ser capaz de detectar muros y obstáculos para evitarlos y al mismo tiempo encontrar personas en peligro.
• Autónomo: el sistema debe poder funcionar sin la entrada de un usuario o un operador. El personal con experiencia mínima con la tecnología UAV debe poder presionar uno o algunos botones para que el sistema comience a escanear por sí mismo.
• Alcance: el alcance es la distancia entre el sistema y todos los demás objetos en las proximidades. El sistema debe poder detectar pasillos y entradas desde al menos 5 metros de distancia. El alcance mínimo ideal es de 0,25 m para que se puedan detectar objetos cercanos. Cuanto mayor sea el rango de detección, menor será el tiempo de detección para los supervivientes.
• Precisión de navegación y detección: el sistema debe poder encontrar con precisión todas las entradas y no golpear ningún objeto al mismo tiempo que detecta la aparición repentina de objetos. El sistema debe poder encontrar la diferencia entre personas y objetos no vivos a través de varios sensores.
• Duración de la operación: el sistema debería poder durar 10 minutos o más, según la cantidad de habitaciones que necesite escanear.
• Velocidad: debería poder escanear todo el edificio en menos de 10 minutos.

Paso 2: Selección del equipo: método de movilidad

Se eligió el quadcopter sobre un coche de control remoto porque aunque el quadcopter es frágil, es más fácil de controlar y cambiar de altura para evitar obstáculos. El quadcopter puede contener todos los sensores y estabilizarlos para que sean más precisos mientras se mueven por diferentes habitaciones. Las hélices están hechas de fibra de carbono que son resistentes al calor. Los sensores se alejan de las paredes para evitar accidentes.

• Vehículo terrestre de control remoto

  • Ventajas: puede moverse rápidamente sin caerse y no se ve afectado por la temperatura.
  • Contras: el vehículo colocaría los sensores cerca del suelo cubriendo menos área a la vez y puede ser bloqueado por obstáculos

• Cuadricóptero

  • Ventajas: eleva los sensores en el aire para obtener una vista de 360 grados de los alrededores
  • Contras: si choca contra una pared, puede caer y no recuperarse.

Paso 3: Selección de equipos: microcontroladores

Los dos requisitos principales para los microcontroladores son el tamaño pequeño para reducir la carga útil en el cuadricóptero y la velocidad para procesar la entrada de información rápidamente. La combinación del Rock64 y el DJI Naza es la combinación perfecta de microcontroladores, ya que el Rock64 tiene suficiente potencia de procesamiento para detectar personas rápidamente y evitar que el quadcopter choque contra paredes y obstáculos. El DJI Naza lo complementa bien al hacer toda la estabilización y el control del motor que el Rock64 no puede hacer. Los microcontroladores se comunican a través de un puerto serie y permiten el control del usuario si es necesario. La Raspberry Pi habría sido una buena alternativa, pero como la Rock64 tenía un mejor procesador y una mejor conectividad a los sensores enumerados en la siguiente tabla, no se seleccionó la Pi. Intel Edison y Pixhawk no fueron seleccionados debido a la falta de soporte y conectividad.

• Frambuesa pi

  • Pros: puede detectar paredes y objetos fijos
  • Contras: tiene dificultades para mantenerse al día con los datos de todos los sensores, por lo que no puede ver las entradas con la suficiente rapidez. No puede emitir señales de motor y no tiene sensores estabilizadores para el quadcopter

• Rock64

  • Ventajas: capaz de detectar paredes y entradas con poca latencia.
  • Contras: también puede guiar el sistema por toda la casa sin chocar con nada utilizando todos los sensores. No se pueden enviar señales lo suficientemente rápido para controlar la velocidad del motor y no tiene sensores estabilizadores para el quadcopter

• Intel Edison

  • Ventajas: capaz de detectar paredes y entradas con cierto retraso
  • Contras: tecnología más antigua, muchos de los sensores necesitarían nuevas bibliotecas, lo que lleva mucho tiempo crear
• DJI Naza
  • Pros: tiene giroscopio, acelerómetro y magnetómetro integrados, para permitir que el quadcopter sea estable en el aire con micro ajustes a la velocidad del motor
  • Contras: no se puede realizar ningún tipo de procesamiento de la visión

• Pixhawk

  • Ventajas: compacto y compatible con los sensores utilizados en el proyecto mediante el uso de la salida de entrada de propósito general (GPIO)
  • Contras: no se puede realizar ningún tipo de procesamiento de la visión

Paso 4: Selección de equipo: sensores

Se utiliza una combinación de varios sensores para obtener toda la información necesaria para encontrar personas en áreas peligrosas. Los dos sensores principales seleccionados incluyen la cámara de infrarrojos estéreo junto con la navegación y el rango de sonido (SONAR). Después de algunas pruebas, he decidido usar la cámara Realsense D435 porque es pequeña y puede rastrear con precisión distancias de hasta 20 metros de distancia. Funciona a 90 fotogramas por segundo, lo que permite tomar muchas medidas antes de tomar una decisión sobre dónde están los objetos y en qué dirección apuntar el cuadricóptero. Los sensores SONAR se colocan en la parte superior e inferior del sistema para permitir que el quadcopter sepa qué tan alto o bajo se le permite ir antes de hacer contacto con una superficie. También hay uno colocado mirando hacia adelante para permitir que el sistema detecte objetos como vidrio que el sensor de la cámara de infrarrojos estéreo no puede detectar. Las personas y los animales se detectan mediante algoritmos de reconocimiento de objetos y movimiento. La cámara FLIR se implementará para ayudar a la cámara infrarroja estéreo a rastrear lo que está vivo y lo que no para aumentar la eficiencia del escaneo en condiciones adversas.

• Kinect V1

  • Ventajas: puede rastrear objetos 3D fácilmente a una distancia de hasta 6 metros
  • Contras: solo tiene 1 sensor de infrarrojos y es demasiado pesado para un quadcopter

• Realsense D435

  • Pros: tiene 2 cámaras infrarrojas y una cámara roja, verde, azul y de profundidad (RGB-D) para la detección de objetos 3D de alta precisión a una distancia de hasta 25 metros. Tiene 6 cm de ancho, lo que permite un fácil ajuste en quadcopter.
  • Contras: se puede calentar y es posible que necesite un ventilador de refrigeración

• LIDAR

  • Ventajas: haz que puede rastrear ubicaciones hasta a 40 metros de distancia en su línea de visión
  • Contras: el calor en el ambiente puede afectar la precisión de la medición

• SONAR

  • Ventajas: haz que puede seguir a 15 m de distancia, pero puede detectar objetos transparentes como vidrio y acrílico.
  • Contras: solo puntos en una línea de visión, pero el quadcopter puede moverlo para escanear el área

• Ultrasónico

  • Ventajas: tiene un alcance de hasta 3 my es muy económico
  • Contras: solo puntos en una línea de visión y pueden estar fuera del rango de detección de distancia muy fácilmente

• Cámara FLIR

  • Ventajas: puede tomar fotografías de profundidad a través del humo sin interferencias y puede detectar personas vivas a través de firmas de calor.
  • Contras: si algo interfiere con los sensores, los cálculos de distancia pueden calcularse incorrectamente

• Sensor PIR

  • Ventajas: capaz de detectar cambios de temperatura
  • Contras: no se puede precisar dónde está la diferencia de temperatura

Paso 5: Selección de equipo: software

Utilicé Realsense SDK junto con el sistema operativo de robot (ROS) para crear una integración perfecta entre todos los sensores con el microcontrolador. El SDK proporcionó un flujo constante de datos de la nube de puntos que era ideal para rastrear todos los objetos y los límites del quadcopter. ROS me ayudó a enviar todos los datos de los sensores al programa que creé y que implementa la Inteligencia Artificial. La IA consta de algoritmos de detección de objetos y algoritmos de detección de movimiento que permiten al quadcopter encontrar movimiento en su entorno. El controlador usa modulación de ancho de pulso (PWM) para controlar la posición del cuadricóptero.

• Freenect

  • Ventajas: tiene un nivel de acceso más bajo para controlar todo
  • Contras: solo es compatible con Kinect V1

• SDK de Realsense

  • Ventajas: puede crear fácilmente los datos de la nube de puntos a partir del flujo de información de la cámara Realsense.
  • Contras: solo es compatible con la cámara Realsense D435

• Controlador FLIR Linux

  • Ventajas: puede recuperar el flujo de datos de la cámara FLIR
  • Contras: la documentación es muy limitada

• Sistema operativo de robot (ROS)

  • Pros: sistema operativo ideal para programar funciones de la cámara
  • Contras: debe instalarse en una tarjeta SD rápida para una recopilación de datos eficiente

Paso 6: desarrollo del sistema

Los "ojos" del dispositivo son el sensor de infrarrojos estéreo Realsense D435, que es un sensor estándar que se utiliza principalmente para aplicaciones robóticas como el mapeo 3D (Figura 1). Cuando este sensor está instalado en el cuadricóptero, la cámara infrarroja puede guiar y permitir que el cuadricóptero se mueva de forma autónoma. Los datos generados por la cámara se denominan nube de puntos y consisten en una serie de puntos en un espacio que tienen información sobre la posición de un determinado objeto en la visión de la cámara. Esta nube de puntos se puede convertir en un mapa de profundidad que muestra los colores como diferentes profundidades (Figura 2). El rojo está más lejos, mientras que el azul está más cerca de metros.

Para garantizar que este sistema sea perfecto, se utilizó un sistema operativo de código abierto llamado ROS, que generalmente se usa en robots. Permite realizar un control de dispositivos de bajo nivel y acceder a todos los sensores y recopilar datos para ser utilizados por otros programas. ROS se comunicará con Realsense SDK que permite encender y apagar diferentes cámaras para rastrear qué tan lejos están los objetos del sistema. El enlace entre ambos me permite acceder al flujo de datos desde la cámara, lo que crea una nube de puntos. La información de la nube de puntos puede determinar dónde están los límites y los objetos dentro de los 30 metros y una precisión de 2 cm. Los otros sensores, como los sensores SONAR y los sensores integrados en el controlador DJI Naza, permiten un posicionamiento más preciso del quadcopter. Mi software utiliza algoritmos de inteligencia artificial para acceder a la nube de puntos y, a través de la localización, crea un mapa de todo el espacio que rodea al dispositivo. Una vez que el sistema se inicia y comienza a escanear, viajará a través de los pasillos y encontrará entradas a otras habitaciones donde luego puede hacer un barrido de la habitación en busca de personas específicamente. El sistema repite este proceso hasta que se hayan escaneado todas las habitaciones. Actualmente, el quadcopter puede volar durante unos 10 minutos, lo que es suficiente para hacer un barrido completo, pero se puede mejorar con diferentes configuraciones de batería. Los primeros en responder recibirán notificaciones cuando se detecte a las personas para que puedan concentrar sus esfuerzos en edificios seleccionados.

Paso 7: Discusión y Conclusión

Después de muchas pruebas, había creado un prototipo funcional que cumplía con los requisitos enumerados en la Tabla 1. Al usar la cámara infrarroja estéreo Realsense D435 con Realsense SDK, se creó un mapa de profundidad de alta resolución de la parte frontal del quadcopter. Al principio tuve algunos problemas con la cámara de infrarrojos que no podía detectar ciertos objetos como el vidrio. Al agregar un sensor SONAR, pude superar este problema. La combinación de Rock64 y DJI Naza fue exitosa, ya que el sistema pudo estabilizar el quadcopter y al mismo tiempo detectar objetos y paredes a través de algoritmos de visión por computadora creados a medida usando OpenCV. Aunque el sistema actual es funcional y cumple con los requisitos, podría beneficiarse de algunos prototipos futuros.

Este sistema podría mejorarse mediante el uso de cámaras de mayor calidad para poder detectar personas con mayor precisión. Algunas de las cámaras FLIR más caras tienen la capacidad de detectar firmas de calor que pueden permitir una detección más precisa. El sistema también podría funcionar en diferentes entornos, como habitaciones polvorientas y llenas de humo. Con nueva tecnología y protección contra incendios, este sistema podría enviarse a las casas en llamas y detectar rápidamente dónde están las personas para que los primeros en responder puedan rescatar a los sobrevivientes del peligro.

¡Gracias por leer! ¡No olvides votar por mí en el concurso de Óptica!