IoT: controle las HoloLens con las cejas (EMG): 5 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:42

Este proyecto fue parte del proyecto NASA SUITS de la Universidad de Colorado Boulder que fue presentado y probado en NASA JSC en abril de 2019. Para el proyecto de ese año, fui el líder del proyecto de desarrollo de hardware y esta fue una de mis contribuciones. Lea más sobre el desafío NASA SUITS aquí.

Con este proyecto, quería permitir que cualquier persona (en este caso, los astronautas de EVA) interactuara con un Heads-Up-Display (HUD) implementado en Microsoft HoloLens sin usar los gestos de mano incorporados o entradas de voz. Abordé este objetivo desde el punto de vista de la accesibilidad, quería desarrollar un periférico / dispositivo portátil que permitiera a los astronautas de EVA interactuar con su pantalla sin ocupar comunicaciones con el control terrestre, y debido a sus guantes altamente presurizados, la interfaz de gestos no es razonable. Si bien este es un dominio con el que no estoy familiarizado, también puedo ver que este periférico es útil para las personas con discapacidades, ya que les permite usar HoloLens u otros dispositivos AR / VR y renunciar a las entradas de interfaz que son excluyentes o abrumadoras.

Si bien la lista de elementos para este proyecto es excluyente en sí misma (¡las HoloLens son muy caras!), El periférico se puede usar con otros dispositivos AR / VR.

Si tiene alguna pregunta, quiere estar al día con mi trabajo o simplemente compartir ideas, por favor hágalo en mi Twitter: @ 4Eyes6Senses.

Suministros

Microsoft HoloLens (u otro dispositivo AR / VR)

Fotón de partículas

Sensor muscular MyoWare: el sensor MyoWare se puede sustituir por otras placas de conexión EMG. Si no está seguro de qué EMG lo es, le sugiero que lea más al respecto aquí.

Almohadillas de sensores biomédicos

Unidad (gratis)

Alguna experiencia con la creación de proyectos en Unity

Cable

Paso 1: Conexión de MyoWare con el fotón de partículas

Conectar Particle Photon a la placa MyoWare es bastante sencillo. Para este paso, deberá soldar las conexiones entre Particle Photon y la placa MyoWare. Asegúrese de tener conexiones sólidas para que los cables no se rompan mientras usa el dispositivo. Para evitar roturas, recomiendo trenzar los cables antes de soldarlos al Photon.

- Suelde un cable en el puerto "+" de la placa MyoWare, luego suelde el otro extremo del cable en el pin "3v3" del Photon.

- Suelde un cable en el puerto "-" de la placa MyoWare, luego suelde el otro extremo del cable en el pin "GND" del Photon.

- Suelde un cable en el puerto "SIG" de la placa MyoWare, luego suelde el otro extremo del cable en el pin "A0" del Photon.

Paso 2: carga de código en el fotón de partículas

Usando el IDE de Particle Photon, cargue el archivo.ino. Coloque la placa MyoWare en un grupo de músculos y verifique los valores para asegurarse de que su dispositivo esté funcionando. Al mirar el código, notará que ya hay una variable de "umbral" establecida, esta variable es el valor mínimo que MyoWare lee de mi músculo cuando levanto la ceja por completo. También configuré la variable en "600" porque me permitió tener conversaciones normales mientras usaba MyoWare sin crear falsos positivos (activación accidental), es posible que desee jugar con los valores hasta que encuentre el umbral deseado para sus usos.

Paso 3: Colocación de MyoWare

Para nuestro proyecto NASA SUITS, seleccioné colocar la placa MyoWare sobre la ceja. Me inspiré para colocar el MyoWare allí después de ver el proyecto "'Sup Brows" realizado por Adafruit. Después de algunas pruebas, quedó claro que las cejas son una excelente ubicación para este proyecto específico. Es una excelente ubicación porque los sensores no se verían afectados por los constantes movimientos musculares a través de los brazos, las piernas y el torso que hacen los astronautas de EVA durante las caminatas espaciales.

Paso 4: Conexión de MyoWare con Unity

Ahora es el momento del paso final, ¡conectemos MyoWare con Unity! En este Instructable se incluye el script que deberá incluir en su proyecto de Unity. Pero primero, deberá cambiar algunas cosas en el código. Primero, deberá agregar el complemento JSON Object Unity en su proyecto. A continuación, deberá agregar su propia identificación de dispositivo y token de acceso en la línea 19: ParticleURI = "https://api.particle.io/v1/devices/[Inserte la identificación de su dispositivo] / ¿Siguiente? Access_token = [Inserte su token de acceso] ". Puede obtener la identificación de su dispositivo del IDE de partículas, siguiendo la figura 2, haga clic en la pestaña de sus dispositivos (cuadro rojo) y busque debajo del nombre de su dispositivo para encontrar su identificación (cuadro azul). A continuación, para encontrar su token de acceso, haga clic en la pestaña de configuración en el IDE.

Paso 5: ¡Listo

Después de terminar su proyecto de Unity, tendrá un HoloLens controlado por EMG.

Si tiene alguna pregunta en profundidad, quiere aprender sobre el aumento humano, quiere estar al día con mi trabajo o simplemente compartir ideas, por favor hágalo en mi Twitter:

@ 4Eyes6Senses

Si está interesado en trabajar con nuestro equipo para el desafío de trajes de la NASA 2019-2020, envíeme un correo electrónico a:

Un agradecimiento especial al modelo de la primera imagen, Darren, quien también probó el diseño en la NASA. Otro agradecimiento a mi socio de programación para el proyecto AJ, que hizo posible mucho de esto.