Reconocimiento de movimiento manual: 5 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:41

Visión general

En este proyecto, haremos un guante que pueda reconocer algunos movimientos básicos de la mano, usando un MicroBit y algunos sensores. Usaremos las capacidades de Bluetooth en MicroBit, junto con una aplicación de Android y un servidor web para entrenar un modelo de aprendizaje automático para identificar los movimientos de la mano.

Empezando

La mayor parte del esfuerzo involucrado en este proyecto está en el lado del software, y todo el código necesario para ejecutar este proyecto está disponible en GitHub. La base del código incluye 3 componentes, el código para generar un archivo HEX para MicroBit, la base de código de la aplicación Android que se basa en gran medida en la aplicación MicroBit Blue de MicroBit Foundation, con modificaciones realizadas para este caso de uso específico, y un servidor web con código para entrenar un modelo basado en Tensorflow para identificar los movimientos de la mano.

Veremos cómo construir el guante y conectarlo con la aplicación y el servidor web a continuación.

Suministros

• 1 BBC Microbit
• 1 portapilas con 2 pilas AAA
• 1 guante
• Un juego de cables de puente, pinzas de cocodrilo.
• Un sensor flexible
• Un sensor de fuerza
• Velcro
• Cinta eléctrica
• Un teléfono Android
• Una PC / Laptop

Paso 1: Paso 1: Configuración del MicroBit y la batería

• Comience colocando el portapilas en un trozo de velcro como se muestra en la primera imagen. Use cinta aislante para sujetar firmemente el soporte de la batería a la correa de velcro.
• A continuación, haga un bucle con cinta aislante de modo que quede pegajoso en ambos lados y péguelo en la parte superior del paquete de baterías.
• Pegue el MicroBit en el bucle de cinta para sujetar firmemente el MicroBit al portapilas como se muestra en la segunda imagen.

Paso 2: Conecte los sensores

• Siga el diagrama de circuito que se muestra en la imagen para conectar su sensor flexible al Pin 1 del MicroBit y forzar el sensor al Pin 0 del MicroBit.
• Asegure los sensores en el guante con cinta aislante como se muestra en las imágenes.

Paso 3: terminar el hardware

• Use los extremos de las correas de velcro para formar un lazo y deslice el lazo sobre los dedos del guante, como se muestra en la imagen.
• Puede usar ataduras de cables para asegurar los cables en el guante para evitar que se muevan demasiado.

En la siguiente sección veremos cómo configurar el software.

Paso 4: configuración del software

Emparejamiento de su teléfono con su MicroBit

1. Para emparejar su teléfono, primero asegúrese de que el bluetooth esté encendido en su teléfono.
2. Encienda su MicroBit y mantenga presionados los botones A y B. Al mismo tiempo, presione y suelte el botón de reinicio mientras mantiene presionados los botones A y B. El microbit ahora debería entrar en modo de emparejamiento.
3. En su teléfono, busque su MicroBit en la lista de dispositivos bluetooth donde generalmente agrega un nuevo dispositivo Bluetooth y comience a emparejar. En su MicroBit verá una flecha que apunta al botón A. Al presionar esto, el MicroBit mostrará una serie de números que es el código de emparejamiento que debe ingresar en su teléfono. Una vez que ingrese el código en su teléfono y seleccione emparejar, debería aparecer una marca de verificación en el MicroBit.
4. Presione el botón de reinicio en su MicroBit.

Configurar el software

Siga las guías Léame en cada subcarpeta del repositorio de GitHub para configurar el proyecto de la aplicación de Android en Android Studio, para crear y actualizar el archivo HEX en su MicroBit, y ejecutar el servidor web para ejecutar los modelos de aprendizaje automático.

Paso 5: uso

Servidor web

Abra una terminal en el directorio del proyecto del servidor web y ejecute `python server.py` para iniciar el servidor después de seguir las instrucciones en el archivo Léame para instalar las dependencias

Aplicación Android

1. Cree y cree un APK para la aplicación de Android desde Android Studio. Ejecute la aplicación después de vincular su teléfono con el MicroBit (consulte el paso anterior).
2. En la página del acelerómetro, puede configurar la URL del servidor web usando el menú de configuración en la esquina superior derecha. Asegúrese de cambiar esto a la IP de su servidor web.
3. Espere hasta que las lecturas del acelerómetro comiencen a completarse desde el MicroBit. Verá que las lecturas cambian con diferente frecuencia. Para cambiar la frecuencia presione B en el MicroBit. Idealmente, puede utilizar un valor de frecuencia de 10 (que muestrea las lecturas cada 10 ms)
4. Una vez que se hayan completado las lecturas, asigne un nombre a su gesto usando el cuadro de texto etiquetado como "Gesto:" y presione el botón de grabación. Tan pronto como presione el botón de grabación, haga el movimiento de su mano, repetidamente hasta que el botón se habilite nuevamente.
5. Repita el paso 3 para grabar varios gestos.
6. Presione el botón de tren para iniciar el entrenamiento del modelo en el servidor. Una vez finalizado el entrenamiento (unos 15 segundos), puedes proceder a hacer predicciones.
7. Presione el botón de predecir y haga su movimiento / gesto. La aplicación intentará adaptarlo de la mejor manera posible a uno de los movimientos entrenados.