Guante de conversión de gesto a voz / texto: 5 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:41

La idea / impulso detrás de la implementación de este proyecto fue ayudar a las personas que tienen dificultades para comunicarse usando el habla y comunicarse usando gestos con las manos o más popularmente conocido como lenguaje de señas estadounidense (ASL). Este proyecto puede ser un paso para brindarles a estas personas la oportunidad de trabajar con otras personas, que no entienden el lenguaje de señas, en un entorno colaborativo. Además, este proyecto les permitirá dar discursos públicos sin el uso de un traductor humano real. Para empezar, solo estaba tratando de detectar algunos de los gestos más fáciles, como los alfabetos A, B, I, etc., y también asigné ciertos gestos a palabras / saludos comunes como 'Hola', 'Buenos días', etc.

Paso 1: Montaje del circuito

Paso 2: Detalles del proyecto

Este proyecto incluye un guante portátil con 4 sensores flexibles pegados / incrustados en el guante, uno para los dedos meñique, medio, índice y pulgar. El sensor flexible no se usó para el dedo anular debido a limitaciones en la disponibilidad de pines de entrada analógica en Arduino Uno R3 y, en general, debido a la falta de movimiento independiente mostrado por el dedo en los lenguajes de signos. También se utiliza un acelerómetro MMA8452Q que se pega en la parte posterior de la palma para medir la orientación de la mano. La entrada de estos sensores se analiza y se utiliza para detectar el gesto. Una vez que se detecta el gesto, el carácter / mensaje correspondiente se guarda en una variable. Estos caracteres y mensajes se van encadenando hasta que se realiza un gesto predeterminado que indica la finalización de la frase. Una vez que se detecta ese gesto especial, Arduino envía la cadena de oración guardada a la Raspberry Pi a través de un cable USB. Luego, Raspberry Pi envía la cadena recibida al Amazon Cloud Service llamado Polly para convertir la oración recibida en formato de texto a formato de voz y luego transmite el discurso recibido en el altavoz conectado a la Raspberry Pi a través del cable AUX.

Este proyecto fue solo una prueba de concepto y con mejores piezas de equipamiento y planificación y mejor calibrado para detectar muchos otros gestos y movimientos de las manos. Actualmente, solo se programa una funcionalidad limitada en este proyecto, como la detección básica de gestos y la salida de texto a voz.

Paso 3: Código

Paso 4: Pasos

1. Conecte los sensores flexibles y el acelerómetro MMA8452Q al Arduino según el diagrama de circuito proporcionado.

2. Vierta el programa Final_Project.ino (que se encuentra en el archivo Arduino_code.zip) al Arduino.

3. Conecte Arduino a la Raspberry Pi mediante un cable USB. (Cable tipo A / B).

4. Encienda la Raspberry Pi, copie el archivo Raspberry_pi_code.zip en la Raspberry Pi y extráigalo. Conecte el altavoz a la Raspberry Pi.

5. Copie las credenciales de su cuenta de AWS, es decir, aws_access_key_id, aws_secret_access_key y aws_session_token en el archivo ~ /.aws / credentials. Este paso es necesario para comunicarse con la nube de AWS y utilizar los servicios de AWS.

6. Ejecute el programa seria_test.py que se encuentra dentro de la carpeta extraída en el paso 4.

7. Ahora haga los gestos para formar una oración y luego haga el gesto especial (mantenga los dedos y la palma rectos y en una línea con la palma hacia afuera, y luego gire la muñeca dándole un giro hacia abajo de manera que ahora su palma está frente a usted y la punta de sus dedos apunta hacia abajo, hacia sus pies) para indicar que se completó la oración.

8. Siga revisando el terminal para obtener información útil.

9. Y escuche el discurso convertido que se transmite por el altavoz.

Paso 5: referencias

1.

2.

3.

4.