Mona, mi robot animatrónico asistente personal: 4 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:42

Mona, es un robot de inteligencia artificial que usa watson Ai en segundo plano, cuando comencé este proyecto parecía mucho más complicado de lo que pensaba, pero cuando comencé a trabajar en él, las clases cognitivas de ibm (inscríbete aquí) me ayudaron mucho, si quieres puedes tome la clase ahora, o simplemente continúe con estas instrucciones

necesito que mi bot responda por las siguientes cosas

1. cuando hablo

2. cuando quiere hablar

3. cuando quiero controlar los movimientos de los ojos / mandíbula… etc.

Entonces, cuando hablo, debería convertir mi discurso en texto, luego debería verificar la base de datos (entidades / eventos /) y luego debe decir la respuesta como texto a voz.

entonces necesitas las siguientes cosas

antes de utilizar los siguientes servicios, cree una cuenta de IBM Bluemix

1.texto a voz

2.discurso a texto

3.asistente de Watson

Paso 1: Prepara tus cosas

1 frambuesa Pi.

2. Mic

3. Altavoz

Cráneo (impreso en 3d):

Los archivos de impresión 3D lo puede encontrar aquí: haga clic aquí

y sobre todo debes tener una conexión a Internet adecuada …………

Ahora voy a usar raspberry pi para procesar todo.

Si ha utilizado Raspberry Pi anteriormente, instale Node.js y vaya al siguiente paso.

De lo contrario, siga las instrucciones a continuación para configurar su Pi:

Comenzar con su Pi Raspberry Pi es similar a una computadora completa, lo que significa que necesita un monitor, mouse y teclado para ello. Si tiene un televisor, puede conectar su Pi a su televisor a través de un cable HDMI. En la mayoría de los kits Pi, la tarjeta SD ya está precargada con una imagen del sistema operativo Raspberry Pi. Debe colocar la tarjeta SD en el Pi, encender el Pi y seguir las instrucciones en pantalla para completar la instalación del sistema operativo. Si tiene problemas para configurar su Pi, puede solucionarlo aquí.

Instalar paquetes Abra una aplicación de terminal en la Pi y ejecute los siguientes comandos para instalar la última versión de Node.js y npm (Node Package Manager).

Necesitará estos paquetes más adelante para ejecutar su código.

curl -sL https://ibm.biz/tjbot-bootstrap | sudo sh

Conecte su micrófono USB y el altavoz.

Dependiendo de la fuente de salida de audio que esté utilizando con su Pi (HDMI, conector de audio de 3,5 mm, Bluetooth, altavoz USB), es posible que deba configurar la configuración de audio.

Conector de audio HDMI / 3,5 mm Si utiliza un conector de audio HDMI o 3,5 mm, es posible que deba configurar la configuración de audio. Para hacer esto, vaya a la terminal y abra raspi-config.

sudo raspi-config

Esto abrirá la pantalla de configuración de Raspberry Pi.

Seleccione "Opciones avanzadas" y presione Entrar, luego seleccione "Audio" y presione Entrar. Elija el canal correcto para la salida de audio. Si ha conectado un altavoz externo al conector de audio, debe seleccionar el conector de 3,5 mm.

Altavoz USB:

Si tiene un audio USB, necesita actualizar su /usr/share/alsa/alsa.config para configurar el audio USB como el dispositivo predeterminado. Comience ejecutando el siguiente comando para asegurarse de que su USB esté conectado y enumerado allí.

lsusb

Lo siguiente es detectar el número de tarjeta de su USB audio.aplay -l

Tome nota del número de tarjeta asociado con su audio USB.

Luego vaya al archivo alsa.config para configurarlo como predeterminado.

sudo nano /usr/share/alsa/alsa.conf

Buscar

defaults.ctl.card 0

defaults.pcm.card 0

y actualice el número de tarjeta (0 aquí) al número de tarjeta de su audio USB.

Las diferentes versiones del sistema operativo Raspberry Pi pueden necesitar una configuración diferente. Si tiene algún problema con la configuración de su USB, consulte esta guía para solucionarlo.

Paso 2: Código de Git-hub

El código fuente está disponible en github. Descargue o clone el código y ejecute los siguientes comandos desde un terminal para instalar sus dependencias. Aquí están las instrucciones sobre cómo clonar un repositorio de github si no lo ha hecho antes.

clon de git

cd mona / recetas / conversación

npm install

Consejo profesional: si recibe un error para la instalación de npm que dice que npm no se encuentra, primero debe instalar npm en su máquina. Esta es la línea de comando para instalar npm

sudo apt-get install npm

En este paso, lo ayudamos a obtener acceso API a tres servicios de conversación:

(1) Voz a texto, (2) Asistente Watson, (3) Texto a voz.

Debe copiar sus credenciales para todos estos servicios. Cree instancias de los servicios Watson Assistant, Speech to Text y Text to Speech y anote las credenciales de autenticación.

Importe el archivo workspace-sample.json

en el servicio Watson Assistant y anote el ID del espacio de trabajo.

Haga una copia del archivo de configuración predeterminado y actualícelo con las credenciales del servicio Watson y el ID del espacio de trabajo de la conversación.

$ sudo cp config.default.js config.js

$ sudo nano config.js

Paso 3: Ejecute el código

¡Ahora está listo para hablar con su TJBot!

Abra una terminal y ejecute el siguiente comando:

sudo nodo conversación.js

La conversación de Watson usa intenciones para etiquetar el propósito de una oración.

Por ejemplo, cuando le pregunta a Mona "Preséntese", la intención es hacer una presentación.

Puede agregar sus propias nuevas intenciones en el editor de conversación, pero por ahora, lo hemos comenzado con algunas intenciones: Introducción.

Puedes decir frases como "Watson, preséntate", "Watson, ¿quién eres?" Y "Watson, ¿puedes presentarte?" Broma.

Puede preguntar "Watson, cuénteme un chiste" o "Watson, me gustaría escuchar un chiste".

Para obtener una lista completa, consulte el contenido de workspace-sample.json

Se usa una palabra de atención para que Mona sepa que estás hablando con él.

La palabra de atención predeterminada es 'Watson', pero puede cambiarla en config.js de la siguiente manera.

Actualice el archivo de configuración para cambiar el nombre del robot en la sección tjConfig: // configure la configuración de TJBot

exportaciones.tjConfig = {

log: {nivel: 'verbose'},

robot: {nombre: 'tee jay bot'}

};

Puedes cambiar el 'nombre' a lo que quieras llamar tu "Mona". Además, si cambias el género a "femenino", ¡TJBot usará una voz femenina para hablarte! ¡Disfrutar!

Existe una buena posibilidad de que haya sucedido una de estas dos cosas: (1) La salida de audio se dirige a un canal incorrecto (puede solucionarlo desde raspi-config), (2) sus módulos de sonido están bloqueados.

En ese caso, vaya a /etc/modprobe.d/ y elimine blacklist-rgb-led.conf Luego ejecute el siguiente comando:

sudo update-initramfs -u

Reinicie y confirme que los módulos "snd" se están ejecutando ejecutando el comando "lsmod".

Esto deberia resolver el problema. lsmod