IA con Grove Zero y Codecraft (Scratch 3.0): 5 pasos (con imágenes)

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:41

En este artículo vamos a construir tres proyectos utilizando funciones de inteligencia artificial de Codecraft, un entorno de programación gráfica basado en Scratch 3.0. Codecraft es desarrollado y mantenido por TinkerGen Education y es de uso gratuito.

La IA y su subconjunto, el aprendizaje automático, se ha convertido en una parte integral de nuestras vidas en los últimos 10 años. Los planes de estudio escolares en muchos países incluyen inteligencia artificial y conocimiento de aprendizaje automático, pero puede ser difícil para un maestro promedio crear materiales didácticos para enseñar este tema sin las herramientas adecuadas. El uso de bibliotecas de aprendizaje automático, incluso las más fáciles de usar, como Keras, para crear una aplicación con la que los estudiantes puedan interactuar, puede ser una tarea abrumadora y que requiere mucho tiempo. Aquí es donde Codecraft podría ayudar: tiene un amplio conjunto de aplicaciones impulsadas por el aprendizaje automático que el maestro puede usar para explicar y demostrar conceptos relacionados con la inteligencia artificial. ¡Echemos un vistazo a ellos!

Paso 1: Descripción general de las extensiones de AI

Abra el editor en línea de Codecraft en

Haga clic en el modo de escenario y luego en el botón Agregar extensión en la parte inferior de la pestaña de navegación de bloques.

Verá que hay tres extensiones de IA disponibles:

- Servicios cognitivos --- modelos de aprendizaje automático para procesar audio y video en vivo

- Teachable Machine --- se puede usar para entrenar un modelo de clasificación con imágenes tomadas con su cámara

- Traducir --- utiliza el aprendizaje automático para la traducción

En este artículo nos centraremos en los servicios cognitivos y en el uso de estas funciones para controlar el hardware de Grove Zero. La comunicación inalámbrica entre la computadora y Grove Zero todavía está en progreso y actualizaré el artículo tan pronto como esté disponible. Por ahora usaremos conexión por cable para pasar los mensajes entre el módulo Grove Zero y la computadora.

Paso 2: Juega Space Invaders con tu nariz

Para la primera tarea usaremos solo el modo escenario sin ningún hardware. Codecraft tiene una gran cantidad de ejemplos para comenzar con la programación: uno de estos ejemplos es la programación del juego clásico de Space Invaders en el modo Codecraft Stage. Vamos a ampliar este ejemplo y agregar la capacidad de controlar al luchador en el juego con tu nariz usando los servicios cognitivos.

Haga clic en el botón Ejemplos. Ejemplo de Open SpaceInvaders. Solo necesitamos cambiar la parte relevante para el movimiento. Para eso obtendremos la posición x de la nariz en el rostro detectado en la transmisión de video en vivo, guárdelo en pos variable. Luego, si el valor de pos es mayor que 50, movemos nuestro caza espacial hacia la derecha, si es menor que -50, entonces movemos el caza hacia la izquierda. Eso es todo. ¡Pruébalo! Si siente que la velocidad de movimiento del luchador es demasiado rápida, puede cambiar el cambio x por … bloquear a un número menor.

A continuación, ampliaremos esta funcionalidad para controlar el automóvil Grove Zero y hacer que se mueva hacia adelante / atrás / izquierda / derecha.

Paso 3: Controla el coche Grove Zero con Codecraft AI

Comencemos escribiendo código en el modo de escenario: esta es la parte responsable de analizar la transmisión de video y enviar comandos a Grove Zero.

1) Ejecutamos el código en la primera captura de pantalla hasta que se presiona el botón de espacio. Después de eso, enviamos el comando de parada.

2) En el interior repetimos hasta bloquear comprobamos las posiciones x e y de la nariz de una cara detectada y las guardamos en las variables correspondientes.

3) Si el valor absoluto de x-pos es menor que 21 (lo que significa que está entre -20 y 20, tan cerca del centro de la imagen), luego revisamos y-pos para determinar si el automóvil debe ir hacia adelante o hacia atrás

4) De lo contrario, verificamos si el automóvil debe ir hacia la izquierda o hacia la derecha.

Ahora vayamos a la pestaña Dispositivo y escribamos un código corto para el automóvil Grove Zero. Usaremos When I receive block, que se encarga de recibir los comandos de transmisión internos. No confundir con Cuando se recibe la radio, que se utiliza para la comunicación Bluetooth. Consulte la captura de pantalla para obtener más detalles, el código es bastante simple.

Conecte su automóvil Grove Zero ensamblado a la computadora y presione el botón Conectar en Codecraft. Cambie al modo de depuración en línea, lo que permitirá que Grove Mainboard reciba comandos de transmisión a través del cable. Luego ve al modo escenario y presiona la bandera. El automóvil debería estar en movimiento ahora, intente controlarlo con su nariz:)

Paso 4: seguimiento de línea con control por voz

Hay un mapa en el kit de automóvil Grove Zero, que originalmente es para jugar al minijuego Collect the Coins. Podemos reutilizarlo para usar el reconocimiento de voz en Codecraft para dar órdenes al automóvil sobre qué camino tomar en la encrucijada.

La parte del modo de escenario aquí es menos complicada que en el ejemplo anterior. Lo que hacemos es:

1) Al recibir el mensaje de difusión choose_direction, reconozca el fragmento de voz y guárdelo en la variable de resultado.

2) Siga reconociendo hasta que NO se desconozca el resultado.

3) Compare el resultado con dos cadenas: "izquierda" y "derecha". Transmitir el mensaje correspondiente al automóvil Grove Zero.

El código que se ejecuta en el automóvil Grove Zero es un poco más complicado esta vez, pero esencialmente sigue esta lógica:

1) Cuando comience, transmita el mensaje de reenvío

2) Al recibir el mensaje de reenvío, comience a seguir la línea. Si se pierde la línea, detenga los motores y transmita

Choose_direction. Aquí se ejecuta el código en el modo Stage.

3) Si el mensaje dejado recibido, comience a girar a la izquierda y luego vuelva al modo de seguimiento de línea.

Si se recibe el mensaje a la derecha, comience a girar a la derecha y luego vuelva al modo de seguimiento de línea.

Paso 5: detrás de escena

Los modelos de red neuronal utilizados en la aplicación anterior se ejecutan localmente en su navegador, lo que tiene algunas ventajas distintas en comparación con el envío de datos a la nube para su procesamiento: menor latencia y mejor privacidad. Se utilizan varias redes neuronales en los servicios cognitivos: clasificación de sonido para comandos de voz (, detección de marcas faciales, reconocimiento de expresiones faciales y estimación de la edad.

En este artículo exploramos la funcionalidad básica de una de las extensiones de inteligencia artificial de Codecraft: los servicios cognitivos. ¡Hay varias formas de aprovechar estos ejemplos para crear aplicaciones aún más divertidas y emocionantes!

Si decide probarlo, ya sea con Grove Zero o simplemente usando el modo Stage, comparta los comentarios a continuación. Para obtener más información sobre la serie Grove Zero, Codecraft y otro hardware para fabricantes y educadores STEM, visite nuestro sitio web, TinkerGen ha creado una campaña de Kickstarter para MARK (Make A Robot Kit), un kit de robot para enseñar codificación, robótica, IA.