Visualización de datos de Magicbit en AWS: 5 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:40

Los datos recopilados de los sensores conectados a Magicbit se publicarán en el núcleo de AWS IOT a través de MQTT para visualizarlos gráficamente en tiempo real. Estamos utilizando magicbit como placa de desarrollo en este proyecto que se basa en ESP32. Por lo tanto, en este proyecto se puede utilizar cualquier placa de desarrollo ESP32.

Suministros:

Magicbit

Paso 1: historia

Este proyecto trata sobre la conexión de su dispositivo Magicbit a la nube de AWS a través de MQTT. Los datos enviados a través de MQTT se analizan y visualizan en la nube mediante los servicios de AWS. Entonces empecemos

Primero debe ir a la Consola de AWS e iniciar sesión. Con fines de aprendizaje, puede utilizar la opción de nivel gratuito que ofrece AWS. Será suficiente para este proyecto.

Para hacerlo más sencillo, dividiré el proyecto en dos secciones.

Esta será la primera etapa de nuestro proyecto. Al final de la primera etapa, los datos se almacenarán en los depósitos S3.

Los servicios de AWS que se utilizarán en la primera sección,

• Kinesis Firehose
• AWS Glue
• AWS S3

Primero navegue hasta el servicio AWS Kinesis.

Elija Kinesis Data Firehose como se muestra a continuación y haga clic en Crear

Luego, será dirigido al Paso 1 de la creación de un servicio Firehose. Ingrese un nombre de flujo de entrega y elija Direct Put u Otras fuentes. Haga clic en Siguiente.

En la ventana del Paso 2, deje todo como predeterminado y haga clic en Siguiente. Después de crear el servicio AWS Glue, volveremos a editar este paso.

En el Paso 3, elija un bucket de S3 si lo ha creado antes. De lo contrario, haga clic en crear y crear un depósito. En la sección de prefijo S3 use dest / y en el prefijo de error ingrese error /. Puede ingresar cualquier nombre para los dos anteriores. Pero para mayor facilidad continuaremos con un nombre común. Asegúrese de crear una carpeta llamada dest dentro del depósito que eligió. Haga clic en Siguiente.

En el paso 4, elija el tamaño mínimo del búfer y el intervalo del búfer para la transferencia de datos en tiempo real. En la sección Permiso, elija Crear o actualizar IAM roleKinesisFirehoseServiceRole. Mantenga todo por defecto. Haga clic en Siguiente.

En la siguiente sección se mostrará una revisión de los cambios que realizó. Haga clic en Aceptar. Entonces tendrá una Kinesis Firehose en funcionamiento.

Si creó con éxito el servicio Firehose, obtendrá algo como esto.

Paso 2: Prueba de Firehose y S3 Bucket

Para probar que la manguera contra incendios y el depósito S3 funcionan correctamente, seleccione el núcleo de IOT en la consola. Serás dirigido a una página como esta. Elija Regla y cree una regla.

¿Qué es la regla AWS IOT?

Se utiliza para reenviar cualquier dato recibido de MQTT a un servicio en particular. En este ejemplo, lo enviaremos a Kinesis Firehose.

Elija un nombre para la regla. Deje la regla y la instrucción de consulta como están. Esto nos dice que todo lo que se publique en el tema iot / topic se reenviará a kinesis Firehose a través de esta regla.

En la sección Establecer una o más acciones, haga clic en agregar acción. Elija Enviar un mensaje a Amazon Kinesis Firehose Stream. Elija configurar. Luego, seleccione el nombre de la secuencia de manguera de incendios creada anteriormente. Luego haga clic en Crear un rol y cree un rol. Ahora ha creado con éxito un rol en AWS.

Cualquier mensaje que publique se reenviará a través de Kinesis Firehose a los depósitos de S3.

Tenga en cuenta que Firehose envía datos cuando su búfer está lleno o cuando se alcanza el intervalo de búfer. El intervalo mínimo de búfer es de 60 segundos.

Ahora podemos pasar a la segunda parte del proyecto. Este será nuestro diagrama de flujo de datos.

Paso 3: configuración de AWS Glue

¿Por qué necesitamos AWS Glue y AWS Athena?

Los datos almacenados en los depósitos de S3 no se pueden usar directamente como entrada para AWS Quicksight. Primero necesitamos organizar los datos en forma de tablas. Para ello utilizamos los dos servicios anteriores.

Vaya a AWS Glue. Seleccione Rastreador en la barra de herramientas lateral. Luego seleccione Agregar rastreador.

En el primer paso, ingrese un nombre para su rastreador. Haga clic en Siguiente. En el siguiente paso déjelo como predeterminado. En el tercer paso, ingrese la ruta a su cubo S3 elegido. Deje la siguiente ventana como predeterminada. En la quinta ventana ingrese cualquier rol de IAM. En el siguiente paso, elija la frecuencia de ejecución del servicio.

Es recomendable seleccionar personalizado en el cuadro desplegable y elegir un tiempo mínimo.

En el siguiente paso, haga clic en Agregar base de datos y luego en Siguiente. Haga clic en Finalizar.

Ahora deberíamos integrar nuestro Kinesis Firehose con el AWS Glue que creamos.

Vaya a AWS Kinesis firehose que creamos y haga clic en editar.

Desplácese hacia abajo hasta la sección Convertir formato de registro y elija Activado.

Elija el formato de salida como Apache Parquet. Para el resto de los detalles, complete los detalles de la base de datos de Glue que creó. Se debe crear una tabla en la base de datos y el nombre debe agregarse en esta sección. Clic en Guardar.

Paso 4: configuración de AWS Athena

Elija la base de datos y la tabla de datos que creó. En la sección de consulta se debe agregar este código.

table-name debe reemplazarse por el nombre real de la tabla Glue que creó.

Haga clic en Ejecutar consulta. Si funciona, los datos almacenados en el bucket de AWS S3 deben mostrarse como una tabla de datos.

Ahora estamos listos para visualizar los datos que obtuvimos.

Paso 5: Configurar QuickSight

Navegue a AWS Quicksight

Haga clic en Nuevo análisis en la esquina superior derecha y luego haga clic en Nuevo conjunto de datos.

Elija Athena de la lista. Ingrese cualquier nombre de fuente de datos en la tarjeta emergente.

Seleccione la base de datos de Glue del cuadro desplegable y la tabla correspondiente. Esto lo llevará a esta página.

Arrastre y suelte cualquier campo de la lista de campos y seleccione cualquier tipo visual.

¡Ahora puede visualizar cualquier dato enviado desde su MagicBit usando los servicios de AWS!

Recuerde permitir el acceso de vista rápida para los respectivos cubos de S3 para visualizar los datos en ellos.