Parte 2. Modelo ThinkBioT con Google AutoML: 8 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:42

ThinkBioT está diseñado para ser "Plug and Play", con modelos TensorFlow Lite compatibles con Edge TPU.

En esta documentación, cubriremos la creación de espectrogramas, el formateo de sus datos y el uso de Google AutoML.

El código de este tutorial se escribirá en bash, por lo que será compatible con varias plataformas.

Dependencias

• Sin embargo, antes de comenzar, deberá instalar Sox, un programa de audio de línea de comandos compatible con dispositivos Windows, Mac y Linux.
• Si está en un dispositivo Windows, la forma más fácil de ejecutar scripts de bash es a través de Git, por lo que recomendaría descargarlo e instalarlo, ya que es útil de muchas maneras.
• Para editar el código, use su editor favorito o instale NotePad ++ para Windows o Atom para otros sistemas operativos.

** Si tiene un modelo de TensorFlow existente o le gustaría intentar transferir el aprendizaje con un modelo existente, consulte la documentación de Google Coral.

Paso 1: configurar un depósito de almacenamiento en la nube de Google

1. Inicie sesión en su cuenta de Gmail (o cree una si no tiene una cuenta de Google)

2. Vaya a la página de selección de proyectos y cree un nuevo proyecto para sus archivos de modelo y espectrograma. Deberá habilitar la facturación para seguir avanzando.

3. Visite https://cloud.google.com/storage/ y presione el botón Crear depósito en la parte superior de la página.

4. Ingrese el nombre de su depósito deseado y cree el depósito aceptando la configuración predeterminada.

Paso 2: formatee sus datos y cree un conjunto de datos Csv

He diseñado un script útil para crear su archivo dataset.csv necesario para crear su modelo. El archivo del conjunto de datos vincula las imágenes de su depósito con sus etiquetas en el conjunto de datos.

1. Descargue el repositorio ThinkBioT de GitHub y

2. Copie el archivo tbt_spect_example.sh del directorio Tools a una nueva carpeta en su escritorio.

3. Agregue los archivos de audio que le gustaría usar en su modelo, colocándolos en carpetas que tengan su etiqueta (es decir, en qué le gustaría que estén ordenados. Por ejemplo, si desea identificar perros o gatos, puede tener una carpeta perro, con sonidos de ladridos O carpeta llamada gato con sonidos de gato etcetc.

4. Abra tbt_spect_example.sh con Notepad ++ y reemplace "yourbucknamename" en la línea 54 con el nombre de su Google Storage Bucket. Por ejemplo, si su depósito se llamara myModelBucket, la línea se cambiaría a

bucket = "gs: // myModelBucket / spectro-data /"

5. Ejecute el código escribiendo lo siguiente en su terminal Bash, el código se ejecutará y creará su archivo csv de etiquetas y un directorio llamado spectro-data en su escritorio con los espectrogramas resultantes.

sh tbt_spect_example.sh

Paso 3: cargue sus espectrogramas a su depósito

Hay algunas formas de cargar en Google Storage, la más fácil es realizar una carga directa de la carpeta;

1. Haga clic en el nombre de su depósito en su página de Google Storage.

2. Seleccione el botón "CARGAR CARPETA" y elija su directorio "spectro-data /" creado en el último paso.

O

2. Si tiene una gran cantidad de archivos, puede crear manualmente el directorio "spectro-data /" seleccionando "CREAR CARPETA", luego navegue hasta la carpeta y seleccione "CARGAR ARCHIVOS". Esta puede ser una excelente opción para grandes conjuntos de datos, ya que puede cargar los espectrogramas en secciones, incluso usando varias computadoras para aumentar la velocidad de carga.

O

2. Si es un usuario avanzado, también puede cargar a través de Google Cloud Shell;

gsutil cp spectro-data / * gs: // nombre-de-su-depósito / spectro-data /

¡Ahora debería tener un cubo lleno de bonitos espectrogramas!

Paso 4: Cargue su conjunto de datos Csv

Ahora tenemos que cargar el archivo model-labels.csv a su directorio "spectro-data /" en Google Storage, es esencialmente lo mismo que el último paso, solo está cargando un solo archivo en lugar de muchos.

1. Haga clic en el nombre de su depósito en su página de Google Storage.

2. Seleccione el botón "SUBIR ARCHIVO" y elija el archivo model-labels.csv que creó anteriormente.

Paso 5: crear un conjunto de datos

1. En primer lugar, deberá encontrar la API de AutoML VIsion, ¡puede ser un poco complicado! La forma más sencilla es buscar "visión automática" en la barra de búsqueda de su almacenamiento de Google Cloud (en la imagen).

2. Una vez que haga clic en el enlace de la API, deberá habilitar la API.

3. Ahora estará en el panel de AutoML Vision (en la imagen), haga clic en el botón Nuevo conjunto de datos y seleccione Etiqueta única y la opción 'Seleccionar un archivo CSV'. Luego, incluirá el enlace a su archivo model-labels.csv en su depósito de almacenamiento. Si ha seguido este tutorial, será como se indica a continuación.

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Luego presione continuar para crear su conjunto de datos. Puede llevar algún tiempo crearlo.

Paso 6: crea tu modelo de AutoML

Una vez que haya recibido su correo electrónico informándole que se ha creado su conjunto de datos, estará listo para crear su nuevo modelo.

1. Presione el botón TRAIN
2. Seleccione el tipo de modelo: Estimaciones de latencia de Edge y Model: Edge TPU y deje las otras opciones como predeterminadas inicialmente, aunque es posible que desee experimentar con ellas más adelante.
3. Ahora tu modelo se entrenará, tomará algo de tiempo y recibirás un correo electrónico cuando esté listo para descargar.

Nota: Si el botón de entrenamiento no está disponible, es posible que tenga problemas con su conjunto de datos. Si tiene menos de 10 de cada clase (etiqueta), el sistema no le permitirá entrenar un modelo, por lo que es posible que deba agregar imágenes adicionales. Vale la pena echar un vistazo a Google AutoML Video si necesita una aclaración.

Paso 7: prueba tu modelo

Una vez que reciba el correo electrónico de finalización de su modelo, haga clic en el enlace para volver a la API de AutoML Vision.

1. Ahora podrá ver sus resultados y la matriz de confusión de su modelo.

2. El siguiente paso es probar su modelo, vaya a 'TEST & USE' o 'PREDICT'. Curiosamente, parece que hay 2 GUI de usuario, las cuales he imaginado, pero ambas opciones tienen la misma funcionalidad.

3. Ahora puede cargar un espectrograma de prueba. Para hacer un único espectrograma, puede usar el programa tbt_make_one_spect.sh de ThinkBioT Github. Simplemente colóquelo en una carpeta con el wav que desea convertir en un espectrograma, abra una ventana (o terminal) de Git Bash y use el código a continuación, sustituyendo su nombre de archivo.

sh tbt_make_one_spect.sh yourWavName.wav

4. ¡Ahora simplemente cargue el espectrograma y verifique su resultado!

Paso 8: instale su modelo en ThinkBioT

Para usar su nuevo modelo brillante, simplemente coloque el modelo y el archivo txt en la carpeta CModel;

pi> ThinkBioT> ClassProcess> CModel

Ahora está listo para usar ThinkBioT:)

** NB ** Si está utilizando su modelo fuera del marco ThinkBioT, necesitará editar su documento de etiqueta como agregar números al comienzo de cada línea, ya que la función "readlabels" incorporada de los intérpretes tflite más reciente asume que están allí. He escrito una función personalizada en el marco ThinkBioT classify_spect.py como una solución que puede utilizar en su propio código:)

def ReadLabelFile (ruta_archivo):

counter = 0 with open (file_path, 'r', encoding = 'utf-8') as f: lines = f.readlines () ret = {} for line in lines: ret [int (counter)] = line.strip () contador = contador + 1 retorno ret