Atril multimodal: 9 pasos (con imágenes)

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:44

El atril de música multimodal (MMMS) es una nueva forma de controlar la síntesis de audio y los efectos mientras se toca un instrumento tradicional (saxo, flauta, violín, lo que sea), y ofrece bastantes posibilidades adicionales para técnicas extendidas que se pueden usar mientras se toca. ! Ya hay una página web sobre nuestro proyecto grupal en UC Santa Bárbara en la que desarrollamos el MMMS, así que en lugar de repetir eso aquí, publicaré el enlace, ¡compruébalo! aquí, pero hay mejores videos en el sitio anterior … Multimodal se refiere a la capacidad de detectar la entrada en más de una modalidad (entrada de audio, entrada de video y entrada basada en sensor). La entrada de audio y video es bastante sencilla, involucra un micrófono normal y una cámara web conectada a su computadora, pero la entrada del sensor es un poco más compleja, de ahí este instructivo … Usamos la interfaz CREATE USB, un circuito simple que desarrollé para una clase Doy clases en UCSB, junto con el kit ThereminVision II para campo E (también conocido como detección capacitiva) como se muestra aquí: CREAR Interfaz USB Kit ThereminVisionII Si no sabe qué es un Theremin, hágase un favor y busque en Youtube, ganó. ¡No te decepciones! El MMMS es básicamente equivalente a 2 Theremins, ya que tiene 4 antenas de detección de campo E, además de la entrada de audio / video, por supuesto. Si está interesado en extender sus técnicas de interpretación con su instrumento interactuando con una computadora, pero No quiera usar pedales simples, ¡construya un atril multimodal y comience a practicar con él!

Paso 1: Acerca de la interfaz CREATE USB

La interfaz CREATE USB (CUI) es un circuito programable simple basado en PIC que puede construirse completamente con bricolaje, o puede obtener uno preconstruido directamente de mí por $ 50 (+ 5 para envío), y no necesitará para comprar un programador PIC ya que le puse el gestor de arranque … consulte el sitio web para obtener más detalles, o simplemente envíeme un correo electrónico para solicitar uno: CREAR el sitio web de la interfaz USB El CUI puede funcionar con muchas cosas diferentes, y ahora se ha utilizado en cientos proyectos interesantes en todo el mundo … algunos ejemplos de estudiantes de la UC Santa Bárbara se encuentran en este documento de la conferencia (PDF). El CUI se puede reprogramar a través del cable USB usando el cargador de arranque, por lo que es tan fácil de adaptar: simplemente cambie el firmware y es otra cosa Por ejemplo, es fácil convertir el CUI en una interfaz de sensor inalámbrico usando uno de los siguientes: los módulos Bluetooth de Spark Fun: si alguien está interesado en hacer esto, publique una nota en los comentarios solicitando otro instructivo. El CUI tiene 13 canales de entradas analógicas de 10 bits y 16 pines de entrada / salida de propósito general. El firmware predeterminado que se envía con las placas CUI v1.0 las envía todas como entradas a la computadora host y funciona bien con entornos interactivos de creación de arte como Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck, etc. una de las placas CUI v1.0 para construir el atril multimodal en este instructable. Usamos Max / MSP / Jitter como entorno, pero no dude en adaptarlo a Pd o al software que elija. Soy un gran admirador del código abierto (el CUI en sí mismo es de código abierto), ¡y ayuda mucho si todos nos apoyamos mutuamente y mejoramos las cosas que estamos haciendo!

Paso 2: Acerca del kit ThereminVision II

ThereminVision II está disponible como un kit ($ 50) y preconstruido ($ 80) en el sitio del proveedor, RobotLand, y también es de código abierto: el manual de ThereminVision II (PDF) incluye los diagramas de circuitos. Para el MMMS, compré el kit y luego decidí ir con el preconstruido esta vez (este es el segundo MMMS que he construido). Además, en caso de que se pregunte por qué no ofrezco un en forma de kit de la interfaz CREATE USB, es porque el cargador de arranque CUI tiene que ser programado con un programador PIC convencional antes de que se pueda enviar un nuevo firmware a través de USB; de lo contrario, definitivamente ofrecería un kit, aunque implicaría soldadura de montaje en superficie … Así que volvamos a el ThereminVision II: si lo compró en formato de kit, siga las (excelentes) instrucciones en el pdf: Manual de ThereminVision II Hay muchos diagramas agradables del cableado que deberá hacer, lo único que no muestra son las conexiones a la interfaz CREATE USB, así que publicaré las fotos que tomé en los próximos pasos … oh, y obtuve las antenas para ThereminVision (no incluidas) de All Electronics.

Paso 3: preparación del atril

Haga su atril de música multimodal con un bonito atril como el "atril de director" que se muestra aquí o utilice lo que tenga a mano; mejor aún, ¡haga el suyo propio!

Independientemente del soporte que utilice, necesitará soportes aislados para las cuatro antenas en las esquinas del soporte. Empiece por taladrar agujeros en las esquinas; el hardware de montaje que tenía por ahí funcionó con una broca de 1/4 , la suya probablemente será diferente. Trate de mantener la parte frontal de la superficie lo más nivelada posible para evitar interferencias con la partitura.

Paso 4: Conexión de los módulos del sensor ThereminVision

La conexión de los módulos de "sensor" de ThereminVision (circuitos de temporizador 555) al módulo de "procesador" de ThereminVision también se analiza con más detalle en el manual de ThereminVision II, pero aquí hay algunas fotos del proceso …

Paso 5: Conexión de ThereminVision a la interfaz CREATE USB

Como vimos en el último paso, hay 4 cables que conectan cada uno de los módulos de sensor al módulo del procesador ThereminVision. También hay 6 cables que conectan el módulo del procesador ThereminVision a la interfaz CREATE USB: son Alimentación, Tierra, Salida de sensor, Selección de sensor A, Selección de sensor B y Parada de sensor.

Dado que el ThereminVision II obtendrá su energía de la interfaz CREATE USB (que a su vez obtiene su energía de USB), decidí conectar la energía para cada uno de los módulos de sensor de ThereminVision directamente a la interfaz CREATE USB; esto lo hace un poco menos de un nido de pájaro en el cableado, ya que hay muchos cables que van a la placa del procesador TherminVision. Conecte "+" en el ThereminVision a "5V" en el CUI Conecte "-" en el ThereminVision a "GND" en el CUI Connect "4" (la salida dividida por 4) en el ThereminVision a "D7" en el CUI Connect "SEL B" en el ThereminVision a "D5" en el CUI conecte "SEL A" en el ThereminVision a "D4" en el CUI Conecte "S" en el ThereminVision a "D6" en el CUI

Paso 6: Montaje de todo en el soporte

Así que la electrónica está lista, ahora simplemente móntela en el soporte; hay muchos métodos para hacer esto, y es posible que desee poner sus dispositivos electrónicos en una caja protectora, etc.

Aquí hay algunas fotos de algunos de los métodos de montaje más simples.

Paso 7: carga de arranque del firmware para ThereminVision en la CUI

ThereminVision envía señales de temporización para sus sensores en lugar de salidas analógicas (o cualquiera de los protocolos digitales estándar como I2C o SPI). Así que se necesitaba un firmware personalizado para medir la sincronización de estas señales … La primera versión del firmware del soporte musical multimodal se encuentra en el archivo zip a continuación, se incluyen tanto el código fuente como el archivo hexadecimal compilado (junto con un parche de prueba para Max / MSP / Jitter): firmware CUI-ThereminVision La captura de pantalla siguiente muestra el programa de OS X Boot Down de Craig Schimmel, una utilidad de carga de arranque de Macintosh para CUI. Si está en Windows, lo más fácil es usar la herramienta propia de Microchip, PDFSUSB.exe, que se puede descargar de su sitio web, o que se incluye en este código de ejemplo para la interfaz CREATE USB. Para poner el CUI en "modo de cargador de arranque", mantenga presionado el botón de programa y presione el botón de reinicio (o simplemente conecte el cable USB mientras mantiene presionado el botón de programa). El LED de estado de la CUI parpadeará continuamente para indicar que está en modo de cargador de arranque. Ahora puede usar Boot Down para enviar el archivo CUIEfieldBootDown.hex a la interfaz CREATE USB. Si alguna vez desea cambiar el firmware de la interfaz CREATE USB al original, está aquí, y hay otros ejemplos de firmware para la interfaz CREATE USB. CUI aquí también.

Paso 8: Prueba del atril multimodal en Max / MSP / Jitter

Abra el parche de ejemplo en Max / MSP / Jitter (se puede descargar una demostración de 30 días desde www.cycling74.com, y también está disponible una versión "runtime" que no permite guardar parches), o siga las convenciones en el parche Max y cree su propio parche en PureData (Pd)… Jitter se usa para mostrar la posición 3D de las entradas gestuales, donde el eje z (hacia y lejos del soporte) se asigna a la intensidad general de las 4 antenas - no muy científico, ¡pero funciona! Los datos de los sensores individuales también se envían como OSC a 127.0.0.1 (localhost) para su uso por otras aplicaciones si es necesario. Un objeto útil en Max / MSP / Jitter para filtrar picos de los datos del sensor (causados por interferencias eléctricas) es el "más suave" de Tristan Jehan, que se puede descargar aquí: objeto máximo más suave El sitio de Tristan también tiene un montón de elementos externos de MSP para Max que usamos para la parte de análisis de audio de la entrada del atril multimodal: incluyen tono ~, volumen ~, brillo ~, ruido ~ y el objeto analizador todo en uno ~. Una vez que tenga datos que ingresen a Max, deberá ajustar la sensibilidad de los sensores ThereminVision individualmente con un pequeño destornillador. Haga esto extendiendo las antenas por completo, luego gire el trimpot azul en sentido antihorario hasta que entre en el modo de "detección inversa", luego gírelo hacia atrás en el sentido de las agujas del reloj hasta que vuelva al rango de detección normal. Se pueden hacer pequeños ajustes (afinar la sensibilidad, como afinar una guitarra) cambiando la longitud de las antenas, por lo que no necesitará llevar el destornillador diminuto a los conciertos.

Paso 9: ¡Uso del atril multimodal en interpretación! (y extendiéndolo)

¡No olvides que las nuevas técnicas de interpretación que permite el atril multimodal necesitan práctica y desarrollo de nuevos mapeos e ideas para lo que quieres controlar con él! Además, si quieres ampliar tu MMMS para incorporar otro tipo de sensores, será posible usar las 13 entradas analógicas en el CUI además de los sensores ThereminVision en futuras versiones del firmware MMMS, por lo que con algunos sensores simples (deslizadores / perillas / pedales) u otros tipos de sensores (IR / ultrasonido / etc.), estos se pueden usar junto con la entrada de audio y video a la computadora. Actualmente, el firmware usa un protocolo "serial-over-USB", pero eventualmente el plan es cambiar al protocolo "HID" (Dispositivo de entrada humana) que normalmente usa la interfaz CREATE USB. Siéntase libre de contribuir al esfuerzo … Existe un proyecto de código abierto similar para la detección de campo E (también conocido como detección capacitiva) que usa la misma topología de circuito (basada en el diseño de ThereminVision) llamado CapToolKit - usa el "hermano pequeño "del PIC18F4550, el PIC18F2550 que no tiene tantas entradas analógicas (10 en lugar de 13). El firmware para CapToolKit será ligeramente diferente ya que no usan la placa del procesador ThereminVision. Usamos una cámara Firewire simple (estilo webcam) montada en la parte superior del atril para el reconocimiento óptico de gestos físicos y detección de miradas - Si usted Si está interesado en los aspectos de visión artificial o análisis de audio y síntesis de la investigación de nuestro grupo, consulte los artículos en el sitio web de Multimodal Music Stand. Y por favor publique sus experiencias si construye un atril multimodal… Ahora tenemos dos de ellos en UCSB como se muestra en la foto de abajo - ¡sería genial tener más composiciones, actuaciones y músicos usándolos! La Dra. JoAnn Kuchera-Morin escribió la primera composición que involucra el MMMS, que fue interpretada por la flautista Jill Felber en la Eastman School of Music en marzo de 2007.