Procesamiento cuantimétrico de imágenes: 5 pasos

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:43

(La figura anterior ilustra la comparación del método de procesamiento de imágenes existente con el procesamiento de imágenes cuantimétricas. Tenga en cuenta el resultado mejorado. La imagen superior derecha muestra artefactos extraños que provienen de la suposición incorrecta de que las imágenes miden algo como la luz. La imagen inferior derecha muestra mejores resultados al hacer lo mismo cuantimétricamente.)

En este Instructable, aprenderá cómo mejorar en gran medida el rendimiento de los sistemas de detección de imágenes o de visión existentes mediante el uso de un concepto muy simple: detección de imágenes cuantimétricas

El procesamiento de imágenes cuantimétricas mejora en gran medida cualquiera de los siguientes:

• Procesamiento de imágenes existente, como eliminación de imágenes borrosas;
• Aprendizaje automático, visión por computadora y reconocimiento de patrones;
• Reconocimiento facial portátil (ver https://wearcam.org/vmp.pdf), visión basada en IA y HI, etc.

La idea básica es preprocesar y postprocesar cuantimétricamente las imágenes, de la siguiente manera:

1. Amplíe el rango dinámico de la imagen o imágenes;
2. Procese la imagen o imágenes como lo haría normalmente;
3. Comprima el rango dinámico de la imagen o imágenes (es decir, deshaga el paso 1).

En Instructables anteriores, enseñé algunos aspectos de la detección HDR (Alto rango dinámico) y la detección cuantimétrica, p. Ej. linealidad, superposición, etc.

Ahora pongamos en práctica este conocimiento.

Tome cualquier proceso existente que le gustaría utilizar. El ejemplo que mostraré es la eliminación de imágenes borrosas, pero también puede usarlo para casi cualquier otra cosa.

Paso 1: expanda el rango dinámico de su imagen o imágenes

(Figuras adaptadas de "Procesamiento inteligente de imágenes", John Wiley and Sons Interscience Series, Steve Mann, noviembre de 2001)

El primer paso es expandir el rango dinámico de la imagen de entrada.

Idealmente, primero debe determinar la función de respuesta de la cámara, f, y luego aplicar la respuesta inversa, f inversa, a la imagen.

Las cámaras típicas tienen un rango dinámico de compresión, por lo que normalmente queremos aplicar una función expansiva.

Si no conoce la función de respuesta, comience por probar algo simple, como cargar la imagen en una matriz de imágenes, convertir las variables a un tipo de datos como (flotante) o (doble) y elevar cada valor de píxel a un exponente., como, por ejemplo, cuadrar cada valor de píxel.

Razón fundamental:

¿Por qué estamos haciendo esto?

La respuesta es que la mayoría de las cámaras comprimen su rango dinámico. La razón por la que hacen esto es que la mayoría de los medios de visualización amplían el rango dinámico. Esto es bastante por accidente: la cantidad de luz emitida por una pantalla de televisión de tubo de rayos catódicos es aproximadamente igual al voltaje elevado al exponente de 2.22, de modo que cuando la entrada de voltaje de video está aproximadamente a la mitad, la cantidad de luz emitida es mucho menos de la mitad.

Los medios fotográficos también son expansivos de rango dinámico. Por ejemplo, una tarjeta gris "neutra" fotográfica emite el 18% de la luz incidente (no el 50% de la luz incidente). Esta cantidad de luz (18%) se considera que está en el medio de la respuesta. Como puede ver, si miramos un gráfico de salida como una función de entrada, los medios de visualización se comportan como si fueran pantallas lineales ideales que contienen un expansor de rango dinámico antes de la respuesta lineal ideal.

En la figura superior, arriba, puede ver la pantalla encuadrada con una línea de puntos, y es equivalente a tener un expansor antes de la pantalla lineal ideal.

Dado que las pantallas son inherentemente expansivas, las cámaras deben diseñarse para ser compresivas para que las imágenes se vean bien en las pantallas existentes.

En los viejos tiempos, cuando había miles de pantallas de receptores de televisión y solo una o dos estaciones de transmisión (por ejemplo, solo una o dos cámaras de televisión), era una solución más fácil poner una no linealidad compresiva en la cámara que recuperar todos los televisores y Ponga uno en cada receptor de televisión.

Por accidente, esto también ayudó con la reducción del ruido. En audio, lo llamamos "Dolby" ("companding") y le otorgamos una patente. En video sucedió totalmente por accidente. Stockham propuso que deberíamos tomar el logaritmo de las imágenes antes de procesarlas y luego tomar el antilogaritmo. De lo que no se dio cuenta es de que la mayoría de las cámaras y pantallas ya lo hacen por casualidad. En cambio, lo que propuse es que hagamos exactamente lo contrario de lo que propuso Stockham. (Consulte "Procesamiento inteligente de imágenes", John Wiley and Sons Interscience Series, páginas 109-111).

En la imagen inferior, puede ver el procesamiento de imagen anti-homomórfico (cuantimétrico) propuesto, donde hemos agregado el paso de expansión y compresión del rango dinámico.

Paso 2: procese las imágenes o realice la visión por computadora, el aprendizaje automático o similares

El segundo paso, después de la expansión del rango dinámico, es procesar las imágenes.

En mi caso, simplemente realicé una deconvolución de la imagen, con la función de desenfoque, es decir, desvanecimiento de la imagen, como se conoce comúnmente en la técnica anterior.

Hay dos categorías amplias de detección de imágenes cuantimétricas:

• Ayudar a la gente a ver;
• Ayudar a las máquinas a ver.

Si estamos tratando de ayudar a la gente a ver (que es el ejemplo que estoy mostrando aquí), todavía no hemos terminado: necesitamos llevar el resultado procesado de vuelta al espacio de imágenes.

Si estamos ayudando a las máquinas a ver (por ejemplo, el reconocimiento facial), hemos terminado ahora (no es necesario continuar con el paso 3).

Paso 3: recomprima el rango dinámico del resultado

Cuando trabajamos en un rango dinámico expandido, se dice que estamos en un "espacio de luz" (espacio de imágenes cuantimétricas).

Al final del Paso 2, estamos en el espacio de luz y necesitamos volver al espacio de imágenes.

Así que este paso 3 trata de volver al espacio de imágenes.

Para realizar el paso 3, simplemente comprima el rango dinámico de la salida del paso 2.

Si conoce la función de respuesta de la cámara, simplemente aplíquela para obtener el resultado, f (p (q)).

Si no conoce la función de respuesta de la cámara, simplemente aplique una buena suposición.

Si elevó al cuadrado los píxeles de la imagen en el paso 1, ahora es el momento de tomar la raíz cuadrada de cada píxel de la imagen para volver a su conjetura con respecto al espacio de imágenes.

Paso 4: es posible que desee probar otras variaciones

La eliminación de borrosidad es solo uno de los muchos ejemplos posibles. Considere, por ejemplo, la combinación de múltiples exposiciones.

Tome dos fotografías como las que tengo arriba. Uno fue secuestrado durante el día y el otro durante la noche.

Combínalos para hacer una imagen similar a la del crepúsculo.

Si solo los promedia juntos, parece basura. ¡Pruébelo usted mismo!

Pero si primero expande el rango dinámico de cada imagen, luego las agrega y luego comprime el rango dinámico de la suma, se verá genial.

Compare el procesamiento de imágenes (agregar las imágenes) con el procesamiento de imágenes cuantimétrico (expandir, agregar y luego comprimir).

Puede descargar mi código y más material de ejemplo desde aquí:

Paso 5: yendo más allá: ahora pruébelo con compuestos de imágenes HDR

(Imagen superior: el casco de soldadura HDR utiliza procesamiento de imágenes cuantimétricas para superposiciones de realidad aumentada. Consulte Slashgear 2012 el 12 de septiembre).

En resumen:

capturar una imagen y aplicar los siguientes pasos:

1. ampliar el rango dinámico de la imagen;
2. procesar la imagen;
3. comprimir el rango dinámico del resultado.

Y si desea un resultado aún mejor, intente lo siguiente:

capturar una pluralidad de imágenes expuestas de manera diferente;

1. expandir el rango dinámico en el espacio de luz, según mi Instructable anterior en HDR;
2. procesar la imagen cuantimétrica resultante, q, en el espacio de luz;
3. comprimir el rango dinámico a través del mapeo de tonos.

Diviértase y haga clic en "Lo logré" y publique sus resultados, y estaré encantado de comentar o brindar ayuda constructiva.