PiTextReader: un lector de documentos fácil de usar para personas con problemas de visión: 8 pasos (con imágenes)

2024 Autor: John Day | [email protected]. Última modificación: 2024-01-30 08:43

Visión general

Actualización: breve demostración de vídeo:

PiTextReader permite que alguien con problemas de visión "lea" texto de sobres, cartas y otros elementos. Toma una instantánea de una imagen del elemento, la convierte a texto sin formato mediante OCR (reconocimiento óptico de caracteres) y luego dice el texto mediante la conversión de texto a voz.

El lector está diseñado para que su uso sea lo más sencillo posible. No se necesita Internet, no hay interfaz gráfica, solo un botón. Simplemente coloque el artículo a leer en el soporte y presione un botón. Después de unos momentos, se les volverá a leer el texto.

Diseñé esto para un padre anciano con problemas de la vista como la degeneración macular, pero se puede usar de manera más amplia para cualquiera que desee traducir un texto impreso en audio.

Hay muchos lectores disponibles, aunque la mayoría cuesta miles de dólares o son para alguien que es experto en tecnología y requiere conectividad a Internet y el uso de un teléfono inteligente. Este lector está diseñado para ser completamente autónomo sin Internet y sin una interfaz que no sea un gran botón pulsador.

Pros

• Un botón para controlar
• No se requiere conexión a Internet
• Sin interfaz gráfica de usuario para navegar
• Costo total menos de $ 100
• Siempre listo para ir

Contras

• El OCR puede estar limitado debido a las fuentes, los colores, el tamaño del texto, etc.
• El habla suena como Stephen Hawking
• Funciona mejor para pequeñas secciones de texto negro sobre papel blanco.

Paso 1: hardware

• Raspberry Pi 3 (¡necesita los caballos de fuerza!)
• 8GB + tarjeta micro SD
• Fuente de alimentación 5v 2A DC para Raspberry
• Cámara Raspberry Pi (Regular o NoIR)
• Cable de cámara Raspberry Pi de 24 pulgadas
• Soporte de cámara o estuche https://www.adafruit.com/product/3253 o
• Herramienta de ajuste de lentes (para enfocar la cámara)
• Altavoz mono alimentado por USB (se prefiere un tamaño pequeño)
• Botón pulsador grande - momentáneo con LED
• Resistencia de 330 ohmios para el LED del botón anterior
• Caja de madera de 20 x 20 x 5 cm de Michaels u otras grandes tiendas de suministros de arte.
• Madera de desecho para la construcción del soporte de la cámara:
• Tira plana de 8 "Lx1" Wx1 / 2 "T
• Tira plana de 5 "Lx1" Wx1 / 4 "T
• Clavija cuadrada de 6 "Lx1 / 2" x1 / 2 "para una guía de ubicación
• Tornillos, pegamento, alambre, soldadura, etc.

Paso 2: Construcción del hardware

Usando la caja de 8 "x8":

1. Taladre un orificio en la parte posterior para el cable de alimentación.

2. Taladre un orificio en la esquina delantera derecha para el botón momentáneo 3. Taladre orificios para el altavoz. (vea el paso de audio 12 a continuación)

4. Utilicé una tira de aluminio de 2”x1 / 4” x13”para el soporte de la cámara, pero las tiras de madera también funcionan.

una. Monte la tira de madera plana de 8”en la parte posterior de la TAPA de la caja. (asegúrese de que esté adherido a la TAPA y no al fondo de la caja, de lo contrario no podrá abrirlo).

B. Monte la tira de madera plana de 5”en la parte superior de la vertical de 8” con tornillos y pegamento. TENGA EN CUENTA que la altura de la cámara determina el tamaño del documento y el enfoque necesario. Es posible que desee subir más alto para documentos de área más grande.

5. Corte una hendidura de 1”x1 / 16” en la parte superior de la caja cerca de la vertical de 8”para que pase el cable de la cámara.

NOTA: Para la electrónica, sugiero NO montar permanentemente los componentes todavía, para que pueda hacer ajustes fácilmente.

6. Conecte el cable de la cámara de 24”a la cámara. NO SE CONECTE A LA FRAMBUESA todavía.

Paso 3: continuación del hardware …

7. Monte la cámara mirando hacia abajo desde el extremo de la tira de madera de 5”. ¡Sugiero esperar antes de colocar la cámara en su estuche para que pueda enfocar la lente más fácilmente una vez que esté funcionando!

Para el enfoque inicial, utilice la herramienta de ajuste y gire la lente 1/4 en sentido antihorario. girar.

8. Pase el cable de la cámara por la ranura y luego conéctelo al Pi. (¡Asegúrate de que Pi esté APAGADO!)

9. Instale el botón momentáneo y conecte los cables entre él y los pines 24 y GND de Pi GPIO. Y conecte el LED del botón a través de una resistencia de 220 ohmios a los pines 18 y GND de Pi GPIO.

10. Ejecute la fuente de alimentación en la caja y conéctela al Pi. Debe usar un protector contra tirones, como pegamento termofusible o similar, para tapar el orificio de la caja de modo que el cable no se salga.

Paso 4: Instalación del hardware de audio…

11. Para el audio, utilicé un altavoz mono que usaba alimentación USB y audio con miniconector. Quité los componentes electrónicos y el altavoz de la caja de plástico original y enchufé el conector de audio al conector de audio Pi y el cable USB al Pi USB. También reemplacé el pequeño altavoz original por uno más grande de 3”para obtener una calidad de sonido mucho mejor.

Desde que monté el altavoz debajo de la tapa de la caja, hice varios agujeros pequeños en forma de rejilla de altavoz.

12. Finalmente, verifique las conexiones, particularmente el cable de la cámara y las conexiones GPIO.

NO ENCIENDA EL PI TODAVÍA. Continúe con la configuración del software primero …

No hay un interruptor de encendido / apagado, ya que se supone que el Pi debería estar funcionando todo el tiempo para que esté listo para leer algo de inmediato. Solo usa unos pocos vatios y puede funcionar las 24 horas del día, los 7 días de la semana sin problemas.

Es posible que la tarjeta SD se dañe si se desenchufa o se produce un corte de energía, pero es poco común. Todavía nunca he tenido una tarjeta SD que no se pueda arrancar. Pero no lo conecte a una regleta que se apaga / enciende con regularidad.

Paso 5: Instalación y configuración del sistema operativo

Formatee una tarjeta microSD de 8 GB o más con Raspbian Jessie (o Stretch) Lite (sin GUI para este proyecto).

www.raspberrypi.org/downloads/raspbian/

Deberá acceder a la Raspberry de forma remota a través de SSH. En Windows, puede utilizar el programa de terminal PUTTY SSH. En Mac, simplemente abra una ventana de terminal de comandos. Alternativamente, puede conectar temporalmente un teclado y un monitor HDMI solo para construirlo, pero SSH facilita el trabajo más adelante.

Si instala Raspbian Jessie en una tarjeta SD usando una PC con Windows, puede crear dos archivos en la tarjeta para configurar el acceso WiFi y SSH antes de iniciarlo en una Raspberry.

Para esto, asuma que su tarjeta SD está actualmente montada como K: en su PC:

1) Instale la última imagen de Raspbian Jessie en la SD. Para este proyecto, Jessie Lite debería funcionar.

2) Con el bloc de notas, cree un archivo llamado simplemente "ssh" y use Guardar como "Todos los archivos" en K: / ssh. El archivo puede contener cualquier cosa. Lo importante es el nombre del archivo. ¡¡¡NO debe ser "ssh.txt" !!!

3) Con el bloc de notas, cree un archivo llamado "wpa_supplicant.conf" con lo siguiente:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

red = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Utilice Guardar como "Todos los archivos" en K: / wpa_supplicant.conf ¡¡Nuevamente, no permita que el Bloc de notas lo cambie a "wpa_supplicant.conf.txt" !!

Cuando inicie la Raspberry por primera vez, Jessie los buscará y se conectará a su Wifi. Sin embargo, tendrá que buscar en su enrutador la dirección IP, ya que se asigna automáticamente mediante DHCP.

Ahora listo para instalar en tu Pi:

1. Inserte la tarjeta microSD en el Pi y conecte la alimentación ahora.

2. Para iniciar sesión de forma remota en su Raspberry Pi, deberá encontrar su dirección IP. Puedes probar:

$ ssh [email protected]

O desde Putty, ingrese el nombre de host: [email protected]

De lo contrario, necesitará ver si su enrutador mostrará las direcciones IP de sus dispositivos locales.

Una vez que haya iniciado sesión como usuario pi:

3. Actualice su sistema operativo Raspbian:

$ sudo apt actualización

Actualización de $ sudo apt

4. Configure la Raspberry y habilite la cámara:

$ sudo raspi-config

una. Cambiar contraseña de usuario

B. Opciones de interfaz -> Cámara -> Habilitar

C. Terminar

D. Reiniciar

Paso 6: instalación del software de la aplicación

Ahora vuelva a iniciar sesión en su Pi y estará listo para instalar la aplicación PiTextReader.

1. Instale el software inicial requerido: $ sudo apt install git –y

2. Descargue el software:

$ cd / home / pi

$ git clon

$ cd PiTextReader

$ sh install.sh

Puede volver a ejecutar de forma segura install.sh varias veces, si es necesario.

3. Coloque un documento simple para leer y ejecute el programa de prueba que establece el volumen, reproduce audio de texto a voz y toma una foto.

$ sh test.sh

Si recibe algún mensaje de error, consulte Solución de problemas a continuación. Edite el programa test.sh para ajustar el volumen si es necesario.

4. El programa de prueba guarda una foto en "test.jpg". Deberá copiar esta imagen a una PC para que pueda ver el enfoque y el campo de visión. Una forma rápida y sucia de hacer esto es iniciar un pequeño servidor web en su Pi y usar un navegador:

$ python -m SimpleHTTPServer 8080 y

Luego navegue hasta https:// {IPaddress}: 8080 /

Haga clic en test.jpg

Utilice la herramienta de ajuste de la lente para enfocar la cámara.

Vuelva a ejecutar el programa test.sh tantas veces como sea necesario.

NOTA: si necesita ajustar la configuración de la cámara raspistill, también deberá editar el programa pitextreader.py con la nueva configuración.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reiniciar

El Pi debería aparecer y funcionar automáticamente, listo para funcionar.

Paso 7: Operación

Cuando inicie el Pi, escuchará un "OK Listo" y verá cómo se ilumina el LED del botón.

Cada vez que se enciende el LED, la unidad está lista para funcionar.

Coloque un poco de texto impreso debajo de la cámara, preferiblemente solo unas pocas líneas de texto negro en papel blanco.

Tenga en cuenta que la cámara no necesita mucha luz, especialmente la NoIR. La luz ambiental de la habitación estaba bien para la mía. Demasiada luz provoca una iluminación desigual y distorsiona el OCR.

Presiona el botón.

El LED debe iluminarse y debe sonar un clic de la cámara, así como un mensaje de "OK funcionando".

Después de unos segundos, se debería leer el texto. Si el texto está distorsionado, el tipo de letra es demasiado oscuro o demasiado claro, de lado o al revés, ¡el resultado será un discurso insoportable!

Puede tomar entre 5 y 30 segundos convertir y comenzar a leer, así que tenga paciencia. Cuanto más texto, más tiempo tarda.

Si necesita dejar de leer, puede presionar el botón mientras el audio aún se está reproduciendo (el LED está apagado).

Una vez que se completa el discurso, después de un par de segundos, el LED se vuelve a encender y escuchará "OK Listo" nuevamente. Está listo para realizar otro escaneo.

Tenga en cuenta que la distancia a la que está configurada la cámara para la cámara Raspi y solo para una parte de un documento de 8 x 10. Descubrí que es mejor leer partes de un documento a la vez, ya que las páginas completas pueden ser difíciles de escuchar. Muchas de las cosas que se deben leer son textos más pequeños, por lo que si la cámara está demasiado lejos, no se puede resolver.

Para solucionar problemas, consulte a continuación, en particular, la sección ESCANEO Y OCR

Si todo está bien, monte permanentemente todos los componentes para completar la construcción.

Paso 8: solución de problemas

1. CÁMARA

Verifique que la cámara esté habilitada mediante

$ sudo raspi-config

Opciones de interfaz -> Cámara

Vuelva a colocar el cable plano, ya que es delicado y debe estar alineado exactamente. Si es necesario, busque en Google "solución de problemas de la cámara raspberry pi" para buscar problemas similares. También busque en Google el mensaje de error que recibe al ejecutar el programa test.sh.

2. AUDIO

¿Tienes volumen arriba?

$ sudo amixer -q sset PCM, 0100%

Ejecutar prueba de audio

$ aplay /usr/share/sounds/alsa/Front_Center.wav

¿Todavía no hay audio? Forzar la salida de audio por el conector:

$ sudo raspi-config Opciones avanzadas -> Audio -> Forzar conector de auriculares

3. DISCURSO

Si el audio de arriba suena bien, intente:

$ flite -t PRUEBA

Mensajes de error de Google, si los hay.

Vuelva a ejecutar install.sh

Sí, el discurso suena un poco a Stephen Hawking.

4. ESCANEO Y OCR

Esta es la mayor área de ajuste necesaria. Para que el OCR funcione correctamente, la imagen de la cámara debe ser de buena calidad; el documento debe estar suavemente iluminado, aunque no necesariamente brillante.

El texto debe ser plano y claro. No todas las fuentes son legibles.

Para verificar la calidad, examine los dos archivos:

/tmp/text.txt y /tmp/image.jpg

Puede iniciar el pequeño servidor web y utilizar un navegador:

$ cd / tmp $ python -m SimpleHTTPServer 8080 &

El texto de la imagen debe ser sencillo y legible. La imagen debe estar hacia arriba, con buen contraste y enfocada. Es posible que deba voltear el documento si está al revés. (Recuérdele al usuario que si escuchan un chillido, intente voltear el documento). Si la imagen tiene poco contraste, tendrá que mejorar la iluminación, demasiada o muy poca puede causar problemas. La iluminación desigual también provocará que algunas partes del texto fallen. Puede encontrar más ayuda buscando en Google "tesseract-ocr help"

5. MONITOR / TECLADO HDMI

Sí, puede conectar un teclado y un monitor al Pi, especialmente. si no puede encontrar la dirección IP o no puede acceder a través de SSH. No hay una interfaz GUI y esto puede apagar el sonido a menos que su monitor tenga un altavoz.

6. INTERNET / WIFI

Si el WIFI no funciona, puede conectar temporalmente un cable Ethernet y usarlo.

Este proyecto no necesita Internet o WiFi una vez que haya completado la instalación y configuración.