PACI Media Lab · PACI-2026
Comunicación asistida accesible mediante visión por computadora y gestos faciales calibrados.
PACI Assist es un prototipo de escritorio que permite componer y reproducir mensajes usando un teclado virtual con escaneo automático y selección por gestos faciales, sin hardware especializado ni conexión obligatoria a internet.
Prototipo en ejecución: teclado virtual, cámara, modo de escaneo y frases guardadas.
Diagnóstico
El problema no es solo técnico: también es económico, social y de accesibilidad.
Las soluciones comerciales de comunicación asistida suelen requerir hardware especializado y costos elevados. Esto limita su adopción en hogares y centros de rehabilitación con recursos reducidos. PACI Assist busca responder con software local, accesible y adaptable al usuario.
Solución elegida
Un sistema local, modular y orientado a capacidades residuales.
La propuesta integra un teclado virtual matricial, escaneo automático por filas y columnas, visión computacional con MediaPipe, calibración personalizada y síntesis de voz offline. Todo el procesamiento ocurre en el equipo del usuario para proteger privacidad y reducir dependencia de servicios externos.
- Procesamiento local de cámara, sin almacenamiento de imágenes.
- Interfaz accesible con botones grandes y contraste alto.
- Calibración por usuario para adaptar el gesto de selección.
- Síntesis de voz offline para reproducir mensajes.
Arquitectura técnica
Cinco módulos principales de PACI Assist
Interfaz gráfica
Ventana principal, teclado virtual, área de texto, historial, estado del sistema y vista de cámara.
Motor de escaneo
Recorrido fila/columna, selección por barra espaciadora y control de avance del teclado virtual.
Visión computacional
Captura de cámara, detección facial con MediaPipe y cálculo de métricas faciales.
Calibración
Registro del gesto neutro y del gesto de selección para adaptar el sistema al usuario.
Síntesis de voz
Reproducción offline del mensaje compuesto y persistencia local del historial.
Base técnica del prototipo
De una cámara común a una interacción accesible
PACI Assist convierte gestos faciales calibrados en eventos de selección dentro de un teclado virtual, manteniendo el procesamiento en la computadora del usuario.
Reconocer intención sin hardware especial
El sistema usa una webcam básica para identificar el gesto de selección sin sensores externos ni conexión obligatoria a internet.
OpenCV + MediaPipe Face Landmarks
OpenCV captura el video y MediaPipe detecta puntos clave del rostro en tiempo real para analizar la apertura de los labios.
Adaptación a cada usuario
El prototipo registra un gesto neutro y un gesto de selección, evitando depender de un valor fijo para todas las personas.
Fluidez en equipos comunes
La resolución de 640 x 480 permite mantener cerca de 22 FPS en pruebas preliminares, superando la meta mínima de 15 FPS.
Procesamiento local
Las imágenes de la cámara no se guardan ni se envían a internet, reduciendo riesgos sobre datos sensibles del usuario.
Accesibilidad de bajo costo
La arquitectura modular facilita probar, corregir e integrar componentes para acercar el prototipo a necesidades reales.
Demostración
Video del prototipo funcionando
La demostración muestra la interacción con el teclado virtual, el modo de escaneo, la cámara y el flujo de composición del mensaje.
Abrir en YouTubeGestión del proyecto
Evidencias de planificación
