Skip to content

README.md

Latest commit

 

History

History
168 lines (127 loc) · 5.81 KB

README.md

File metadata and controls

168 lines (127 loc) · 5.81 KB

SignAI

Rompiendo barreras comunicacionales con tecnología inclusiva

En Chile, cerca de 800 mil personas son sordas o mudas, enfrentando diariamente una brecha comunicacional debido a la falta de recursos inclusivos en instituciones. SignAI es un proyecto que transforma esta realidad, ofreciendo soluciones tecnológicas avanzadas para derribar barreras y promover la inclusión.

 

 

🚀 Descripción del Proyecto

SignAI es un servicio intérprete de Lengua de Señas Chilena (LSCh) que utiliza Inteligencia Artificial para facilitar la comunicación entre personas sordas, mudas y oyentes. Con un enfoque práctico e innovador, integra herramientas que permiten procesar videos, audios y texto para ofrecer una comunicación inclusiva y efectiva.

Cómo funciona SignAI

El sistema se divide en tres módulos principales:

  1. Diccionario Digital de Lengua de Señas Chilena: Un diccionario completamente digitalizado, accesible y práctico, basado en material previamente disponible solo en libros y PDFs.
  2. Intérprete de Voz a Señas: Procesa audios, los transcribe y los convierte en señas utilizando una base de datos de imágenes.
  3. Intérprete de Señas a Texto: Una red neuronal detecta señas en imágenes y videos, facilitando la comunicación bidireccional.

 

 

💡 Casos de Uso

  • Interpretación de videos o audios a lengua de señas y viceversa.
  • Interpretación en tiempo real de lengua de señas y viceversa.
  • Aplicaciones educativas para aprender lengua de señas al estilo de Duolingo.
  • Diccionario de Lengua de Señas Chilena (LSCh) virtual accesible en cualquier dispositivo.
  • Asistencia en consultas médicas, promoviendo la privacidad al no depender de intérpretes humanos.
  • Herramienta de aprendizaje inclusiva para escuelas y universidades.
  • Servicio de interpretación integrado para plataformas de atención al cliente.

 

 

🏆 Logros Destacados

  • Primer lugar en la categoría "Impacto Social" y segundo lugar en la categoría "Proyecto del Año" en la DemoDay 2024, compitiendo a nivel nacional en Santiago contra más de 20 proyectos.
  • Presentación en Preview DemoDay, destacando por su innovación y relevancia social.

 

 

🛠 Tecnologías Utilizadas

Diccionario de Lengua de Señas Chilena Virtual

  • Astro, React, TailwindCSS

Developer Portal

  • Astro, Firebase, MongoDB, TailwindCSS, TypeScript, HTML

API (servicio principal)

  • FastAPI, Python, Tensorflow, Keras, Firebase, MongoDB, FFMPEG, Websockets, Modelo VOSK

Red Neuronal Convolucional

  • Keras, Tensorflow, Pillow, Numpy, Pandas, CUDA, Cudnn

Aplicaciones de Prueba de Integración

  • Móvil: Ionic, Angular, Typescript, TailwindCSS
  • Web: Angular, Typescript, TailwindCSS
  • Web en Tiempo Real: Astro, Typescript, React, TailwindCSS, WebSockets

Diseño y Control de Versiones

  • Figma, Git, GitHub

 

 

⚙️ Instalación y Uso

Requisitos previos

  • Python 3.9 o superior
  • Node.js 16 o superior
  • MongoDB
  • Firebase configurado (Obtenener archivo)

Caution

El Developer Portal, Aplicación en Tiempo Real y Diccionario Digital LCSh dependen en su totalidad de la API, la Base de Datos (MongoDB, click para obtener backup) y de las credenciales de firebase.

 

Instalación del API

  1. Clona el repositorio:
git clone https://github.com/Alwexis/SignAI.git
  1. Instala las dependencias del servidor API:
cd API
pip install -r requirements.txt

  1. Configura las variables de entorno en .env para Firebase y MongoDB.

  2. Ejecuta el servidor API:

uvicorn main:app --reload

 

Instalación del Developer Portal

  1. Navega a la carpeta del portal:
cd DeveloperPortal
  1. Instala las dependencias:
npm install
  1. Ejecuta el servidor de desarrollo:
npm run dev

 

Instalación de la App en Tiempo Real

  1. Navega a la carpeta de la aplicación:
cd AppRealtime
  1. Instala las dependencias:
npm install
  1. Ejecuta el servidor de desarrollo:
npm run dev

 

📊 Métricas y Resultados del Modelo de Deep Learning

  • Precisión en entrenamiento: 91%
  • Precisión en validación: 79%
  • Precisión en casos reales: 70% (fotos y videos recopilados por el equipo).

Las imágenes usadas para pruebas reales se encuentran en la carpeta: Imagenes Testing CNN Casos Reales.

El gráfico de métricas del modelo (ver imagen adjunta) y el código de pruebas está disponible en el notebook ubicado en la carpeta Fase 2/Evidencias Proyecto/Arquitecturas CNN/Test_Arquitectura_16.ipynb.

 

👥 Equipo

Ariel Silva @Alwexis

Jenniffer Coñuel @jeconuel

  • Rol: Desarrolladora y apoyo en documentación
  • Correo: je.conuel@duocuc.cl
  • LinkedIn: Jenniffer Coñuel

Mattías González @Mattiasgonzalez