Google presenta lengua de señas como alternativa al dictado de voz

La empresa de tecnología Google ha dado un nuevo paso hacia la accesibilidad al presentar un modelo de traducción de lenguaje de señas capaz de transformar movimientos corporales complejos en texto. Este avance, denominado sign-language-to-text (SL2T), se implementa inicialmente en el sistema operativo de los celulares Pixel 11, comenzando por el idioma American Sign Language (ASL).

El modelo SL2T no solo traduce señas a texto, sino que permite a los usuarios interactuar con funciones clave de sus dispositivos. La tecnología impulsa nuevas funciones de “sign-to-text” en Gboard y Live Transcribe, dos herramientas ampliamente utilizadas en el ecosistema Android.

A través de esta innovación, las personas pueden buscar en la web, redactar mensajes, escribir documentos y comunicarse con el asistente Gemini simplemente usando señas, prescindiendo de la voz o del teclado. Además, en Live Transcribe, los usuarios pueden responder en conversaciones usando su lengua de señas nativa.

A diferencia de las aplicaciones tradicionales de dictado por voz, la traducción del lenguaje de señas presenta retos particulares. Las lenguas de señas constituyen sistemas lingüísticos independientes, con gramática y vocabulario propios. La información no se transmite únicamente a través de las manos, sino también mediante expresiones faciales, movimientos de cabeza, brazos y torso. Esto convierte la traducción automática en un problema tanto de visión computarizada como de procesamiento de lenguaje.

El modelo SL2T aborda este desafío transformando los movimientos en una representación estructurada que posteriormente se traduce en texto. Esta solución no se basa en una simple correspondencia directa de sonidos a palabras.

Para proteger la privacidad, el sistema prescinde del envío de video crudo a los servidores de Google. En cambio, emplea el modelo MediaPipe Holistic para identificar puntos de referencia en el cuerpo de la persona que signa. Estos puntos de referencia consisten en coordenadas geométricas que reflejan los movimientos de manos, rostro y cuerpo. Solo estas coordenadas se envían para la traducción, mientras que el video original se elimina de inmediato, lo que reduce la cantidad de información visual sensible que sale del dispositivo.

El modelo SL2T traduce directamente la secuencia de estos puntos en texto, sin recurrir a las denominadas “glosas”, etiquetas simplificadas habituales en la investigación sobre lenguaje de señas. De acuerdo con la compañía, esta metodología permite capturar con mayor precisión elementos como relaciones espaciales y señales no manuales.

La robustez del sistema se apoya en un entrenamiento realizado con más de 100.000 horas de datos de lenguaje de señas, abarcando más de 50 idiomas. Un cuarto de este corpus corresponde al ASL. Entrenar con datos de diferentes lenguas, dialectos y niveles de competencia favoreció el aprendizaje de estructuras comunes entre los distintos idiomas de señas.

En la evaluación realizada con el estándar FLEURS-ASL, Google informa que el modelo alcanzó un puntaje “zero-shot” de 70 BLEURT, superando ampliamente los resultados registrados hasta el momento.