Google lança sign-language-to-text SL2T para traduzir língua gestual em texto

A Google acaba de revelar o sign-language-to-text, ou SL2T, uma IA capaz de converter língua gestual, em vídeo, em texto quase em tempo real. Por enquanto, esta novidade está limitada à língua gestual americana, embora a Google prometa adicionar outras línguas em breve.

Ontem, a Google apresentou os seus novos smartphones Google Pixel. Além do Pixel 11, das respetivas variantes e de novos acessórios, a empresa também anunciou algumas novidades de software relevantes. Entre elas está o Tap to share, uma funcionalidade do Android que permite a duas pessoas partilharem contactos ao aproximarem os seus smartphones.

No campo da saúde, a Google revelou igualmente novas tecnologias, incluindo um algoritmo que identifica emergências respiratórias e contacta automaticamente os serviços de emergência caso o utilizador deixe de conseguir responder. No âmbito da acessibilidade, a empresa lança ainda o modelo de IA sign-language-to-text, ou SL2T, que consegue traduzir língua gestual em texto praticamente em tempo real.

Um tradutor de língua gestual

Em termos práticos, esta IA recebe língua gestual através de um fluxo de vídeo e produz o texto correspondente. A Google criou esta funcionalidade para permitir que pessoas surdas ou com deficiência auditiva interajam de forma mais natural com os seus produtos, como o Gemini, sem terem de recorrer constantemente ao teclado.

Esta funcionalidade também pode servir de intérprete entre uma pessoa surda ou com deficiência auditiva e outra pessoa que não compreenda língua gestual. A única limitação é que, para já, o acesso a esta nova IA continua a ser muito restrito.

Acesso ao SL2T ainda limitado

“O SL2T permite a ditadura de gestos para texto no Gboard e no Live Transcribe no Pixel 11, começando pela língua gestual americana (ASL) para inglês”, anuncia a Google. Ainda assim, a empresa promete suportar “em breve” mais dispositivos e mais línguas. Relativamente às línguas, a Google refere já ter trabalhado com 100 000 horas de dados de mais de 50 línguas gestuais diferentes, sendo um quarto desse total dedicado à língua gestual americana.

Quanto aos dispositivos, esta funcionalidade poderá exigir alguma capacidade de processamento local. O SL2T funciona, de facto, parcialmente no próprio equipamento. Um modelo local transforma o vídeo da pessoa que faz os gestos em coordenadas geométricas, que são depois convertidas em texto nos servidores da Google. A vantagem desta abordagem é a proteção da privacidade, uma vez que os fluxos de vídeo não são processados na cloud.

70 milhões de pessoas abrangidas

Estima-se que existam 70 milhões de pessoas surdas ou com deficiência auditiva em todo o mundo. Segundo a Google, apesar de a capacidade da IA para processar a linguagem oral ter evoluído rapidamente, esta “revolução” ainda não beneficia as pessoas que precisam de utilizar língua gestual.

“Tal como os utilizadores ouvintes podem recorrer à ditadura por voz para falar em vez de escrever texto, esta funcionalidade permite aos utilizadores surdos comunicar em língua gestual no telemóvel em qualquer situação em que normalmente escreveriam texto. Pode utilizar língua gestual para fazer pesquisas na Internet, redigir mensagens ou documentos e pedir ao Gemini que responda às suas perguntas ou execute tarefas”, explica a empresa de Mountain View.

Recentemente, a Google partilhou também dados sobre a forma como as pessoas utilizam o Gemini, que acaba de ultrapassar mil milhões de utilizadores ativos mensais. A empresa destaca o crescimento da popularidade das interações por voz com a IA: 63 % dos utilizadores do Gemini falam diretamente com a IA, e alguns deixaram mesmo de usar o teclado para interagir com ela.