Idioma
Python, Jupyter Notebook
Tipo de ferramenta
Algoritmo
Licença
Creative Commons Attribution 4.0
Version
N/D
Coletivo de Pesquisa SignLLM
SignLLM é um modelo de linguagem projetado para produção multilíngue de linguagem de sinais. Ele oferece dois modos, MLSF e Prompt2LangGloss, que geram gestos de linguagem de sinais a partir de texto e perguntas. Ele usa uma abordagem de aprendizado por reforço para melhorar a qualidade do treinamento e da geração de dados. Para seu desenvolvimento, o SignLLM usa o Prompt2Sign, um conjunto de dados multilíngue que inclui a Língua Americana de Sinais e sete outros idiomas. Este conjunto padroniza informações extraindo poses de vídeos em um formato unificado, alcançando desempenho excepcional em tarefas de linguagem de sinais.
SignLLM resolve o problema da geração de gestos em linguagem de palavras a partir de textos de consulta e perguntas, facilitando a comunicação inclusiva. Utilize um modelo de idioma grande multilíngue e uma nova abordagem de aprendizado de refúgio para melhorar a qualidade e a eficiência do treinamento em outros idiomas de aulas.
SignLLM é um modelo de linguagem desenvolvido para a produção multilíngue de língua de sinais. Ele funciona usando dois modos, MLSF e Prompt2LangGloss, que geram gestos a partir de texto e perguntas. Ele utiliza aprendizado por reforço para aprimorar o treinamento, com o suporte do conjunto de dados Prompt2Sign, que padroniza informações de poses de vídeos em oito línguas de sinais.
O SignLLM resolve o problema de gerar gestos em língua de sinais a partir de textos de consulta e perguntas, facilitando a comunicação inclusiva. Ele utiliza um modelo multilíngue de linguagem ampla e uma nova abordagem de aprendizagem por reforço para melhorar a qualidade e a eficiência do treinamento em oito línguas de sinais.
Consulte o equipamento de Código para o Desenvolvimento e descubra como nossas herramientas de código abertas, cuidadosamente curadas, podem se apoiar em sua instituição na América Latina e no Caribe. Escritores para explorar soluções, resolver dúvidas de implementação, compartilhar resultados de reutilização ou apresentar uma nova ferramenta. Escreva para [email protected]
O SignLLM recebeu mais de 160 estrelas no GitHub desde seu lançamento, demonstrando grande interesse pela geração de linguagem de sinais multilíngue.
Este notebook orienta a preparação de dados a partir de arquivos JSON do OpenPose, clonando o repositório Prompt2Sign e configurando o ambiente para gerar poses a partir de vídeos em linguagem de sinais.
Prompt2Sign inclui texto, prompts, quadros de vídeo e poses 3D compactadas em 8 línguas de sinais. O SignLLM gera dados de pose digital a partir de texto ou prompts, com saída em vídeo sintético ou modelos 3D.
Descrição do projeto, demonstração e materiais.
Artigo técnico sobre a abordagem Prompt2Sign.
Demonstração do modelo de geração de sinais.