PersonaPlex, da NVIDIA: o modelo de voz que ouve e fala ao mesmo tempo

Os links oficiais, o que o modelo faz de verdade, o que ele exige para rodar e um pedido pronto para avaliar se um agente de voz faria sentido no seu atendimento.

Pegar o materialLeitura de 6 min

O material

Os links oficiais, o guia e o pedido pronto

Fontes oficiais

Tudo direto da NVIDIA.

O que muda

A diferença entre um assistente de voz comum e o duplex.

Duplex completo

Ouve e fala ao mesmo tempo

Ele não espera você terminar para começar a responder, e aceita interrupção.

Persona

Um papel por texto

Você descreve quem ele é e o que sabe, como atendente de uma empresa.

Vozes

Voz à escolha

O projeto traz 18 vozes prontas, femininas e masculinas.

Licença

Código aberto

O código é MIT, e os pesos do modelo seguem a licença aberta da NVIDIA.

Assistente de voz comum e PersonaPlex

Critério Assistente de voz comum PersonaPlex
Como processa Assistente de voz comumEm etapas separadas: transcreve a fala, pensa e depois fala a resposta PersonaPlexUm único modelo que ouve e fala ao mesmo tempo, segundo a NVIDIA
Vez de falar Assistente de voz comumEspera você terminar para começar a responder PersonaPlexResponde em fluxo, acompanha pausas e aceita ser interrompido
Papel e voz Assistente de voz comumDepende da plataforma que você usa PersonaPlexDefinidos por um texto e por uma das vozes disponíveis
Idioma hoje Assistente de voz comumVaria conforme a plataforma PersonaPlexInglês, segundo o cartão do modelo

PersonaPlex

Modelo de conversa por voz da NVIDIA

Como funciona
É um modelo de voz para voz, de cerca de 7 bilhões de parâmetros, baseado no Moshi. Ele recebe a sua fala e responde por voz, em tempo real, no papel que o texto definiu.
Papéis de exemplo
Professor, atendente de banco, recepcionista de consultório e conversa casual.

Pontos fortes

  • Escuta e fala ao mesmo tempo, como uma conversa de verdade
  • Código com licença MIT e pesos com licença aberta, que o cartão diz estar pronta para uso comercial
  • O papel e a empresa são definidos por texto, sem treinar o modelo

Limites

  • Fala e entende inglês. Português não é citado
  • Testado em placas de vídeo de servidor (A100 e H100), em Linux, sem mínimo de memória informado
  • Os arquivos exigem conta no Hugging Face e aceite da licença
  • A NVIDIA recomenda testar com os seus dados antes de usar em produção

Para o time técnico

O caminho oficial resumido. Se você não programa, passe para o próximo bloco.

Gratuito, mas com exigência de hardware

  • Custo: o modelo é gratuito para baixar. O custo real está na placa de vídeo, no servidor e no tempo de quem instala.
  • Hardware: o repositório não informa um mínimo e traz uma opção de usar a memória do computador quando a da placa de vídeo é curta, o que deixa tudo mais lento.
  • Idioma: o cartão do modelo fala em inglês de entrada e de saída.
  • Produção: usar com clientes exige testes, controle de qualidade e aviso de que a conversa é com uma IA.

Comandos de instalação do repositório

O passo a passo do repositório oficial: baixar o código, instalar, informar o token e abrir o servidor.

Ver o texto do prompt
git clone https://github.com/NVIDIA/personaplex.git
cd personaplex
sudo apt install libopus-dev
pip install moshi/.
export HF_TOKEN=<SEU_TOKEN_DO_HUGGING_FACE>
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"
# Se a memória da placa de vídeo for curta, adicione --cpu-offload ao último comando
# A interface abre em localhost:8998

Para quem tem um servidor Linux com placa de vídeo. Confira a página inicial do repositório antes, porque os comandos podem mudar.

Pedido pronto

Para avaliar o agente de voz no seu atendimento, sem instalar nada.

Pedido: um agente de voz faria sentido no meu atendimento?

Separa o que um agente de voz resolveria sozinho do que precisa de uma pessoa e sugere um teste de uma semana.

Ver o texto do prompt
Quero avaliar se um agente de voz que conversa em tempo real, ouvindo e falando ao mesmo tempo, faria sentido no atendimento da minha empresa.
Sobre a minha empresa:
- O que eu vendo: [descreva em uma frase]
- Como o cliente me procura hoje: [telefone, WhatsApp, site, presencial]
- Perguntas que mais se repetem no atendimento: [liste de 5 a 10]
- O que um atendente precisa consultar ou fazer no sistema para responder: [agenda, preço, pedido, cadastro]
- Idioma dos meus clientes: [português, inglês, outro]
Faça isto:
1. Separe as perguntas que um agente de voz resolveria sozinho das que precisam de uma pessoa, com o motivo.
2. Para as que ele resolveria, diga o que ele precisa saber e o que precisa conseguir fazer no sistema.
3. Aponte os riscos de colocar um agente de voz no atendimento, incluindo aviso ao cliente e dados da conversa.
4. Diga em que momento da conversa ele deve passar para uma pessoa.
5. Sugira o menor teste possível, em uma semana, para validar a ideia.
Não invente dados da minha empresa. Se faltar informação, pergunte antes de responder.

Cole no ChatGPT, Claude ou Gemini, troque os colchetes pela realidade da sua empresa e leia a análise.

Como usar

Como aproveitar este material

1

Veja os exemplos da NVIDIA

Abra a página oficial do projeto e ouça os exemplos de atendimento: banco, consultório e conversa casual.

Você entende como soa uma conversa em duplex.

2

Confira o que ele exige

Leia a ficha e o aviso desta página: inglês, placa de vídeo de servidor, conta no Hugging Face e licença.

Você sabe se o PersonaPlex é para a sua empresa hoje.

3

Rode o pedido de avaliação

Cole o pedido da página no seu assistente de IA e descreva o seu atendimento de verdade.

Uma separação entre o que o agente de voz resolve e o que precisa de uma pessoa.

4

Passe a análise para o time técnico

Quem tem time ou fornecedor de tecnologia leva a análise e o link do repositório para avaliar a instalação.

Uma conversa objetiva sobre custo e viabilidade.

5

Defina um teste de uma semana

Escolha uma pergunta frequente do atendimento e um critério de sucesso antes de testar qualquer ferramenta de voz.

Um teste pequeno, com meta clara.

O tamanho real do problema

Onde esse material resolve e onde ele para

O que isso resolve

  • Mostra o que é o PersonaPlex, com as fontes oficiais.
  • Explica a diferença entre um assistente de voz comum e o duplex.
  • Deixa claro o que ele exige hoje: inglês, placa de vídeo de servidor e licença.
  • Ajuda a avaliar se um agente de voz faria sentido no seu atendimento.

O que isso não resolve

  • Colocar um agente de voz em português no ar.
  • A infraestrutura, a instalação e a manutenção do modelo.
  • A ligação com agenda, cadastro, pedidos e WhatsApp.
  • O processo de atendimento por trás da voz.

Um modelo que conversa por voz é só o ouvido e a boca. O que resolve o atendimento é o que ele sabe, o que ele pode fazer no seu sistema e o momento de passar para uma pessoa.

O próximo nível

A voz é só a parte que o cliente vê. O atendimento é o processo por trás.

Quando a IA entra no atendimento inteiro, a conversa, o sistema e a equipe trabalham juntos, em qualquer canal.

O gargalo certo primeiro

Você descobre onde o atendimento perde mais tempo e cliente, e começa por esse ponto.

Agente ligado ao seu sistema

A IA consulta agenda, preço e pedido, em vez de só conversar bonito.

A hora de chamar uma pessoa

As regras definem o que a IA resolve sozinha e quando a equipe assume.

Atendimento menos dependente de você

O atendimento segue rodando quando você não está olhando, com a equipe sabendo o que a IA assumiu.

Descubra onde aplicar IA primeiro na sua empresa

Ao clicar, você vê como funciona o diagnóstico do programa e decide se faz sentido para a sua operação.

Quero descobrir por onde começar

Perguntas rápidas

O que todo empresário pergunta antes de começar

É gratuito mesmo?

O modelo é gratuito para baixar, com código MIT e pesos sob licença aberta da NVIDIA. O custo real está no hardware e na instalação, e o acesso aos arquivos exige conta no Hugging Face e aceite da licença.

Funciona em português?

O cartão do modelo fala em inglês de entrada e de saída, e o repositório não cita outros idiomas. Teste com atenção antes de pensar em uso com clientes brasileiros.

Roda no meu computador?

O repositório não informa um mínimo. O cartão do modelo cita testes em placas de vídeo de servidor e Linux como sistema preferido. Há uma opção de usar a memória do computador, que deixa tudo mais lento.

Posso usar com clientes da minha empresa?

O cartão do modelo diz que ele está pronto para uso comercial e recomenda testes com os seus próprios dados. Avise o cliente que a conversa é com uma IA e trate a gravação da voz como dado pessoal.

Isso substitui o meu atendimento?

Ele conversa por voz. Sem ligação com o seu sistema e sem regra de quando chamar uma pessoa, ele não resolve o atendimento sozinho.

Ouça os exemplos oficiais, rode o pedido de avaliação e leve o resultado para quem cuida da tecnologia da sua empresa. Assim você decide com dados.

Billy

Sobre o Billy

Estrategista de IA aplicada a negócios

Fundador da East Rock, agência especializada em IA para prestadores de serviço. Testa na prática o que vira tendência no Brasil antes de chegar aqui.

  • 3 anosde IA aplicada a negócios
  • 1.000+empresários acelerados
  • +R$ 200 milvendidos por um único agente
  • East Rockfundador