Como testamos transcrição em português

O Transcrever avaliou a transcrição automática em dois contextos diferentes: um conjunto padronizado de fala lida em português do Brasil e dois recortes de vídeo de uma audiência pública. Os números abaixo descrevem somente esses testes, com o modelo, os arquivos e as referências usados. O resultado não é uma afirmação geral de precisão para qualquer gravação, sotaque ou ambiente.

Resumo dos resultados

Teste	Material	Resultado observado	O que ele permite verificar
FLEURS `pt_br`	919/919 áudios curtos de uma pessoa lendo frases	WER 3,26%; CER 1,52%; tempo de transcrição mediano 5,26 s e P95 7,44 s, sem contar o envio	Reconhecimento de fala lida curta no conjunto e na revisão congelados
Câmara — Luciana Sardinha	Recorte MP4 de 60,026633 s	123 palavras com tempo monotônico e 15 blocos SRT monotônicos	Áudio de vídeo real, pontuação, marcações de tempo e exportação SRT
Câmara — Erika Kokay → Luciana Sardinha	Recorte MP4 de 84,120300 s	165 palavras com tempo, 21 blocos SRT e uma troca A→B observada	Separação de duas vozes e transição entre interlocutoras

WER significa taxa de erro por palavra e CER, taxa de erro por caractere. Em ambas, valores menores indicam menos diferenças em relação à referência. WER não é uma porcentagem genérica de “acerto”: subtraí-la de 100 e anunciar o resultado como precisão esconderia o tipo de áudio, a referência e as condições do teste.

Como o teste FLEURS foi executado

Foi usada a revisão congelada 70bb2e84b976b7e960aa89f1c648e09c59f894dd do conjunto FLEURS pt_br. Os 919 arquivos da divisão de teste foram processados sem alterar os áudios ou as frases de referência depois de ver os resultados. O conjunto e suas limitações são descritos no artigo do Google Research e no dataset google/fleurs.

O pedido ao provedor usou o modelo universal-3-5-pro, idioma pt, pontuação e formatação. Não foram enviados prompt, termos-chave, detecção automática de idioma ou quantidade esperada de interlocutores. Todos os 919 arquivos foram concluídos, sem falha e sem troca de modelo detectada.

O resultado agregado foi:

700 diferenças em 21.475 palavras: WER 3,26%;
1.611 diferenças em 106.239 caracteres: CER 1,52%;
5,26 s de tempo mediano e 7,44 s no P95, excluindo o envio do arquivo.

Esse conjunto contém principalmente fala curta, lida e de uma pessoa. Ele não representa, sozinho, entrevista com sobreposição, reunião distante, música, eco, chamada comprimida, nomes próprios ou vocabulário especializado.

Por que também usamos vídeo real

O segundo teste usou material do evento legislativo 81799 da Câmara dos Deputados, com fonte oficial, transcrição Escriba e licença CC BY 4.0 conforme os termos de uso da TV Câmara. Antes de enviar os recortes ao provedor, cada intervalo, duração e hash SHA-256 foi registrado. Depois foram conferidos:

sequência das interlocutoras na fonte oficial;
tempos crescentes das palavras;
ordem e duração dos blocos SRT;
troca de rótulo de voz no recorte com duas pessoas;
compatibilidade dos arquivos TXT, JSON e SRT com o editor do produto.

Os exemplos públicos continuam identificados como Transcrição automática. Os nomes foram usados apenas onde a sequência pôde ser confrontada com a fonte oficial; isso não transforma o texto inteiro em uma transcrição revisada por humanos.

Exemplos e fontes verificáveis

O erro que excluímos, sem apagar do histórico

O primeiro recorte que deveria conter uma pessoa estava errado: a suposição de origem indicava outra sequência, mas os tempos e os quadros mostraram a troca de Erika para Luciana aos 53,442 s. A comparação produziu WER 131,51% porque o arquivo e a referência não correspondiam corretamente. Esse resultado foi excluído do conjunto aceito, mas preservado no registro da avaliação para que a correção não parecesse uma troca silenciosa de amostra.

Um novo trecho de Luciana, com 60,026633 s, foi congelado por hash antes de uma nova chamada. O recorte Erika → Luciana que já estava correto foi reutilizado, sem executar novamente o mesmo arquivo apenas para produzir um resultado mais conveniente.

Por que o WER da Câmara não mede a mesma coisa

A transcrição Escriba é estenográfica: ela remove hesitações da fala e agrupa o texto em blocos com limites externos aproximados. Por isso, as comparações diagnósticas ficaram altas — 70,48% no trecho congelado de Luciana, 51,96% em uma sobreposição alinhada depois da execução e 61,98% no recorte com troca de interlocutoras. Esses números são mantidos para transparência, mas não foram usados como o critério de seleção do modelo.

Nos vídeos da Câmara, o teste aceito verifica principalmente se o produto preserva fala, ordem, tempos, SRT e separação de vozes de forma coerente. Uma referência estenográfica com limites aproximados não pode ser tratada como se fosse a mesma referência literal do FLEURS.

O que estes testes não comprovam

Eles não garantem uma taxa de acerto para todo arquivo, nem autorizam promessas de velocidade, retenção, privacidade ou custo fora dos contratos publicados do produto. Ruído, microfone distante, sotaques, termos técnicos, música e falas simultâneas continuam podendo exigir revisão.

Também não há comparação escondida com concorrentes. Para uma comparação justa, todos os serviços precisariam receber os mesmos arquivos congelados, com a mesma política de normalização e sem ajustar a amostra depois dos resultados.

Última atualização metodológica: 2 de setembro de 2026.

Como avaliamos transcrição automática em português do Brasil