Num café
Sem Clarity
As conversas ocupam a detecção de turnos: o seu agente espera ou interrompe.
Com Clarity
O seu agente responde quando quem liga acaba de falar.
ClarityO seu agente de voz ouve quem liga. Não a sala.
O Clarity remove o ruído de fundo em tempo real e, com uma amostra curta de voz, todas as vozes menos a de quem liga.
Carregue em reproduzir e depois ligue o Clarity.
Cada amostra: uma pessoa a ligar, uma segunda voz mais baixa e o ruído do local.
O seu agente fala com uma só pessoa.
No átrio de uma estação
Sem Clarity
As vozes da multidão acabam na transcrição.
Com Clarity
A transcrição contém o que disse quem liga.
Num escritório em open space
Sem Clarity
O «sim» de um colega conta como resposta de quem liga.
Com Clarity
Com uma amostra de voz de 2 a 8 segundos, o seu agente ouve apenas quem liga.
À frente de cada modelo de streaming comparado.
Nos dois benchmarks públicos, o Clarity 1 dá ao seu agente o áudio mais limpo de todos os modelos de streaming do teste.
Posto à prova.
Contra os melhores.
Qualidade da voz principal
Libri2Mix · DNSMOS, quanto mais alto, melhor
| Métrica | Clarity 1240 ms | StarTSE[1]560 ms |
|---|---|---|
| Qualidade da fala SIG | 3.56 (melhor) | 3.54 |
| Qualidade do fundo BAK | 4.03 (melhor) | 3.75 |
| Qualidade global OVRL | 3.27 (melhor) | 3.12 |
Remoção de ruído
DNS 2020 Challenge · DNSMOS, quanto mais alto, melhor
| Métrica | Clarity 1240 ms | Sem processamentoÁudio original | AI Acoustics15 ms | DeepFilterNet310 ms | GTCRN16 ms |
|---|---|---|---|---|---|
| Qualidade da fala SIG | 3.62 (melhor) | 3.39 | 3.46 | 3.51 | 3.34 |
| Qualidade do fundo BAK | 4.11 (melhor) | 2.62 | 3.60 | 4.11 (melhor) | 3.98 |
| Qualidade global OVRL | 3.37 (melhor) | 2.48 | 2.98 | 3.25 | 3.05 |
O DeepFilterNet3 empata na qualidade do fundo sem reverberação; os modelos offline, que precisam da gravação completa, pontuam até 0,08 mais na extração do orador.
Funciona dos dois lados da linha.
Agentes de voz
O seu agente ouve apenas quem liga, mesmo no átrio de uma estação.
Centros de contacto
Os clientes ouvem a sua agente, sem o ruído, o eco e os colegas à volta.
Uma linha no LiveKit ou no Pipecat.
O Clarity fica na entrada de áudio do seu agente e funciona em streaming, por isso tudo o que vem depois trabalha com a voz limpa de quem liga.
- Quem liga
- ClaritySem ruído nem outras vozes
- Detecção de turnos
- Transcrição
- Modelo de linguagem
- Síntese de voz
from livekit.agents import room_io
from kugelaudio import load_audio
from kugelaudio.livekit import enhancement
await session.start(
room=ctx.room,
agent=agent,
room_options=room_io.RoomOptions(
audio_input=room_io.AudioInputOptions(
noise_cancellation=enhancement(), # reads KUGELAUDIO_API_KEY
# keep one voice: enhancement(speaker=load_audio("caller.wav"))
),
),
)Todas as especificações do Clarity 1.
Clarity 1
O primeiro modelo Clarity, para gravações e áudio ao vivo.
- ID do modelo
clarity-1- Tarefas
- Remoção de ruído. Com amostra de voz: apenas essa voz (os SDK de Python e JavaScript escolhem a tarefa)
- Posição
- Antes da detecção de atividade de voz e da transcrição
- Latência adicionada
- 50 ms com blocos de 240 ms
- Entrada
- WAV, 16, 24 ou 32 bits inteiros ou 32 bits float, mono ou estéreo, de 8 a 48 kHz
- Saída
- PCM mono de 16 bits, 24 kHz, mesma duração da entrada
- Amostra do orador
- De 2 a 8 segundos
- Gravações
- Até 300 segundos por pedido
POST /v1/audio/enhance - Áudio ao vivo
- Stream por WebSocket, melhorado à medida que chega
WS /v1/audio/enhance/stream
Pague por minuto, faturado ao segundo.
Pagamento por utilização
€ 0,0015por minuto de áudio, sem IVA
Faturado dos seus créditos por segundo de áudio de entrada, arredondado para cima, com o mínimo de um segundo. Os pedidos com erro não são faturados.
ComeçarEnterprise
Self-hosting e instalação on-premise, nos planos Enterprise.
As respostas curtas.
O que é o Clarity?
A linha de modelos de melhoria de voz da KugelAudio. O Clarity 1 (clarity-1) remove o ruído de fundo e, com uma amostra de voz, mantém apenas essa voz, em gravações e áudio ao vivo.
Quanta latência acrescenta o Clarity?
Cerca de 50 ms se o seu pipeline já lê o áudio em blocos de 240 ms. Com frames mais pequenos, um som pode sair até 290 ms depois de entrar.
Como sabe que voz manter?
Por uma amostra de 2 a 8 segundos dessa pessoa, de preferência sozinha e com pouco ruído. Sem amostra, o Clarity remove o ruído e mantém a fala.
Que áudio posso enviar?
WAV de 8 a 48 kHz, até 300 segundos por gravação, ou PCM de 16 bits ao vivo por WebSocket. A saída é PCM mono de 16 bits a 24 kHz.
Posso executar o Clarity na minha própria infraestrutura?
Sim. O self-hosting e a instalação on-premise estão disponíveis nos planos Enterprise.