V kavárně
Bez Clarity
Hovor okolí zaměstnává detekci střídání řeči: váš agent čeká, nebo skáče do řeči.
S Clarity
Váš agent odpoví, když volající domluví.
ClarityVáš hlasový agent slyší volajícího. Ne místnost.
Clarity odstraní šum na pozadí v reálném čase a s krátkou ukázkou hlasu i každý hlas kromě volajícího.
Spusťte přehrávání a pak zapněte Clarity.
Každá ukázka: volající, tišší druhý hlas a hluk místa.
Váš agent mluví s jedním člověkem.
V nádražní hale
Bez Clarity
Hlasy z davu skončí v přepisu.
S Clarity
Přepis obsahuje to, co řekl volající.
V otevřené kanceláři
Bez Clarity
Kolegovo „ano“ se počítá jako odpověď volajícího.
S Clarity
S ukázkou hlasu dlouhou 2 až 8 sekund slyší váš agent jen volajícího.
Před každým porovnaným streamovacím modelem.
V obou veřejných benchmarcích dává Clarity 1 vašemu agentovi nejčistší zvuk ze všech streamovacích modelů v testu.
Vystaveno zkoušce.
Proti nejlepším.
Kvalita cílového mluvčího
Libri2Mix · DNSMOS, vyšší je lepší
| Metrika | Clarity 1240 ms | StarTSE[1]560 ms |
|---|---|---|
| Kvalita řeči SIG | 3.56 (nejlepší) | 3.54 |
| Kvalita pozadí BAK | 4.03 (nejlepší) | 3.75 |
| Celková kvalita OVRL | 3.27 (nejlepší) | 3.12 |
Odstranění šumu
DNS 2020 Challenge · DNSMOS, vyšší je lepší
| Metrika | Clarity 1240 ms | NezpracovánoPůvodní audio | AI Acoustics15 ms | DeepFilterNet310 ms | GTCRN16 ms |
|---|---|---|---|---|---|
| Kvalita řeči SIG | 3.62 (nejlepší) | 3.39 | 3.46 | 3.51 | 3.34 |
| Kvalita pozadí BAK | 4.11 (nejlepší) | 2.62 | 3.60 | 4.11 (nejlepší) | 3.98 |
| Celková kvalita OVRL | 3.37 (nejlepší) | 2.48 | 2.98 | 3.25 | 3.05 |
DeepFilterNet3 má bez dozvuku stejnou kvalitu pozadí; offline modely, které potřebují celou nahrávku, mají při izolaci mluvčího až o 0,08 vyšší skóre.
Funguje na obou koncích linky.
Hlasoví agenti
Váš agent slyší jen volajícího, i v nádražní hale.
Kontaktní centra
Zákazníci slyší vaši operátorku, bez hluku, ozvěny a kolegů kolem.
Jeden řádek v LiveKit nebo Pipecat.
Clarity běží jako stream na zvukovém vstupu vašeho agenta, takže vše za ním pracuje s vyčištěným hlasem volajícího.
- Volající
- ClarityBez šumu a cizích hlasů
- Detekce střídání řeči
- Převod řeči na text
- Jazykový model
- Syntéza řeči
from livekit.agents import room_io
from kugelaudio import load_audio
from kugelaudio.livekit import enhancement
await session.start(
room=ctx.room,
agent=agent,
room_options=room_io.RoomOptions(
audio_input=room_io.AudioInputOptions(
noise_cancellation=enhancement(), # reads KUGELAUDIO_API_KEY
# keep one voice: enhancement(speaker=load_audio("caller.wav"))
),
),
)Všechny parametry Clarity 1.
- ID modelu
clarity-1- Úlohy
- Odstranění šumu. S ukázkou hlasu: jen tento hlas (úlohu volí SDK pro Python a JavaScript)
- Umístění
- Před detekcí hlasové aktivity a převodem řeči na text
- Přidaná latence
- 50 ms při úsecích po 240 ms
- Vstup
- WAV, 16, 24 nebo 32 bitů celočíselně nebo 32 bitů float, mono nebo stereo, 8 až 48 kHz
- Výstup
- Mono PCM 16 bitů, 24 kHz, stejná délka jako vstup
- Ukázka mluvčího
- 2 až 8 sekund
- Nahrávky
- Až 300 sekund na požadavek
POST /v1/audio/enhance - Živý zvuk
- Stream přes WebSocket, vylepšovaný průběžně
WS /v1/audio/enhance/stream
Platíte za minutu, účtuje se po sekundách.
Platba podle využití
0,0015 €za minutu zvuku, bez DPH
Účtuje se z vašich kreditů za každou sekundu vstupního zvuku, zaokrouhleno nahoru, nejméně jedna sekunda. Požadavky, které skončí chybou, se neúčtují.
ZačněteEnterprise
Vlastní hosting a nasazení on-premise, v plánech Enterprise.
Krátké odpovědi.
Co je Clarity?
Řada modelů KugelAudio pro zlepšení řeči. Clarity 1 (clarity-1) odstraní šum na pozadí a s ukázkou hlasu zachová jen tento hlas, v nahrávkách i živém zvuku.
Jakou latenci Clarity přidá?
Asi 50 ms, pokud vaše pipeline už čte zvuk po úsecích 240 ms. U menších rámců může zvuk vyjít až 290 ms po vstupu.
Jak pozná, který hlas zachovat?
Podle ukázky tohoto člověka dlouhé 2 až 8 sekund, nejlépe samotného a s málo šumem. Bez ukázky Clarity odstraní šum a zachová řeč.
Jaký zvuk mohu poslat?
WAV s 8 až 48 kHz, až 300 sekund na nahrávku, nebo živě 16bitové PCM přes WebSocket. Výstup je mono PCM 16 bitů, 24 kHz.
Mohu Clarity provozovat na vlastní infrastruktuře?
Ano. Vlastní hosting a nasazení on-premise jsou dostupné v plánech Enterprise.