W kawiarni
Bez Clarity
Gwar zajmuje wykrywanie końca wypowiedzi: Twój agent czeka albo przerywa.
Z Clarity
Twój agent odpowiada, gdy rozmówca skończy mówić.
ClarityTwój agent głosowy słyszy rozmówcę. Nie salę.
Clarity usuwa szumy tła w czasie rzeczywistym, a z krótką próbką głosu także każdy głos poza głosem rozmówcy.
Włącz odtwarzanie, potem włącz Clarity.
Każda próbka: dzwoniąca osoba, cichszy drugi głos i hałas miejsca.
Twój agent rozmawia z jedną osobą.
W hali dworca
Bez Clarity
Głosy tłumu trafiają do transkrypcji.
Z Clarity
Transkrypcja zawiera to, co powiedział rozmówca.
W biurze typu open space
Bez Clarity
„Tak” kolegi liczy się jako odpowiedź rozmówcy.
Z Clarity
Z próbką głosu od 2 do 8 sekund Twój agent słyszy tylko rozmówcę.
Przed każdym porównanym modelem strumieniowym.
W obu publicznych benchmarkach Clarity 1 daje Twojemu agentowi najczystszy dźwięk spośród modeli strumieniowych w teście.
Poddane próbie.
W starciu z najlepszymi.
Jakość wyodrębniania mówcy
Libri2Mix · DNSMOS, wyżej znaczy lepiej
| Metryka | Clarity 1240 ms | StarTSE[1]560 ms |
|---|---|---|
| Jakość mowy SIG | 3.56 (najlepszy) | 3.54 |
| Jakość tła BAK | 4.03 (najlepszy) | 3.75 |
| Jakość ogólna OVRL | 3.27 (najlepszy) | 3.12 |
Usuwanie szumów
DNS 2020 Challenge · DNSMOS, wyżej znaczy lepiej
| Metryka | Clarity 1240 ms | Bez przetwarzaniaOryginalne nagranie | AI Acoustics15 ms | DeepFilterNet310 ms | GTCRN16 ms |
|---|---|---|---|---|---|
| Jakość mowy SIG | 3.62 (najlepszy) | 3.39 | 3.46 | 3.51 | 3.34 |
| Jakość tła BAK | 4.11 (najlepszy) | 2.62 | 3.60 | 4.11 (najlepszy) | 3.98 |
| Jakość ogólna OVRL | 3.37 (najlepszy) | 2.48 | 2.98 | 3.25 | 3.05 |
DeepFilterNet3 remisuje w jakości tła bez pogłosu; modele offline, które potrzebują całego nagrania, uzyskują do 0,08 więcej przy wyodrębnianiu mówcy.
Działa po obu stronach linii.
Agenci głosowi
Twój agent słyszy tylko rozmówcę, nawet w hali dworca.
Call center
Klienci słyszą Twoją konsultantkę, bez hałasu, echa i kolegów dookoła.
Jedna linijka w LiveKit lub Pipecat.
Clarity działa strumieniowo na wejściu audio Twojego agenta, więc wszystko dalej pracuje na oczyszczonym głosie rozmówcy.
- Rozmówca
- ClarityBez szumów i innych głosów
- Wykrywanie końca wypowiedzi
- Rozpoznawanie mowy
- Model językowy
- Synteza mowy
from livekit.agents import room_io
from kugelaudio import load_audio
from kugelaudio.livekit import enhancement
await session.start(
room=ctx.room,
agent=agent,
room_options=room_io.RoomOptions(
audio_input=room_io.AudioInputOptions(
noise_cancellation=enhancement(), # reads KUGELAUDIO_API_KEY
# keep one voice: enhancement(speaker=load_audio("caller.wav"))
),
),
)Wszystkie parametry Clarity 1.
Clarity 1
Pierwszy model Clarity, do nagrań i dźwięku na żywo.
- ID modelu
clarity-1- Zadania
- Usuwanie szumów. Z próbką głosu: tylko ten głos (SDK dla Pythona i JavaScriptu wybierają zadanie)
- Miejsce w pipeline
- Przed wykrywaniem aktywności głosowej i rozpoznawaniem mowy
- Dodane opóźnienie
- 50 ms przy fragmentach po 240 ms
- Wejście
- WAV, 16, 24 lub 32 bity całkowite albo 32 bity float, mono lub stereo, od 8 do 48 kHz
- Wyjście
- PCM mono 16 bitów, 24 kHz, ta sama długość co wejście
- Próbka mówcy
- Od 2 do 8 sekund
- Nagrania
- Do 300 sekund na żądanie
POST /v1/audio/enhance - Dźwięk na żywo
- Strumień WebSocket, poprawiany na bieżąco
WS /v1/audio/enhance/stream
Płacisz za minutę, rozliczenie co do sekundy.
Płatność za użycie
0,0015 €za minutę dźwięku, bez VAT
Rozliczane z Twoich kredytów za każdą sekundę dźwięku wejściowego, z zaokrągleniem w górę, minimum jedna sekunda. Żądania zakończone błędem nie są rozliczane.
ZacznijEnterprise
Self-hosting i wdrożenie on-premise, w planach Enterprise.
Krótkie odpowiedzi.
Czym jest Clarity?
Linia modeli KugelAudio do poprawy mowy. Clarity 1 (clarity-1) usuwa szumy tła, a z próbką głosu zachowuje tylko ten głos, w nagraniach i dźwięku na żywo.
Jakie opóźnienie dodaje Clarity?
Około 50 ms, jeśli Twój pipeline i tak czyta dźwięk we fragmentach po 240 ms. Przy mniejszych ramkach dźwięk może wyjść do 290 ms po wejściu.
Skąd wie, który głos zachować?
Po próbce tej osoby o długości od 2 do 8 sekund, najlepiej samej i z małym szumem. Bez próbki Clarity usuwa szumy i zachowuje mowę.
Jaki dźwięk mogę wysłać?
WAV od 8 do 48 kHz, do 300 sekund na nagranie, albo 16-bitowy PCM na żywo przez WebSocket. Wyjście to PCM mono 16 bitów, 24 kHz.
Czy mogę uruchomić Clarity na własnej infrastrukturze?
Tak. Self-hosting i wdrożenie on-premise są dostępne w planach Enterprise.