홍콩에서 회의를 녹음한 뒤 전사 앱에 돌려본 적이 있다면, 광둥어가 얼마나 다루기 어려운 언어인지 잘 알 것입니다. "我想去 Causeway Bay 開會 prepare 一下 個 deck" 같은 문장은 광둥어와 영어가 한 호흡에 뒤섞이는데 — 바로 그 혼합이 대부분의 전사 도구가 한계를 드러내는 지점입니다.
이것은 비주류 문제가 아닙니다. 코드 전환(Code-switching) — 문장 중간에 광둥어와 영어를 오가는 것 — 은 홍콩의 비즈니스, 기술, 일상생활에서 쓰이는 일상적인 언어 방식입니다. 동시에 이는 중국어 음성 인식에서 기술적으로 가장 까다로운 문제 중 하나입니다.
2026년 주요 광둥어 음성 인식 도구들 — Google, Apple, Microsoft Azure, OpenAI Whisper, Otter.ai, iFLYTEK, ElevenLabs, Speechmatics — 을 중립적이고 실용적인 관점에서 비교했습니다. 정확도, 코드 전환, 개인정보 보호, 그리고 일반 사용자가 실제로 얼마나 쉽게 쓸 수 있는지를 살펴봤습니다. 여기 소개된 도구들은 각자 잘하는 영역이 있으므로, 자신의 필요에 맞는 도구를 찾는 데 도움이 되고자 합니다.
정확도 측정 방식
전사 정확도는 보통 단어 오류율(WER) 또는 문자 오류율(CER) 로 표시됩니다 — 정확한 기준 텍스트와 비교했을 때 다른 단어 또는 문자의 비율입니다. 낮을수록 좋습니다. 대략 5% 미만이면 우수하고, 약 20% 정도면 상당한 수동 수정이 필요함을 의미합니다.
광둥어에서 가장 널리 인용되는 공개 벤치마크는 Common Voice Yue 데이터셋으로, 실제 광둥어 화자가 소리 내어 읽은 음성입니다. 이 깨끗하고 명료한 낭독 광둥어에 대해 독립 테스트에서 보고된 문자 오류율은 다음과 같습니다:
| 엔진 | 보고된 CER (Common Voice Yue) | 비고 |
|---|---|---|
| Apple (온디바이스) | ~7.4% | Mac/iPhone에서 로컬 실행 |
| Google Cloud Speech-to-Text | ~11.4% | "yue-Hant-HK" 모델 |
| Microsoft Azure / Cognitive Services | ~22.5% | 강력한 개발자 도구 제공 |
이 벤치마크에서 Apple의 온디바이스 광둥어 모델은 높은 점수를 기록합니다 — 보고된 CER이 이 데이터셋에서 Google보다 약 35%, Microsoft보다 약 67% 낮으며, 전체 처리가 기기 내에서 이루어집니다. Mac에서 깨끗한 광둥어를 받아쓰는 한 사람에게는 진정으로 좋은 무료 옵션입니다.
중요한 주의 사항이 있습니다: 이 벤치마크는 영어가 섞이지 않은, 깨끗하고 낭독되는 단일 화자 광둥어를 측정합니다. 홍콩 사람들이 실제로 말하는 방식과는 다릅니다.
왜 코드 전환이 진짜 시험대인가
Common Voice는 신중하고 단일 언어로 이루어진 음성입니다. 일상적인 홍콩 광둥어는 빠르고 대화체이며 영어와 혼재되어 있습니다:
"個 user feedback 話 個 flow 唔 make sense, 不如 我哋 sync 一 sync 先。"
깨끗한 광둥어에서의 벤치마크 점수는 위와 같은 문장을 도구가 얼마나 잘 처리하는지에 대해 거의 알려주지 않습니다. 광둥어-영어 코드 혼합에 관한 학술 연구는 모든 엔진에 어려운 두 가지 이유를 지적합니다:
- 광둥어 억양으로 발음되는 영어는 "표준" 영어와 다르게 들려, 영어 모델을 혼란시킬 수 있습니다.
- 코드 전환 학습 데이터 부족 — 많은 시스템이 주로 단일 언어 광둥어 또는 단일 언어 영어로 훈련되었을 뿐, 자연스러운 혼합 데이터는 아닙니다.
이는 특정 브랜드가 아닌 업계 전체에 해당하는 문제입니다. 더 광범위한 테스트에서, 코드 전환 오디오는 널리 사용되는 도구 전반에 걸쳐 정확도를 낮추었습니다 — 스페인어-영어 혼합에서 정확도가 하락했다는 사례가 널리 보고된 바 있습니다. 실용적인 결론: 홍콩 오디오의 경우, 도구가 광둥어 속 영어를 얼마나 잘 처리하는가가 헤드라인 벤치마크 점수보다 더 중요합니다.
도구별 상세 분석
Otter.ai
Otter는 전반적으로 가장 인기 있는 전사 앱 중 하나로, 뛰어난 회의 기능과 요약 기능을 갖추고 있습니다. 2026년 기준으로 전사 기능은 영어 중심이며 광둥어 전사는 제공하지 않습니다. 광둥어를 특별히 필요로 한다면 기본 지원이 있는 도구를 찾아야 합니다.
OpenAI Whisper
Whisper는 매우 다양한 언어를 지원하며 광둥어를 전사할 수 있습니다. 기본적으로 표준 서면 중국어를 출력하는 경향이 있습니다 (예: 구어체 "佢哋" 대신 "他們"). 구어체 출력을 보존하는 커뮤니티 파인튜닝 광둥어 모델도 존재하지만, 사용을 위해 기술적인 설정이 필요합니다. 따라서 Whisper는 앱을 바로 열고 싶은 사람보다는 개발자와 고급 사용자에게 적합합니다.
Google Cloud Speech-to-Text
Google의 "yue-Hant-HK" 모델은 확장성이 좋으며 Google Cloud 내에서 빠른 초안 작성 및 대용량 자동 처리에 적합한 선택입니다. 대부분의 자동화 엔진과 마찬가지로 원시 출력은 검토 과정을 거치는 것이 좋고, 코드 전환된 영어는 수정이 필요할 수 있습니다. 소비자용 앱이 아닌 API/개발자 제품입니다.
Microsoft Azure AI Speech
Azure는 강력한 개발자 도구와 Microsoft 클라우드 워크플로와의 깔끔한 통합을 제공하여 엔지니어링 팀에게 인기 있는 선택입니다. 공식 문서에는 코드 전환이 포함된 경우 광둥어 출력을 검토하는 것이 좋다고 명시되어 있습니다. Google과 마찬가지로 자체 애플리케이션을 구축하는 개발자를 대상으로 합니다.
iFLYTEK (科大訊飛)
iFLYTEK는 선도적인 음성 AI 기업으로 홍콩에 많은 투자를 해왔습니다. 현재는 로컬 시장을 직접 겨냥한 광둥어 지원을 제공하며 — iFLYREC 다국어 회의 시스템 (홍콩·마카오 에디션) 및 사용자가 광둥어, 보통화, 영어 를 전환할 수 있는 회의 솔루션, 온프레미스 옵션과 번역 하드웨어도 포함됩니다. 온프레미스 호스팅이나 전용 하드웨어가 워크플로에 맞는 기업 및 컨퍼런스 배포 에 특히 적합한, 능력 있는 전문 옵션입니다.
ElevenLabs Scribe & Speechmatics
두 제품 모두 강력하고 현대적인 음성 인식 엔진입니다. ElevenLabs는 광둥어를 더 높은 정확도 티어에 배치하고, Speechmatics는 낮은 지연 시간과 높은 정확도를 광고합니다. 두 제품 모두 주로 클라우드, 유료, API 우선 서비스로 — 개발자에게 훌륭한 구성 요소이며 오디오는 클라우드에서 처리됩니다.
한눈에 보는 비교 요약
| 도구 | 광둥어 지원 | 적합한 대상 | 온디바이스 실행 | 일반적인 접근 방식 |
|---|---|---|---|---|
| Otter.ai | 영어 중심 | 영어 회의 | 아니요 | 구독 앱 |
| Apple Dictation | 예 (깨끗한 오디오에서 강력) | Mac/iPhone 받아쓰기 | 예 | 내장, 무료 |
| Google Cloud STT | 예 | 개발자, 대량 초안 | 아니요 | API / 종량제 |
| Microsoft Azure | 예 | 개발자, MS 워크플로 | 아니요 | API / 종량제 |
| OpenAI Whisper | 예 (→ 서면 중국어) | 개발자, 고급 사용자 | 예 (기술 필요) | 오픈소스 / 자체 호스팅 |
| iFLYTEK | 예 (HK 3개 언어) | 기업, 컨퍼런스 | 온프레미스 옵션 | 기업 / 하드웨어 |
| ElevenLabs / Speechmatics | 예 | 개발자 | 아니요 | 유료 API |
| Traverba | 예 (HK 맞춤 튜닝) | 일반 사용자 | 예 | 무료 앱 |
단 하나의 "최고" 도구는 없습니다 — 무엇을 하느냐에 따라 달라집니다. 제품을 개발하는 개발자라면 Whisper나 Azure를 선호할 것입니다. 컨퍼런스 주최자라면 iFLYTEK의 전용 시스템이 가장 적합할 수 있습니다. 깨끗한 광둥어를 받아쓰는 Mac 사용자라면 Apple이 무료로 내장되어 있습니다.
올바른 도구를 선택하는 세 가지 질문
1. 오디오에 영어가 얼마나 포함되어 있나요? 녹음이 대부분 깨끗한 광둥어라면 헤드라인 벤치마크가 좋은 기준이 됩니다. 홍콩의 대부분의 회의처럼 문장 중간에 영어가 가득하다면, 코드 전환을 위해 특별히 구축되거나 튜닝된 도구를 우선시하세요.
2. 오디오가 어디에서 처리되나요? 클라우드 전사는 녹음을 제3자 서버에 업로드한다는 의미입니다. 민감한 회의, 의료, 법률 오디오의 경우 온디바이스 처리를 통해 데이터를 휴대폰이나 컴퓨터에 보관할 수 있습니다.
3. 기술적인 역량이 어느 정도인가요? Whisper, Azure, API 엔진은 개발자 도구입니다. iFLYTEK의 컨퍼런스 시스템은 기업 배포 제품입니다. 그냥 앱을 열고, 녹음 버튼을 누르고, 전사 결과를 읽고 싶다면 그에 맞게 설계된 소비자 앱이 필요합니다.
Traverba의 위치
Traverba는 바로 그 마지막 그룹을 위해 만들어졌습니다 — 간단한 것을 원하는 일반 사용자. API 키도, 클라우드 계정도, 기업 롤아웃도 필요 없습니다. 앱을 열면 바로 작동합니다.
초점은 홍콩 사람들이 실제로 사용하는 언어입니다: 영어가 섞인 광둥어. 영어를 제거해야 할 것으로 처리하는 대신, Traverba는 로컬 언어 패턴 — 실제 대화에서 나오는 문장 중간의 영어, 브랜드 이름, 슬랭 — 에 맞춰 튜닝되어 있습니다. 그리고 온디바이스로 처리하기 때문에, 오디오가 서버에 업로드되지 않고 사용자와 함께 남습니다.
Traverba는 기업 컨퍼런스 시스템이나 전문 인간 전사자를 대체하려는 것이 아닙니다 — 그것들은 각자의 역할이 있습니다. 광둥어와 영어가 뒤섞이는 일상적인 순간에, 자신의 휴대폰에서 빠르게 읽을 수 있는 텍스트가 필요할 때를 위해 만들어진 것입니다.
지금 사용해 보세요
Traverba는 두 플랫폼 모두에서 무료입니다 — 음성 번역, 카메라 번역, 화면 번역, 텍스트 번역 모두 무료로 무제한 제공됩니다.
Google Play 및 App Store에서 이용 가능합니다. 자세한 내용은 traverba.com을 방문하세요.
이 비교에 포함된 모든 도구는 각자 잘하는 영역이 있습니다. 일상적인 홍콩 광둥어-영어를 위해 튜닝된 간단한 온디바이스 앱이 필요하다면, Traverba가 바로 그것을 위해 만들어졌습니다.
위에서 언급된 정확도 수치는 Common Voice Yue 데이터셋의 공개 광둥어 ASR 벤치마크와 광둥어-영어 코드 전환에 관한 발표된 연구에서 가져온 것입니다. 기능 및 언어 지원은 2026년 6월 기준 각 제공업체의 서비스를 반영하며 변경될 수 있습니다. 실제 정확도는 오디오 품질, 억양, 대화 내 영어 비율에 따라 달라지므로 자신의 오디오로 직접 테스트해 보시기 바랍니다.