语音与图片
AI 如何识别 WhatsApp 语音消息
说明 AI 把 WhatsApp 语音转成文字的基本流程、自动语种检测、噪声与口音的误差来源,以及三端的操作入口与隐私边界。
语音识别的输入是音频,输出是文字。翻译、搜索、摘要、回复草稿,都依赖这第一步是否可用。原文干净,后面的结果才站得住;原文可疑,上面的每一步都会被污染。
这个过程既不是魔法,也不完美。知道它在哪些地方出错,才能判断哪些消息可以直接用,哪些数字必须再核对一遍,什么时候该请对方重说。
基本流程:音频、文字、可选翻译
应用把音频提交给语音模型,模型返回带标点和断句的文字。如果你选择了翻译,再由文本模型处理这份文字。两个模型意味着两次出错的机会,也意味着两次发现错误的机会。
翻译读的是文字,不是声音,所以听错的词会变成译错的词。识别原文与结果一起显示,方便逐句对照。两者分歧时,音频是唯一的真相来源。
支持格式与异步队列
支持的格式是 OGG/Opus、MP3、WAV 和 M4A。WhatsApp 语音通常是 OGG/Opus,转发的文件可能是 MP3、WAV 或 M4A。其他格式会被拒绝,不会悄悄转换;文件加载不了,先查格式。
语音识别异步执行:先提交音频,再轮询结果。录音越长等待越久,任务运行期间界面不被占用。文字与图片最多同步等待 8 秒,语音在此之后继续在后台处理。
语种检测、口音与噪声
模型会自动判断说话语种。语种明确时,可以按 BCP 47 格式传入语种提示,缩小选择范围,短音频和混合语言片段受益最明显。语种判断错了,后面的每个词都会更差。
重口音、多人抢话、风声、车流声和麦克风音量过低都会抬高错误率。读起来通顺的文字,内容仍可能是错的,因为语言模型会用听起来合理的词补上空缺。
数字、人名与型号
价格、数量、日期、电话、产品型号和公司名称,是转写里最脆弱的部分。它们短、缺少上下文纠错,相近的发音还可能落到不同数字上。差一位数,订单就是另一张订单。
把数字抄进订单、报价单或付款指令之前,先回放音频,或直接与对方确认。核对只要几秒,改错可能要好几天。
隐私:只处理一条,不批量扫描
应用只读取你选中的那条消息。它不扫描会话、联系人或历史消息,也不发送 WhatsApp 消息。选中一条,就是全部的权限边界。
使用官方服务时,音频经 wa.inwindoverseas.com 转发给配置的语音提供方;网页端使用自有接口时,音频发送到你填写的地址。网页端结果存放在扩展 IndexedDB;Android 保存本机历史;iPhone 快捷指令只在结果页显示。三者都不声称加密保存。可在对应设置里清空。
按端操作
网页端
- 在 WhatsApp Web 打开那条语音,点开消息菜单。
- 选择识别,或识别并翻译。
- 在消息下方的结果卡片里查看识别原文;播放器取不到音频时改选本地文件。
iPhone
- 在 WhatsApp 里把单条音频分享给乘风WA助手快捷指令。
- 首次运行时选择界面语言与目标语言。
- 在结果页查看识别原文,复制需要的内容。
Android
- 在 WhatsApp 里把单条音频分享给原生应用。
- 选择识别,或识别并翻译。
- 从结果页复制识别原文。
常见问题
所有语种都能识别吗?
语种支持取决于语音提供方。短音频或噪声大的片段可能判断错误,传入语种提示会有帮助。
转写结果一定准确吗?
不一定。准确率受噪声、口音和词汇影响。没有工具能保证百分之百准确,我们也不这样承诺。
没打开过的语音能识别吗?
不能。只处理你选中的那一条消息。
音频会留在本机吗?
不会。选中的音频会发送给配置的服务;网页端使用自有接口时,发送到你填写的地址。保存结果按各端的存储方式处理,都不声称加密。
把下一条 WhatsApp 消息交给乘风
读懂客户的外语消息,用熟悉的语言准备回复。文字、图片和语音都可以。