双语电话点餐 → 结构化订单(AssemblyAI)
中英混说的电话点餐录音,转写、抽取成订单,再按菜单定价、和店员复述交叉核对,没把握的单标出来给人复核
新加坡的顾客点餐很少只用一种语言。“两份海南鸡饭,一份要少辣, and one char kway teow, 加蛋”是很正常的一句话。这个 demo 把这样的电话录音变成厨房能直接用的订单,拿不准的单标出来给人复核。
流程
- 转写:AssemblyAI Universal-3.5 Pro,限定中英两种语言,句中混说照原样保留;区分店员和顾客;把菜单的中英名称作为 keyterms
- 抽取:LLM Gateway 按 JSON schema 抽取订单,菜品只能从菜单里选
- 校验:价格只按菜单计算,不让模型定价;检查新加坡手机号、菜单外菜品、异常数量
- 交叉核对:再抽取一次店员的复述,和顾客的订单逐项比对,不一致就标为需要复核
实测发现
用一段 37 秒的合成录音实测,结果全部照实写在 README 里,包括没做好的部分:
- 转写很强:句中混说保留得很好,菜名基本正确
- 免费账户只能用 4B 小模型,订单会抽错数量和修饰
- 交叉核对能抓住两次抽取各自不同的错误,但两次用同一个模型时会犯同一个错,这个就抓不到
- 两处 API 行为和文档不一致,整理成了给产品的反馈