项目/运行中·2026

双语电话点餐 → 结构化订单(AssemblyAI)

中英混说的电话点餐录音,转写、抽取成订单,再按菜单定价、和店员复述交叉核对,没把握的单标出来给人复核

GitHub ↗

新加坡的顾客点餐很少只用一种语言。“两份海南鸡饭,一份要少辣, and one char kway teow, 加蛋”是很正常的一句话。这个 demo 把这样的电话录音变成厨房能直接用的订单,拿不准的单标出来给人复核。

流程

  • 转写:AssemblyAI Universal-3.5 Pro,限定中英两种语言,句中混说照原样保留;区分店员和顾客;把菜单的中英名称作为 keyterms
  • 抽取:LLM Gateway 按 JSON schema 抽取订单,菜品只能从菜单里选
  • 校验:价格只按菜单计算,不让模型定价;检查新加坡手机号、菜单外菜品、异常数量
  • 交叉核对:再抽取一次店员的复述,和顾客的订单逐项比对,不一致就标为需要复核

实测发现

用一段 37 秒的合成录音实测,结果全部照实写在 README 里,包括没做好的部分:

  • 转写很强:句中混说保留得很好,菜名基本正确
  • 免费账户只能用 4B 小模型,订单会抽错数量和修饰
  • 交叉核对能抓住两次抽取各自不同的错误,但两次用同一个模型时会犯同一个错,这个就抓不到
  • 两处 API 行为和文档不一致,整理成了给产品的反馈