问题
现有翻译系统为个人用户设计,一次处理一句话,没有连续的上下文。这适用于两人对话,但在多人、多语言、上下文贯穿整场会议的组织会议中就会失效。
系统必须无需设置就知道每个人说哪种语言,并保持识别稳定,而不是来回切换。
亚洲组织中的人常在泰语、中文或日语句子中夹杂英语。
逐句翻译会丢失代词、对前文的指代以及组织自身的术语。
快速翻译往往不准确;准确翻译又往往太慢,跟不上实时对话。
用户看不到 AI 如何做决定,因此在重要会议中不敢依赖它。
与英语和中文相比,来自商务会议的泰语语音数据仍然稀少。
人脑每天都在解决这些问题。
专业口译员能同时听多人发言、记住上下文、推测没听清的词,并知道自己何时不确定。Cortex 探索的是:这些大脑原理能否转化为 AI 架构。
理论框架
Cortex 并不模拟神经元。它采用认知神经科学中公认的工作原理,作为工程上的类比来定义每个模块的职责,并不声称在生物学上像大脑一样运作。
| 大脑原理 | 在大脑中 | 在 CORTEX 中 |
|---|---|---|
| 多感官整合 | 将多种感官信号融合为一个知觉 | 将词语、语气、节奏和情绪融合为一个语音表示 |
| 声音识别 | 专门区域识别个人声音 | 说话人嵌入(ECAPA-TDNN)与每位说话人的身份和语言绑定 |
| 选择性注意 鸡尾酒会效应 | 在噪音中锁定目标声音 | 加权主说话人并过滤附近声音的注意力机制 |
| 工作记忆 Baddeley | 暂时保存信息以供持续处理 | Meeting Context Buffer 在整场会议中保存说话人、话题和指代 |
| 预测加工 Friston | 预测即将输入的内容,再根据误差修正 | Topic-aware Prior 根据话题预测术语和含义,并修正听不清的词 |
| 语言中枢 Wernicke / Broca | 理解与表达是相互协作的两个独立过程 | 将理解层与目标语言生成分开 |
| 全局工作空间 Baars | 重要信息同时广播给多个系统 | 每个模块都可读写的共享工作空间 |
| 长期记忆巩固 | 把重要内容从短期记忆转入长期记忆 | 会后在获得同意的前提下,将知识总结进组织知识库 |
| 前额叶执行功能 | 规划、权衡选项并控制行为 | Consult 与 Act 模块 |
| 元认知 | 知道自己是否知道 | 置信度估计标出不确定之处供用户核对 |
架构
处理分为四层,从感知到行动。信号向下流动,而 Global Workspace 将上下文回传到每一层:会议记忆帮助翻译,Predictive Prior 帮助感知层修正没听清的词。
语音转文字、声纹、语气和情绪
主说话人、噪音过滤、稳定的语言绑定
含义与意图,同时以多种语言呈现
提供建议、创建任务、汇总到 Origami
每一层都在这里双向读写共享上下文。
Working Memory
会议上下文缓冲:说话人、话题和指代
Long-term Memory
组织知识与术语(经同意)
Predictive Prior
根据当前话题预判术语和含义
元认知
估计置信度并向用户显示不确定之处
⇄ 连接全部四层
研究问题与假设
核心假设:在组织场景中,当系统像大脑一样处理,而非孤立地逐句翻译时,转写和翻译会显著更准确、更自然。
研究问题
与仅凭音频检测相比,结合声纹与对话上下文后,说话人语言识别能稳定多少?
与逐句翻译相比,会议级工作记忆能将翻译质量提升多少?
基于话题的预测处理能将专业术语的转写错误降低多少?
多级翻译(快速 → 句子润色 → 段落组织)能否平衡延迟与准确度?
显示 AI 的置信度能否提升用户的信任和采用?
假设
与基线相比,用声纹加上下文绑定语言可显著降低语言反复切换率。
使用会议级工作记忆的翻译得分显著高于逐句翻译。
用基于话题的术语库调优模型,可显著降低专业术语词错误率。
使用 Argus 时,用户对多语言会议的理解评分更高。
路线图
开发遵循大脑自身的顺序,从感知到推理。每个阶段以前一阶段为基础,并须通过可衡量的出口关卡。每通过一个阶段,Argus 的相应能力即可上线,无需等待全部五个阶段。
阶段 1 · 感知
听懂 5 种语言
关卡 1 · WER/CER 与 DER 相对基线达标
阶段 2 · 注意力
注意力与语言绑定
关卡 2 · 语言识别 ≥ 95% · 反复切换率下降 ≥ 50%
阶段 3 · 理解
理解与记忆
关卡 3 · 质量优于逐句翻译 · 延迟低于 2 秒
阶段 4 · 预测
预测与组织记忆
关卡 4 · 领域术语 WER 下降 ≥ 30% · DPO 批准
阶段 5 · 推理
推理与元认知
Cortex LLM v1.0 在 Argus 中上线
指标与出口关卡
以下为初步目标,待阶段 1 测得基线后将设定为具体数值。
| 阶段 | 指标 | 衡量内容 | 初步目标 |
|---|---|---|---|
| 1 感知 | 各语言 WER / CER | 转写错误率(泰语、中文、日语用 CER) | 泰语比公开基线好 ≥ 20% |
| 1 感知 | DER | 说话人分离错误率 | 在模拟会议上低于基线 |
| 2 绑定与注意力 | 语言识别准确率 | 正确识别每位说话人的语言 | 每个语音片段 ≥ 95% |
| 2 绑定与注意力 | 反复切换率 | 每位说话人每小时的错误语言切换次数 | 较基线下降 ≥ 50% |
| 3 理解与记忆 | COMET / 母语评审 | 语义层面的翻译质量 | 显著优于逐句翻译 |
| 3 理解与记忆 | 首次显示延迟 | 从说完到首个译文出现的时间 | < 2 秒 |
| 4 预测与组织记忆 | 领域术语 WER | 组织专用术语的错误 | 较通用模型下降 ≥ 30% |
| 5 推理与元认知 | 校准误差 | 显示的置信度与实际准确度的吻合程度 | 低于阶段 4 商定的阈值 |
| 5 推理与元认知 | 用户理解与信任 | 试点组织的会后问卷 | 显著优于对照组 |
稳定比微小的准确度提升更能建立信任。
设计 Argus 的一个重要经验:较低的反复切换率,即语言识别不来回变化,比准确度略有提升更能让系统显得可靠。因此反复切换率是阶段 2 的主要关卡。
方法
研究采用设计科学研究方法并结合定量实验:构建系统,在标准数据集上测试,在真实组织中评估,并在每个阶段重复。
数据
公开数据集
全部 5 种语言的语音识别、说话人分离和翻译基线。
模拟会议
经参与者同意,录制包含语言切换、重叠发言和噪音等设计场景的多语言录音。
泰语商务语音
夹杂英语术语的泰语会议音频,转写经专家核对。
试点组织
来自试点伙伴的数据,受数据使用协议和 PDPA 约束。
实验
E1 · 语言绑定
仅音频检测 vs. 声纹 + 上下文
RQ1 · H1
E2 · 上下文记忆
逐句翻译 vs. 使用 Meeting Context Buffer
RQ2 · H2
E3 · 专业术语
通用模型 vs. 带 Topic-aware Prior 的模型
RQ3 · H3
E4 · 多级翻译
一级 vs. 三级,衡量延迟与质量
RQ4
E5 · 实地研究
试点组织中使用与不使用 Argus 的多语言会议对比
RQ5 · H4
伦理、隐私与 PDPA
根据泰国 PDPA,声纹属于生物特征数据,因此这些原则从阶段 1 起适用。
同意优先
研究数据和试点会议的每位参与者都提供书面同意。
声纹仅限会议使用
默认情况下,会议结束即删除声纹,仅在获得同意时保留。
音频留在本地
音频和生物特征数据不离开组织;只有文本上云。
不登记外部人员
会议以外的人的声音,例如邻桌或附近展位,绝不会被登记。
透明
参与者始终知道何时在录音和翻译,以及身份和语言是如何识别的。
每次变更都咨询 DPO
每当数据类型或保留期限变化时,都会咨询数据保护官。
不做隐性评估
没有明确政策和同意时,会议数据不用于评估个人绩效。
成果
学术: 一套用于多说话人会议翻译的类脑架构,以及关于亚洲语言说话人–语言绑定的新知识。
资源: 面向语码转换泰语商务会议的数据集和评估方法。
产品: Cortex LLM v1.0 作为 Argus 的核心,连接 Origami Platform。
组织: 证明 AI 辅助的多语言沟通能提升会议理解与成果。
相近的语言(如泰语和老挝语)可能导致语言识别错误。
多人同时说话仍是说话人分离的难题。
来自有限试点组织的实地结果可能无法代表所有行业。
大脑类比是一种设计框架,而非生物学模拟。
更多语言,例如越南语、印尼语及其他东盟语言。
在音频之外增加视觉感知,例如会议中屏幕上的幻灯片和文档。
将会议信号接入 Origami HR Skills Graph,形成持续的证据循环。