Argus Cortex LLM 受大脑启发的语言模型,用于实时多语言组织沟通

Cortex LLM 是 Argus 核心的语言模型。其架构借鉴人脑的感知方式:同时接收多种信号,选择关注重点,在工作记忆中保留上下文,依据已有知识进行预测并检查自身置信度,而不是一次孤立地翻译一句话。

ไทย English 中文 日本語 한국어
了解架构 查看路线图

一句话如何经过 CORTEX

示意示例
SP

“เราต้อง finalize spec ภายในวันศุกร์นี้”

输入 · 会议音频

1 · 感知

语音编码,识别声音与语气

说话人 · Somchai P. 听到泰语 + 英语 语气 · 平静

2 · 注意力与绑定

锁定主声音,绑定语言

过滤附近声音 Somchai → TH 保留夹杂的英语

3 · 理解

理解含义,为每位听众呈现

“We need to finalize the spec by this Friday.”

EN中文日本語한국어

4 · 执行

提出行动,由用户确认

TASK → ORIGAMI

确定规格

周五截止 · 置信度:高

⇅ Global Workspace 工作记忆: 话题是 Q4 规格 预测先验: 预期“spec”“deadline” 元认知: 向用户显示置信度

问题

为两人设计的翻译,在真实会议中失灵

现有翻译系统为个人用户设计,一次处理一句话,没有连续的上下文。这适用于两人对话,但在多人、多语言、上下文贯穿整场会议的组织会议中就会失效。

谁在说话,说哪种语言?

系统必须无需设置就知道每个人说哪种语言,并保持识别稳定,而不是来回切换。

语码转换

亚洲组织中的人常在泰语、中文或日语句子中夹杂英语。

缺少上下文

逐句翻译会丢失代词、对前文的指代以及组织自身的术语。

速度与准确度

快速翻译往往不准确;准确翻译又往往太慢,跟不上实时对话。

信任

用户看不到 AI 如何做决定,因此在重要会议中不敢依赖它。

语言资源稀缺

与英语和中文相比,来自商务会议的泰语语音数据仍然稀少。

人脑每天都在解决这些问题。

专业口译员能同时听多人发言、记住上下文、推测没听清的词,并知道自己何时不确定。Cortex 探索的是:这些大脑原理能否转化为 AI 架构。

理论框架

十项大脑原理,转化为系统设计

Cortex 并不模拟神经元。它采用认知神经科学中公认的工作原理,作为工程上的类比来定义每个模块的职责,并不声称在生物学上像大脑一样运作。

大脑原理及 Cortex 的应用方式
大脑原理 在大脑中 在 CORTEX 中
多感官整合将多种感官信号融合为一个知觉将词语、语气、节奏和情绪融合为一个语音表示
声音识别专门区域识别个人声音说话人嵌入(ECAPA-TDNN)与每位说话人的身份和语言绑定
选择性注意
鸡尾酒会效应
在噪音中锁定目标声音加权主说话人并过滤附近声音的注意力机制
工作记忆
Baddeley
暂时保存信息以供持续处理Meeting Context Buffer 在整场会议中保存说话人、话题和指代
预测加工
Friston
预测即将输入的内容,再根据误差修正Topic-aware Prior 根据话题预测术语和含义,并修正听不清的词
语言中枢
Wernicke / Broca
理解与表达是相互协作的两个独立过程将理解层与目标语言生成分开
全局工作空间
Baars
重要信息同时广播给多个系统每个模块都可读写的共享工作空间
长期记忆巩固把重要内容从短期记忆转入长期记忆会后在获得同意的前提下,将知识总结进组织知识库
前额叶执行功能规划、权衡选项并控制行为Consult 与 Act 模块
元认知知道自己是否知道置信度估计标出不确定之处供用户核对

架构

四个层级,一个 Global Workspace

处理分为四层,从感知到行动。信号向下流动,而 Global Workspace 将上下文回传到每一层:会议记忆帮助翻译,Predictive Prior 帮助感知层修正没听清的词。

输入 · 会议音频,多位说话人,多种语言

1 · 感知

语音转文字、声纹、语气和情绪

Speech EncoderVoice IdentityTone & Emotion

2 · 注意力与绑定

主说话人、噪音过滤、稳定的语言绑定

Selective AttentionSpeaker-Language Binding

3 · 理解

含义与意图,同时以多种语言呈现

ComprehensionMultilingual Generation

4 · 执行

提供建议、创建任务、汇总到 Origami

ConsultActSummarize
输出 · 转写 · 5 种语言翻译 · 建议 · Origami 任务

Global Workspace

每一层都在这里双向读写共享上下文。

Working Memory

会议上下文缓冲:说话人、话题和指代

Long-term Memory

组织知识与术语(经同意)

Predictive Prior

根据当前话题预判术语和含义

元认知

估计置信度并向用户显示不确定之处

⇄ 连接全部四层

研究问题与假设

我们要证明什么

核心假设:在组织场景中,当系统像大脑一样处理,而非孤立地逐句翻译时,转写和翻译会显著更准确、更自然。

研究问题

RQ1

与仅凭音频检测相比,结合声纹与对话上下文后,说话人语言识别能稳定多少?

RQ2

与逐句翻译相比,会议级工作记忆能将翻译质量提升多少?

RQ3

基于话题的预测处理能将专业术语的转写错误降低多少?

RQ4

多级翻译(快速 → 句子润色 → 段落组织)能否平衡延迟与准确度?

RQ5

显示 AI 的置信度能否提升用户的信任和采用?

假设

H1

与基线相比,用声纹加上下文绑定语言可显著降低语言反复切换率。

H2

使用会议级工作记忆的翻译得分显著高于逐句翻译。

H3

用基于话题的术语库调优模型,可显著降低专业术语词错误率。

H4

使用 Argus 时,用户对多语言会议的理解评分更高。

路线图

五个阶段,每个阶段都有关卡

开发遵循大脑自身的顺序,从感知到推理。每个阶段以前一阶段为基础,并须通过可衡量的出口关卡。每通过一个阶段,Argus 的相应能力即可上线,无需等待全部五个阶段。

阶段 1 · 感知

听懂 5 种语言

5 语言语音识别并针对泰语微调 · 说话人分离(ECAPA-TDNN)· 模拟会议数据集 · 各指标基线

关卡 1 · WER/CER 与 DER 相对基线达标

阶段 2 · 注意力

注意力与语言绑定

自动说话人–语言绑定(声纹 + 上下文)· 语码转换 · 过滤附近声音 · 一键更正语言标签

关卡 2 · 语言识别 ≥ 95% · 反复切换率下降 ≥ 50%

阶段 3 · 理解

理解与记忆

Meeting Context Buffer · 三级翻译 · 句级口译 · 多语言同时翻译

关卡 3 · 质量优于逐句翻译 · 延迟低于 2 秒

阶段 4 · 预测

预测与组织记忆

Topic-aware Prior · Domain Skills 术语库 · 组织长期记忆(经 PDPA 同意)

关卡 4 · 领域术语 WER 下降 ≥ 30% · DPO 批准

阶段 5 · 推理

推理与元认知

Consult · Act · Summarize 连接 Origami · 置信度估计 · 在试点组织实地测试

Cortex LLM v1.0 在 Argus 中上线

指标与出口关卡

每个阶段如何衡量

以下为初步目标,待阶段 1 测得基线后将设定为具体数值。

各阶段指标与初步目标
阶段 指标 衡量内容 初步目标
1 感知各语言 WER / CER转写错误率(泰语、中文、日语用 CER)泰语比公开基线好 ≥ 20%
1 感知DER说话人分离错误率在模拟会议上低于基线
2 绑定与注意力语言识别准确率正确识别每位说话人的语言每个语音片段 ≥ 95%
2 绑定与注意力反复切换率每位说话人每小时的错误语言切换次数较基线下降 ≥ 50%
3 理解与记忆COMET / 母语评审语义层面的翻译质量显著优于逐句翻译
3 理解与记忆首次显示延迟从说完到首个译文出现的时间< 2 秒
4 预测与组织记忆领域术语 WER组织专用术语的错误较通用模型下降 ≥ 30%
5 推理与元认知校准误差显示的置信度与实际准确度的吻合程度低于阶段 4 商定的阈值
5 推理与元认知用户理解与信任试点组织的会后问卷显著优于对照组

稳定比微小的准确度提升更能建立信任。

设计 Argus 的一个重要经验:较低的反复切换率,即语言识别不来回变化,比准确度略有提升更能让系统显得可靠。因此反复切换率是阶段 2 的主要关卡。

方法

构建、测试,再在真实组织中验证

研究采用设计科学研究方法并结合定量实验:构建系统,在标准数据集上测试,在真实组织中评估,并在每个阶段重复。

数据

公开数据集

全部 5 种语言的语音识别、说话人分离和翻译基线。

模拟会议

经参与者同意,录制包含语言切换、重叠发言和噪音等设计场景的多语言录音。

泰语商务语音

夹杂英语术语的泰语会议音频,转写经专家核对。

试点组织

来自试点伙伴的数据,受数据使用协议和 PDPA 约束。

实验

E1 · 语言绑定

仅音频检测 vs. 声纹 + 上下文

RQ1 · H1

E2 · 上下文记忆

逐句翻译 vs. 使用 Meeting Context Buffer

RQ2 · H2

E3 · 专业术语

通用模型 vs. 带 Topic-aware Prior 的模型

RQ3 · H3

E4 · 多级翻译

一级 vs. 三级,衡量延迟与质量

RQ4

E5 · 实地研究

试点组织中使用与不使用 Argus 的多语言会议对比

RQ5 · H4

伦理、隐私与 PDPA

声纹是生物特征数据。我们从第一天起就这样对待它。

根据泰国 PDPA,声纹属于生物特征数据,因此这些原则从阶段 1 起适用。

同意优先

研究数据和试点会议的每位参与者都提供书面同意。

声纹仅限会议使用

默认情况下,会议结束即删除声纹,仅在获得同意时保留。

音频留在本地

音频和生物特征数据不离开组织;只有文本上云。

不登记外部人员

会议以外的人的声音,例如邻桌或附近展位,绝不会被登记。

透明

参与者始终知道何时在录音和翻译,以及身份和语言是如何识别的。

每次变更都咨询 DPO

每当数据类型或保留期限变化时,都会咨询数据保护官。

不做隐性评估

没有明确政策和同意时,会议数据不用于评估个人绩效。

成果

我们的预期、仍存在的难点,以及下一步

预期成果

学术: 一套用于多说话人会议翻译的类脑架构,以及关于亚洲语言说话人–语言绑定的新知识。

资源: 面向语码转换泰语商务会议的数据集和评估方法。

产品: Cortex LLM v1.0 作为 Argus 的核心,连接 Origami Platform。

组织: 证明 AI 辅助的多语言沟通能提升会议理解与成果。

局限

相近的语言(如泰语和老挝语)可能导致语言识别错误。

多人同时说话仍是说话人分离的难题。

来自有限试点组织的实地结果可能无法代表所有行业。

大脑类比是一种设计框架,而非生物学模拟。

下一步:Cortex v2.0 及以后

更多语言,例如越南语、印尼语及其他东盟语言。

在音频之外增加视觉感知,例如会议中屏幕上的幻灯片和文档。

将会议信号接入 Origami HR Skills Graph,形成持续的证据循环。

在您自己的会议中看看 Cortex 如何工作

预约演示 返回 ARGUS