문제
오늘날의 번역 시스템은 개인 사용자를 위해 설계되어, 이어지는 맥락 없이 한 번에 한 문장씩 처리합니다. 두 사람의 대화에는 통하지만, 화자와 언어가 많고 회의 내내 맥락이 쌓이는 조직 회의에서는 실패합니다.
시스템은 설정 없이 각 사람이 어떤 언어를 쓰는지 알아야 하고, 왔다 갔다 하지 않고 안정적으로 식별해야 합니다.
아시아 조직의 사람들은 태국어, 중국어, 일본어 문장에 영어를 자주 섞어 씁니다.
문장 단위 번역은 대명사, 앞선 내용에 대한 언급, 조직 고유의 용어를 잃어버립니다.
빠른 번역은 부정확하기 쉽고, 정확한 번역은 실시간 대화에 너무 느리기 쉽습니다.
사용자는 AI가 어떻게 판단하는지 볼 수 없어 중요한 회의에서 의지하기를 망설입니다.
비즈니스 회의의 태국어 음성 데이터는 영어나 중국어에 비해 아직 부족합니다.
인간의 뇌는 매일 이 문제들을 해결합니다.
전문 통역사는 여러 사람의 말을 듣고, 맥락을 기억하고, 잘 들리지 않은 단어를 추측하며, 확실하지 않을 때를 압니다. Cortex는 이런 뇌의 원리를 AI 아키텍처로 바꿀 수 있는지 묻습니다.
이론적 틀
Cortex는 뉴런을 시뮬레이션하지 않습니다. 인지신경과학에서 인정된 작동 원리를 공학적 비유로 삼아 각 모듈의 역할을 정의할 뿐, 생물학적으로 뇌처럼 작동한다고 주장하지 않습니다.
| 뇌 원리 | 뇌에서는 | CORTEX에서는 |
|---|---|---|
| 다감각 통합 | 여러 감각의 신호를 하나의 지각으로 통합 | 단어, 어조, 리듬, 감정을 하나의 발화 표현으로 결합 |
| 목소리 인식 | 전담 영역이 개인의 목소리를 인식 | 화자 임베딩(ECAPA-TDNN)을 각 화자의 신원과 언어에 결합 |
| 선택적 주의 칵테일 파티 효과 | 소음 속에서 목표 목소리에 집중 | 주 화자에 가중치를 두고 주변 목소리를 걸러내는 주의 메커니즘 |
| 작업 기억 Baddeley | 진행 중인 처리를 위해 정보를 일시적으로 보관 | Meeting Context Buffer가 회의 전체의 화자, 주제, 참조를 유지 |
| 예측 처리 Friston | 들어올 입력을 예측한 뒤 오차로 보정 | Topic-aware Prior가 주제로부터 용어와 의미를 예측하고 불분명한 단어를 보정 |
| 언어 중추 Wernicke / Broca | 이해와 산출은 함께 작동하는 별개의 과정 | 이해 계층과 목표 언어 생성을 분리 |
| 글로벌 워크스페이스 Baars | 중요한 정보가 여러 시스템에 동시에 전달 | 모든 모듈이 읽고 쓰는 공유 작업 공간 |
| 장기 기억 공고화 | 중요한 것을 단기 기억에서 장기 기억으로 이동 | 회의 후 동의를 받아 지식을 조직의 지식 베이스에 요약 |
| 전전두엽 실행 기능 | 계획하고, 선택지를 저울질하고, 행동을 통제 | Consult 및 Act 모듈 |
| 메타인지 | 자신이 아는지 모르는지를 앎 | 확신도 추정으로 불확실한 부분을 표시해 사용자가 확인 |
아키텍처
처리는 지각에서 행동까지 네 계층으로 이루어집니다. 신호는 아래로 흐르고, Global Workspace는 모든 계층에 맥락을 되돌려 보냅니다. 회의 기억은 번역을 돕고, Predictive Prior는 지각 계층이 잘 듣지 못한 단어를 보정하도록 돕습니다.
음성을 텍스트로, 성문, 어조와 감정
주 화자, 소음 필터링, 안정적인 언어 결합
의미와 의도를 여러 언어로 동시에 표시
조언, 작업 생성, Origami로 요약
모든 계층이 이곳에서 공유 맥락을 양방향으로 읽고 씁니다.
Working Memory
회의 맥락 버퍼: 화자, 주제, 참조
Long-term Memory
동의를 받은 조직 지식과 용어
Predictive Prior
현재 주제로부터 용어와 의미를 예상
메타인지
확신도를 추정하고 불확실한 부분을 사용자에게 표시
⇄ 네 계층 모두와 연결
연구 질문과 가설
핵심 가설: 조직 환경에서 시스템이 문장을 따로 번역하지 않고 뇌처럼 처리할 때, 전사와 번역은 유의미하게 더 정확하고 자연스러워진다.
연구 질문
음성만으로 감지할 때와 비교해, 성문과 대화 맥락을 결합하면 화자 언어 식별이 얼마나 더 안정적인가?
회의 단위 작업 기억은 문장 단위 번역보다 번역 품질을 얼마나 높이는가?
주제 기반 예측 처리는 전문 용어의 전사 오류를 얼마나 줄이는가?
다단계 번역(빠른 번역 → 문장 다듬기 → 문단 구성)은 속도와 정확도의 균형을 맞출 수 있는가?
AI의 확신도를 보여주면 사용자의 신뢰와 활용이 높아지는가?
가설
성문과 맥락으로 언어를 결합하면 기준선 대비 언어 플랩률이 유의미하게 감소한다.
회의 단위 작업 기억을 사용한 번역은 문장 단위 번역보다 유의미하게 높은 점수를 받는다.
주제별 용어 은행으로 모델을 조정하면 전문 용어 단어 오류율이 유의미하게 감소한다.
사용자는 Argus를 사용할 때 다국어 회의에 대한 이해도를 더 높게 평가한다.
로드맵
개발은 지각에서 추론까지 뇌와 같은 순서를 따릅니다. 각 단계는 이전 단계를 바탕으로 하며 측정 가능한 출구 관문을 통과해야 합니다. Argus의 기능은 다섯 단계를 모두 기다리지 않고 단계를 통과할 때마다 출시됩니다.
1단계 · 지각
5개 언어 음성 듣기
관문 1 · WER/CER 및 DER이 기준선 대비 목표 달성
2단계 · 주의
주의와 언어 결합
관문 2 · 언어 식별 ≥ 95% · 플랩률 50% 이상 감소
3단계 · 이해
이해와 기억
관문 3 · 문장 단위 번역보다 높은 품질 · 지연 2초 미만
4단계 · 예측
예측과 조직 기억
관문 4 · 전문 용어 WER 30% 이상 감소 · DPO 승인
5단계 · 추론
추론과 메타인지
Cortex LLM v1.0, Argus에서 가동
지표와 출구 관문
아래 목표는 잠정치이며, 1단계에서 기준선을 측정한 뒤 구체적인 수치로 정합니다.
| 단계 | 지표 | 측정 내용 | 잠정 목표 |
|---|---|---|---|
| 1 지각 | 언어별 WER / CER | 전사 오류율(태국어·중국어·일본어는 CER) | 태국어는 공개 기준선보다 20% 이상 개선 |
| 1 지각 | DER | 화자 분리 오류율 | 모의 회의에서 기준선 미만 |
| 2 결합과 주의 | 언어 식별 정확도 | 각 화자의 언어를 올바르게 식별 | 발화 구간당 95% 이상 |
| 2 결합과 주의 | 플랩률 | 화자 1인당 시간당 잘못된 언어 전환 횟수 | 기준선 대비 50% 이상 감소 |
| 3 이해와 기억 | COMET / 원어민 평가자 | 의미 수준의 번역 품질 | 문장 단위 번역보다 유의미하게 우수 |
| 3 이해와 기억 | 첫 표시 지연 | 발화 종료부터 첫 번역이 표시되기까지의 시간 | < 2초 |
| 4 예측과 조직 기억 | 전문 용어 WER | 조직 고유 용어의 오류 | 범용 모델 대비 30% 이상 감소 |
| 5 추론과 메타인지 | 보정 오차 | 표시된 확신도가 실제 정확도와 얼마나 일치하는지 | 4단계에서 합의한 임계값 미만 |
| 5 추론과 메타인지 | 사용자 이해와 신뢰 | 시범 조직의 회의 후 설문 | 대조군보다 유의미하게 우수 |
작은 정확도 향상보다 안정성이 더 큰 신뢰를 만듭니다.
Argus를 설계하며 얻은 핵심 교훈: 낮은 플랩률, 즉 계속 바뀌지 않는 언어 식별이 약간의 정확도 상승보다 시스템을 더 믿음직하게 느끼게 합니다. 그래서 플랩률이 2단계의 주요 관문입니다.
방법론
연구는 디자인 사이언스 연구 방식과 정량 실험을 결합합니다. 시스템을 만들고, 표준 데이터셋으로 테스트하고, 실제 조직에서 평가하며, 모든 단계에서 반복합니다.
데이터
공개 데이터셋
5개 언어 모두의 음성 인식, 화자 분리, 번역 기준선.
모의 회의
참가자의 동의를 받아 언어 전환, 발화 겹침, 소음 등 설계된 시나리오로 녹음한 다국어 데이터.
태국어 비즈니스 음성
영어 용어가 섞인 태국어 회의 음성, 전문가가 확인한 전사본 포함.
시범 조직
데이터 이용 계약과 PDPA에 따른 시범 파트너의 데이터.
실험
E1 · 언어 결합
음성만으로 감지 vs. 성문 + 맥락
RQ1 · H1
E2 · 맥락 기억
문장 단위 vs. Meeting Context Buffer 사용
RQ2 · H2
E3 · 전문 용어
범용 모델 vs. Topic-aware Prior 적용 모델
RQ3 · H3
E4 · 다단계 번역
1단계 vs. 3단계, 지연과 품질 측정
RQ4
E5 · 현장 연구
시범 조직에서 Argus 사용 여부에 따른 다국어 회의 비교
RQ5 · H4
윤리, 개인정보, PDPA
태국 PDPA에서 성문은 생체 데이터에 해당하므로, 이 원칙은 1단계부터 적용됩니다.
동의가 먼저
연구 데이터와 시범 회의의 모든 참가자가 서면으로 동의합니다.
회의에서만 쓰는 성문
기본적으로 성문은 회의가 끝나면 삭제되며, 동의한 경우에만 보관됩니다.
음성은 사내에
음성과 생체 데이터는 조직 밖으로 나가지 않으며, 클라우드에는 텍스트만 전송됩니다.
외부인 등록 없음
옆 테이블이나 근처 부스 등 회의 밖 사람들의 목소리는 절대 등록하지 않습니다.
투명성
참가자는 녹음과 번역이 언제 켜져 있는지, 신원과 언어를 어떻게 감지하는지 항상 알 수 있습니다.
변경 시마다 DPO와 협의
데이터 유형이나 보관 기간이 바뀔 때마다 개인정보 보호 책임자와 협의합니다.
숨은 평가 없음
명확한 정책과 동의 없이 회의 데이터로 개인 성과를 평가하지 않습니다.
성과
학술: 다화자 회의 번역을 위한 뇌 영감 아키텍처와 아시아 언어의 화자–언어 결합에 관한 새로운 지식.
자원: 코드 스위칭이 섞인 태국어 비즈니스 회의를 위한 데이터셋과 평가 방법.
제품: Argus의 핵심이자 Origami Platform과 연결된 Cortex LLM v1.0.
조직: AI가 지원하는 다국어 커뮤니케이션이 회의 이해와 성과를 높인다는 근거.
태국어와 라오어처럼 가까운 언어는 언어 식별 오류를 일으킬 수 있습니다.
여러 사람이 동시에 말하는 상황은 여전히 어려운 화자 분리 문제입니다.
제한된 시범 조직의 현장 결과는 모든 산업을 대표하지 못할 수 있습니다.
뇌 비유는 설계 틀이지, 생물학적 시뮬레이션이 아닙니다.
베트남어, 인도네시아어 등 더 많은 아세안 언어.
회의 중 화면에 띄운 슬라이드와 문서 등 음성과 함께하는 시각 지각.
회의 신호를 Origami HR Skills Graph에 연결해 지속적인 근거 순환으로.
