Argus Cortex LLM โมเดลภาษาที่ได้แรงบันดาลใจจากสมอง สำหรับการสื่อสารหลายภาษาในองค์กรแบบเรียลไทม์

Cortex LLM คือโมเดลภาษาที่เป็นแกนหลักของ Argus ออกแบบตามวิธีที่สมองคนรับรู้ รับสัญญาณหลายทางพร้อมกัน เลือกว่าจะโฟกัสอะไร จำบริบทไว้ในความจำใช้งาน คาดการณ์จากสิ่งที่รู้อยู่แล้ว และตรวจความมั่นใจของตัวเอง แทนที่จะแปลทีละประโยคแบบแยกขาดกัน

ไทย English 中文 日本語 한국어
ดูสถาปัตยกรรม ดูแผนพัฒนา

หนึ่งประโยคผ่าน CORTEX

ตัวอย่างประกอบ
SP

“เราต้อง finalize spec ภายในวันศุกร์นี้”

ข้อมูลเข้า · เสียงประชุม

1 · การรับรู้

แปลงเสียงพูด อ่านเสียงและน้ำเสียง

ผู้พูด · Somchai P. ได้ยินไทย + อังกฤษ น้ำเสียง · สงบ

2 · การโฟกัสและผูกภาษา

ล็อกเสียงหลัก ผูกภาษาแล้ว

กรองเสียงรอบข้างออก Somchai → TH คงคำอังกฤษที่พูดปนไว้

3 · ความเข้าใจ

เข้าใจความหมาย แสดงผลให้ผู้ฟังทุกคน

“We need to finalize the spec by this Friday.”

EN中文日本語한국어

4 · การลงมือ

เสนอสิ่งที่ต้องทำ ผู้ใช้ยืนยัน

TASK → ORIGAMI

ปิดสเปก

ครบกำหนดวันศุกร์ · ความมั่นใจ: สูง

⇅ Global Workspace ความจำใช้งาน: หัวข้อคือสเปก Q4 การคาดการณ์ล่วงหน้า: คาดว่าจะได้ยิน “spec”, “deadline” การรู้ตัวของระบบ: แสดงความมั่นใจให้ผู้ใช้เห็น

ปัญหา

การแปลที่ออกแบบมาสำหรับคนสองคน ใช้ไม่ได้ในการประชุมจริง

ระบบแปลทุกวันนี้ออกแบบมาสำหรับผู้ใช้รายบุคคล แปลทีละประโยคโดยไม่มีบริบทต่อเนื่อง ใช้ได้ดีกับการคุยสองคน แต่ไม่พอสำหรับการประชุมองค์กรที่มีผู้พูดหลายคน หลายภาษา และบริบทที่สะสมตลอดการประชุม

ใครพูด พูดภาษาอะไร?

ระบบต้องรู้เองว่าแต่ละคนพูดภาษาอะไรโดยไม่ต้องตั้งค่า และต้องจับได้นิ่ง ไม่สลับไปมา

การพูดสลับภาษา

คนในองค์กรเอเชียมักพูดอังกฤษปนในประโยคไทย จีน หรือญี่ปุ่น

บริบทหาย

การแปลทีละประโยคทำให้คำสรรพนาม การอ้างถึงเรื่องก่อนหน้า และศัพท์เฉพาะขององค์กรหายไป

ความเร็วกับความแม่นยำ

แปลเร็วมักไม่แม่น แปลแม่นมักช้าเกินไปสำหรับการคุยสด

ความไว้ใจ

ผู้ใช้ไม่เห็นว่า AI ตัดสินใจอย่างไร จึงลังเลที่จะพึ่งพาในการประชุมสำคัญ

ข้อมูลภาษายังมีน้อย

ข้อมูลเสียงภาษาไทยจากการประชุมธุรกิจยังมีน้อยเมื่อเทียบกับอังกฤษและจีน

สมองคนแก้ปัญหาเหล่านี้ได้ทุกวัน

ล่ามมืออาชีพฟังหลายคนพร้อมกัน จำบริบทได้ เดาคำที่ได้ยินไม่ชัด และรู้ตัวว่าเมื่อไหร่ไม่แน่ใจ Cortex ตั้งคำถามว่าหลักการของสมองเหล่านี้จะกลายเป็นสถาปัตยกรรม AI ได้หรือไม่

กรอบแนวคิด

หลักการสมอง 10 ข้อ แปลงเป็นการออกแบบระบบ

Cortex ไม่ได้จำลองเซลล์ประสาท แต่หยิบหลักการทำงานที่ยอมรับในประสาทวิทยาการรู้คิดมาเป็นแนวเปรียบเชิงวิศวกรรม เพื่อกำหนดหน้าที่ของแต่ละโมดูล ไม่ได้อ้างว่าทำงานเหมือนสมองในเชิงชีววิทยา

หลักการสมองและวิธีที่ Cortex นำมาใช้
หลักการสมอง ในสมอง ใน CORTEX
การรวมประสาทสัมผัสหลายทางรวมสัญญาณจากหลายประสาทสัมผัสเป็นการรับรู้เดียวรวมคำพูด น้ำเสียง จังหวะ และอารมณ์ เป็นภาพแทนของคำพูดหนึ่งเดียว
การจำเสียงมีส่วนเฉพาะที่จำเสียงของแต่ละคนลายเสียง (ECAPA-TDNN) ผูกกับตัวตนและภาษาของผู้พูดแต่ละคน
การเลือกโฟกัส
ปรากฏการณ์งานเลี้ยงค็อกเทล
จับเสียงที่ต้องการท่ามกลางเสียงรบกวนให้น้ำหนักกับผู้พูดหลักและกรองเสียงรอบข้าง
ความจำใช้งาน
Baddeley
เก็บข้อมูลชั่วคราวเพื่อใช้ประมวลผลต่อMeeting Context Buffer เก็บผู้พูด หัวข้อ และการอ้างอิงไว้ตลอดการประชุม
การประมวลผลเชิงคาดการณ์
Friston
คาดการณ์สิ่งที่จะเข้ามา แล้วปรับจากส่วนที่คลาดเคลื่อนTopic-aware Prior คาดคำและความหมายจากหัวข้อ และแก้คำที่ได้ยินไม่ชัด
ศูนย์ภาษา
Wernicke / Broca
การเข้าใจกับการพูดออกมาเป็นสองกระบวนการที่ทำงานร่วมกันแยกชั้นความเข้าใจออกจากการสร้างข้อความภาษาปลายทาง
พื้นที่ทำงานร่วม
Baars
ข้อมูลสำคัญถูกกระจายไปหลายระบบพร้อมกันพื้นที่ทำงานร่วมที่ทุกโมดูลอ่านและเขียนได้
การบันทึกเป็นความจำระยะยาวย้ายสิ่งสำคัญจากความจำระยะสั้นไปเป็นความจำถาวรหลังประชุม สรุปความรู้เข้าคลังความรู้ขององค์กร โดยได้รับความยินยอม
การบริหารจัดการของสมองส่วนหน้าวางแผน ชั่งน้ำหนักทางเลือก และควบคุมการกระทำโมดูล Consult และ Act
การรู้ตัวของระบบรู้ว่าตัวเองรู้หรือไม่รู้ประเมินความมั่นใจ และติดธงจุดที่ไม่แน่ใจให้ผู้ใช้ตรวจ

สถาปัตยกรรม

สี่ชั้น หนึ่ง Global Workspace

การประมวลผลแบ่งเป็นสี่ชั้น ตั้งแต่การรับรู้ถึงการลงมือ สัญญาณไหลลงด้านล่าง ขณะที่ Global Workspace ส่งบริบทย้อนกลับไปทุกชั้น ความจำของการประชุมช่วยการแปล และ Predictive Prior ช่วยการรับรู้แก้คำที่ได้ยินไม่ชัด

ข้อมูลเข้า · เสียงประชุม หลายผู้พูด หลายภาษา

1 · การรับรู้

เสียงเป็นข้อความ ลายเสียง น้ำเสียงและอารมณ์

Speech EncoderVoice IdentityTone & Emotion

2 · การโฟกัสและผูกภาษา

ผู้พูดหลัก กรองเสียงรบกวน ผูกภาษาอย่างนิ่ง

Selective AttentionSpeaker-Language Binding

3 · ความเข้าใจ

ความหมายและเจตนา แสดงผลหลายภาษาพร้อมกัน

ComprehensionMultilingual Generation

4 · การลงมือ

ให้คำแนะนำ สร้างงาน สรุปเข้า Origami

ConsultActSummarize
ผลลัพธ์ · ข้อความถอดเสียง · คำแปล 5 ภาษา · คำแนะนำ · งานใน Origami

Global Workspace

ทุกชั้นอ่านและเขียนบริบทร่วมกันที่นี่ ทั้งสองทิศทาง

Working Memory

บัฟเฟอร์บริบทการประชุม: ผู้พูด หัวข้อ และการอ้างอิง

Long-term Memory

ความรู้และศัพท์เฉพาะขององค์กร โดยได้รับความยินยอม

Predictive Prior

คาดคำและความหมายจากหัวข้อที่กำลังคุย

การรู้ตัวของระบบ

ประเมินความมั่นใจ และแสดงจุดที่ไม่แน่ใจให้ผู้ใช้เห็น

⇄ เชื่อมกับทั้งสี่ชั้น

คำถามวิจัยและสมมติฐาน

สิ่งที่เราตั้งใจพิสูจน์

สมมติฐานหลัก: ในบริบทองค์กร การถอดเสียงและการแปลจะแม่นและเป็นธรรมชาติขึ้นอย่างมีนัยสำคัญ เมื่อระบบประมวลผลแบบสมอง แทนการแปลทีละประโยคแยกกัน

คำถามวิจัย

RQ1

การระบุภาษาของผู้พูดนิ่งขึ้นแค่ไหน เมื่อใช้ลายเสียงร่วมกับบริบทการสนทนา เทียบกับการตรวจจากเสียงอย่างเดียว?

RQ2

ความจำใช้งานระดับการประชุมช่วยให้คุณภาพการแปลดีขึ้นแค่ไหน เทียบกับการแปลทีละประโยค?

RQ3

การคาดการณ์ตามหัวข้อช่วยลดความผิดพลาดในการถอดศัพท์เฉพาะได้แค่ไหน?

RQ4

การแปลหลายระดับ (เร็ว → เกลาประโยค → เรียบเรียงย่อหน้า) สมดุลระหว่างความเร็วกับความแม่นได้หรือไม่?

RQ5

การแสดงความมั่นใจของ AI ช่วยเพิ่มความไว้ใจและการใช้งานของผู้ใช้หรือไม่?

สมมติฐาน

H1

การผูกภาษาด้วยลายเสียงร่วมกับบริบท ลดอัตราภาษาสลับไปมาได้อย่างมีนัยสำคัญเมื่อเทียบกับค่าตั้งต้น

H2

การแปลที่ใช้ความจำใช้งานระดับการประชุมได้คะแนนสูงกว่าการแปลทีละประโยคอย่างมีนัยสำคัญ

H3

การปรับโมเดลด้วยคลังศัพท์ตามหัวข้อ ลดอัตราความผิดพลาดของศัพท์เฉพาะได้อย่างมีนัยสำคัญ

H4

ผู้ใช้ให้คะแนนความเข้าใจการประชุมหลายภาษาสูงขึ้นเมื่อใช้ Argus

แผนพัฒนา

ห้าเฟส แต่ละเฟสมีด่านที่ต้องผ่าน

การพัฒนาเรียงตามลำดับของสมอง ตั้งแต่การรับรู้ถึงการใช้เหตุผล แต่ละเฟสต่อยอดจากเฟสก่อน และต้องผ่านด่านที่วัดผลได้ ความสามารถของ Argus เปิดใช้ได้ทันทีที่ผ่านแต่ละเฟส ไม่ต้องรอครบทั้งห้า

เฟส 1 · การรับรู้

ฟังเสียงพูด 5 ภาษา

ถอดเสียง 5 ภาษา ปรับจูนภาษาไทย · แยกผู้พูด (ECAPA-TDNN) · ชุดข้อมูลประชุมจำลอง · ค่าตั้งต้นของทุกตัวชี้วัด

ด่าน 1 · WER/CER และ DER ถึงเป้าเทียบค่าตั้งต้น

เฟส 2 · การโฟกัส

การโฟกัสและผูกภาษา

ผูกผู้พูดกับภาษาอัตโนมัติ (ลายเสียง + บริบท) · การพูดสลับภาษา · กรองเสียงรอบข้าง · แก้ภาษาได้ในแตะเดียว

ด่าน 2 · ระบุภาษาถูก ≥ 95% · ภาษาสลับไปมาลดลง ≥ 50%

เฟส 3 · ความเข้าใจ

ความเข้าใจและความจำ

Meeting Context Buffer · แปล 3 ระดับ · ตีความระดับประโยค · แปลหลายภาษาพร้อมกัน

ด่าน 3 · คุณภาพดีกว่าการแปลทีละประโยค · หน่วงไม่เกิน 2 วินาที

เฟส 4 · การคาดการณ์

การคาดการณ์และความจำขององค์กร

Topic-aware Prior · คลังศัพท์ Domain Skills · ความจำระยะยาวขององค์กร ภายใต้ความยินยอมตาม PDPA

ด่าน 4 · WER ศัพท์เฉพาะลดลง ≥ 30% · DPO อนุมัติ

เฟส 5 · การใช้เหตุผล

การใช้เหตุผลและการรู้ตัวของระบบ

Consult · Act · Summarize เชื่อมกับ Origami · ประเมินความมั่นใจ · ทดลองใช้จริงในองค์กรนำร่อง

Cortex LLM v1.0 ใช้งานจริงใน Argus

ตัวชี้วัดและด่านผ่าน

วัดผลแต่ละเฟสอย่างไร

เป้าด้านล่างเป็นค่าเบื้องต้น จะกำหนดเป็นตัวเลขจริงเมื่อวัดค่าตั้งต้นในเฟส 1 แล้ว

ตัวชี้วัดและเป้าเบื้องต้นแยกตามเฟส
เฟส ตัวชี้วัด วัดอะไร เป้าเบื้องต้น
1 การรับรู้WER / CER รายภาษาอัตราความผิดพลาดของการถอดเสียง (CER สำหรับไทย จีน ญี่ปุ่น)ภาษาไทยดีกว่าค่าตั้งต้นสาธารณะ ≥ 20%
1 การรับรู้DERอัตราความผิดพลาดของการแยกผู้พูดต่ำกว่าค่าตั้งต้นในการประชุมจำลอง
2 การผูกภาษาและการโฟกัสความแม่นในการระบุภาษาระบุภาษาของผู้พูดแต่ละคนถูกต้อง≥ 95% ต่อช่วงพูด
2 การผูกภาษาและการโฟกัสอัตราภาษาสลับไปมาจำนวนครั้งที่ภาษาสลับผิดต่อผู้พูดต่อชั่วโมงลดลง ≥ 50% จากค่าตั้งต้น
3 ความเข้าใจและความจำCOMET / ผู้ประเมินเจ้าของภาษาคุณภาพการแปลระดับความหมายดีกว่าการแปลทีละประโยคอย่างมีนัยสำคัญ
3 ความเข้าใจและความจำเวลาก่อนแสดงผลครั้งแรกเวลาตั้งแต่พูดจบจนคำแปลแรกขึ้นจอ< 2 วินาที
4 การคาดการณ์และความจำองค์กรWER ศัพท์เฉพาะความผิดพลาดของศัพท์เฉพาะองค์กรลดลง ≥ 30% เทียบโมเดลทั่วไป
5 การใช้เหตุผลและการรู้ตัวของระบบความคลาดเคลื่อนของความมั่นใจความมั่นใจที่แสดงตรงกับความแม่นจริงแค่ไหนต่ำกว่าเกณฑ์ที่ตกลงในเฟส 4
5 การใช้เหตุผลและการรู้ตัวของระบบความเข้าใจและความไว้ใจของผู้ใช้แบบสอบถามหลังประชุมในองค์กรนำร่องดีกว่ากลุ่มควบคุมอย่างมีนัยสำคัญ

ความนิ่งสร้างความไว้ใจได้มากกว่าความแม่นที่เพิ่มขึ้นเล็กน้อย

บทเรียนสำคัญจากการออกแบบ Argus: การระบุภาษาที่ไม่สลับไปมา ทำให้ระบบรู้สึกน่าเชื่อถือมากกว่าความแม่นที่เพิ่มขึ้นนิดหน่อย อัตราภาษาสลับไปมาจึงเป็นด่านหลักของเฟส 2

วิธีการ

สร้าง ทดสอบ แล้วพิสูจน์ในองค์กรจริง

งานวิจัยใช้แนวทาง Design Science Research ร่วมกับการทดลองเชิงปริมาณ คือสร้างระบบ ทดสอบกับชุดข้อมูลมาตรฐาน ประเมินในองค์กรจริง และทำซ้ำทุกเฟส

ข้อมูล

ชุดข้อมูลสาธารณะ

ค่าตั้งต้นของการรู้จำเสียง การแยกผู้พูด และการแปล ครบทั้ง 5 ภาษา

การประชุมจำลอง

เสียงบันทึกหลายภาษาจากสถานการณ์ที่ออกแบบไว้ เช่น การสลับภาษา การพูดซ้อนกัน และเสียงรบกวน โดยได้รับความยินยอมจากผู้เข้าร่วม

เสียงพูดภาษาไทยในงานธุรกิจ

เสียงประชุมภาษาไทยที่มีศัพท์อังกฤษปน พร้อมข้อความถอดเสียงที่ผู้เชี่ยวชาญตรวจแล้ว

องค์กรนำร่อง

ข้อมูลจากพันธมิตรนำร่อง ภายใต้ข้อตกลงการใช้ข้อมูลและ PDPA

การทดลอง

E1 · การผูกภาษา

ตรวจจากเสียงอย่างเดียว เทียบ ลายเสียง + บริบท

RQ1 · H1

E2 · ความจำบริบท

แปลทีละประโยค เทียบ ใช้ Meeting Context Buffer

RQ2 · H2

E3 · ศัพท์เฉพาะ

โมเดลทั่วไป เทียบ โมเดลที่มี Topic-aware Prior

RQ3 · H3

E4 · การแปลหลายระดับ

ระดับเดียว เทียบ สามระดับ วัดความหน่วงและคุณภาพ

RQ4

E5 · การศึกษาภาคสนาม

ประชุมหลายภาษาที่ใช้กับไม่ใช้ Argus ในองค์กรนำร่อง

RQ5 · H4

จริยธรรม ความเป็นส่วนตัว และ PDPA

ลายเสียงคือข้อมูลชีวมิติ เราดูแลแบบนั้นตั้งแต่วันแรก

ตาม PDPA ของไทย ลายเสียงนับเป็นข้อมูลชีวมิติ หลักการเหล่านี้จึงใช้ตั้งแต่เฟส 1 เป็นต้นไป

ขอความยินยอมก่อนเสมอ

ผู้เข้าร่วมทุกคนในข้อมูลวิจัยและการประชุมนำร่องให้ความยินยอมเป็นลายลักษณ์อักษร

ลายเสียงใช้เฉพาะในการประชุม

โดยปกติลายเสียงจะถูกลบเมื่อประชุมจบ และเก็บไว้เฉพาะเมื่อได้รับความยินยอม

เสียงอยู่ในองค์กร

เสียงและข้อมูลชีวมิติไม่ออกนอกองค์กร มีแค่ข้อความที่ขึ้นคลาวด์

ไม่ลงทะเบียนเสียงคนนอก

เสียงของคนนอกการประชุม เช่น โต๊ะข้าง ๆ หรือบูธใกล้เคียง จะไม่ถูกลงทะเบียน

ความโปร่งใส

ผู้เข้าร่วมรู้เสมอว่าเมื่อไหร่กำลังบันทึกและแปล และระบบระบุตัวตนและภาษาอย่างไร

ปรึกษา DPO ทุกครั้งที่เปลี่ยน

ปรึกษาเจ้าหน้าที่คุ้มครองข้อมูลส่วนบุคคลทุกครั้งที่ประเภทข้อมูลหรือระยะเวลาเก็บเปลี่ยน

ไม่ประเมินแอบแฝง

ไม่นำข้อมูลการประชุมไปประเมินผลงานรายบุคคล หากไม่มีนโยบายชัดเจนและความยินยอม

ผลลัพธ์

สิ่งที่คาดหวัง สิ่งที่ยังยาก และก้าวต่อไป

ผลลัพธ์ที่คาดหวัง

ด้านวิชาการ: สถาปัตยกรรมที่ได้แรงบันดาลใจจากสมองสำหรับการแปลประชุมหลายผู้พูด และองค์ความรู้ใหม่ด้านการผูกผู้พูดกับภาษาในภาษาเอเชีย

ด้านทรัพยากร: ชุดข้อมูลและวิธีประเมินสำหรับการประชุมธุรกิจภาษาไทยที่พูดสลับภาษา

ด้านผลิตภัณฑ์: Cortex LLM v1.0 เป็นแกนของ Argus เชื่อมกับ Origami Platform

ด้านองค์กร: หลักฐานว่าการสื่อสารหลายภาษาที่มี AI ช่วย ทำให้เข้าใจการประชุมและได้ผลดีขึ้น

ข้อจำกัด

ภาษาที่ใกล้กันมาก เช่น ไทยกับลาว อาจทำให้ระบุภาษาผิด

หลายคนพูดซ้อนกันยังเป็นโจทย์ยากของการแยกผู้พูด

ผลภาคสนามจากองค์กรนำร่องจำนวนจำกัด อาจไม่สะท้อนทุกอุตสาหกรรม

การเปรียบกับสมองเป็นกรอบการออกแบบ ไม่ใช่การจำลองทางชีววิทยา

ต่อไป: Cortex v2.0 และหลังจากนั้น

เพิ่มภาษา เช่น เวียดนาม อินโดนีเซีย และภาษาอาเซียนอื่น ๆ

รับรู้ภาพควบคู่กับเสียง เช่น สไลด์และเอกสารที่ขึ้นจอระหว่างประชุม

เชื่อมข้อมูลจากการประชุมเข้ากับ Origami HR Skills Graph เป็นวงจรหลักฐานต่อเนื่อง

ดู Cortex ทำงานจริงในการประชุมของคุณ

จองเดโม กลับไปหน้า ARGUS