IBM 研究院和伦斯勒理工学院 (RPI) 正在携手开创帮助学生学习汉语的新途径，希望以 AI 技术支持的助手配合沉浸式课堂环境进行教学，这在语言教学领域是前所未有的创举。这种课堂名叫认知沉浸室 (CIR)，能让学生感觉自己置身于中国的餐馆、园林或太极学习班中，与 AI 聊天机器人练习汉语对话。CIR 是由 IBM 研究院和 RPI 合作的研究机构认知与沉浸式系统实验室 (CISL) 开发的。
图1：伦斯勒理工学院的计算机科学系研究生 Rahul Divekar 演示 CISL 正在开发的 AI 辅助汉语学习工具。(http://cisl.rpi.edu/news/03122018-0946/cognitive-and-immersive-language-learning-environment)
图2：CISL 研究员们演示 AI 辅助汉语学习工具。
要学习一门新的语言，特别是像汉语这样高难度的语言，必须让学生获得大量实际练习对话技能的机会。通过沉浸式的文化氛围自然而然地掌握一门新语言，可能要比非沉浸式的练习有效得多。但是，大多数汉语初学者无法获得体验式学习的机会。这就是我们开发 CIR 的初衷。
沉浸式游戏化课堂环境
为了实现多种模式的自然沉浸式对话，CIR 综合了语音文本转换，自然语言理解和计算机视觉等多种先进技术。教室里放置了一套 360 度全景式显示系统、一套音频系统、多个摄像头、多部 Kinect 设备和多个话筒，当然还有用于支持 AI 技术的计算机系统，其中一部分放在教室里，还有一些位于云端。
我们的目标是将沉浸式的认知技术与游戏元素相结合，让学生体验到一种文化环境，练习日常对话任务，并且获得智能助手的帮助。我们通过汉语项目，在 CIR 中使用 IBM Watson 作为对话机器人，与学习汉语的学生进行交流。该项目采用了 IBM Watson 语音识别技术和针对英汉两种语言的自然语言理解技术。
在通过沉浸式氛围学习外语的过程中，学生遇到的最大障碍之一就是，害怕被母语使用者评判。但是在 CIR 中，学生可以借助虚拟的对话合作伙伴来练习词汇和发音，不必承受真实环境中的压力。
许多语言学习研究者都在使用虚拟现实或增强现实技术，但我们研究的是真人沉浸式游戏环境，学生不需要穿戴专门的设备，就可以在这样的环境中实际游览。这反映了人机交互领域的一个大趋势，那就是我们在日常生活中的信息交流将会有更强的沉浸感，而人们与智能机器的交互也会向深度融合的方向迈进。
2017 年晚秋时节，我们的系统已经在 RPI 校园里的中文 1 级课程中接受了测试。今年秋天，我们将继续在中文 1 级、2 级和 3 级课程中使用 AI 作为教学工具，目标是在 2019 年夏天推出综合中文 1-3 级内容的新课程。
课堂背后的研究 —— 不仅仅是研究课堂
认知与沉浸式系统实验室(CISL) 是 IBM 人工智能地平线网络 (IBM AI Horizons Network) 的一部分，专门构建并运用各种先进的技术，包括上下文感知系统（context-aware systems）、语音声调轨迹分析（pitch tone contour analysis）、人类与 AI 机器人之间自然语言对话中的中英双语切换（language-switch between Chinese and English in a natural language conversation between people and AI agents）、多用户多模式交互（multi-user multimodal interaction）、决策过程中的推理和规划（reasoning and planning in the decision-making process），以及自动生成描述、视觉和听觉信息的多模式故事叙述（multimodal storytelling with automatic generation of narrative, visualization and sonification）。
认知沉浸室 (CIR) 是 CISL 的四个应用案例之一。该实验室还致力于增强群体智能，用于董事会等现实环境中的关键决策。在未来，这些新型认知与沉浸式系统将会从根本上改变人们的生活和工作方式。CIR 的早期原型已经提供了很多研究用户交互的机会，让我们能够发现并应对语言学习领域的新挑战。
- 科学家介绍：Su Hui
IBM 坎布里奇研究院用户认知体验总监 Su Hui， IBM 研究院高级技术主管。目前他担任位于马萨诸塞州的 IBM 坎布里奇研究院总监，负责领导 IBM 研究院的众多全球性研究组织，包括用户认知体验、视觉分析创新中心和社交商务中心。
Su Hui 在 IBM 研究院领导技术和科研工作 19 年，已经成为人机交互、云计算、视觉分析、图像识别神经网络算法等领域的专家。作为高管，Su Hui 也一直热衷于发展颠覆性的思想，加快技术创新产生影响的过程，发现并推进创新研究工作与商务需求之间的联系。
- 达索系统全球CEO：科学是公司的DNA 坚持长期主义 – 2023年12月28日
- 发改委：实施绿色低碳先进技术示范工程重点方向含“工业互联网+绿色低碳” – 2023年8月24日
- 如何以技术手段破解数据合规难题 – 2023年8月17日