伦斯勒理工学院启用『汉语学分课』VR沉浸式教学系统

职场故事 阅读(1184)
伦斯勒理工学院推出“中国学分”VR沉浸式教学系统

映维网作者广州客人

人们常说学习语言的最佳方式是让自己沉浸在母语环境中。除了能够听到最真实的发音和单词外,它还会强迫您与陌生外语的人交流,从而帮助您快速掌握语言。但是,并非所有人都能获得这样的机会。

Rensselaer Polytechnic与小发猫Research合作,为学生提供另一种学习中文的选择:360度虚拟环境(powerwall powerwall是VR形式之一)。学生将可以转移到北京最繁华的街道或中国餐馆。您可以与街头小贩讨价还价或在餐厅下订单。该环境配备了不同的AI功能,能够实时响应学生。事实上,这个项目已经存在了很长时间,并且在很大程度上是实验性的,但它将在今年夏天的六周学分课程中首次使用。

5b0988e595225.cdn.sohucs.comimages2019071974ac3c17cf7e4b0bbe4d3a45f02e05a3.jpeg

该项目的灵感来自两位伦斯勒理工学院的教师,他们经常使用角色扮演游戏来帮助学生学习中文。此外,过去几年的一些研究表明,互动学习环境可以提高语言理解能力和知识保留能力。 2018年发表的一项研究表明,在3D虚拟环境中学习日语时,学生更有可能掌握他们偶然遇到的单词。因此,教授团队开始与小发猫Research合作,并探索利用沉浸式学习的方法。

除了让学生沉浸在数字投影中之外,该系统还使用各种传感器动态调整学生的单词和行为。由对象携带的麦克风将语音直接馈送到语音识别算法。相机可以跟踪拍摄对象的动作和手势。例如,如果学生在餐馆询问某个菜是什么,则化身可以立即回答相应的名称和成分。这种叙事生成技术还允许化身使用维基百科为随机问题提供更具响应性的答案。

对于这种投影墙式360度环境,它所使用的大多数技术都可以在当前市场中找到,但少数需要专门的开发。中国人有四种语气,对于刚接触的外国人来说很难。例如,销售和购买,发音不同,意思完全相反。因此,研究人员创建了一套用于分析学生音调的算法。然后将学生的发音与中国本土发音者进行比较,并在投影墙中直接提供音频和视觉反馈。这允许学生与虚拟角色互动并立即练习新的词汇。

负责该计划的小发猫剑桥研究所用户认知经验主任Hui Su表示,该团队仍处于确定其有效性的早期阶段。但是在2017年底的一项实验中,研究人员发现它增加了学生对语言学习的参与度,并帮助他们快速掌握新的词汇。

5b0988e595225.cdn.sohucs.comimages201907194b69594e6f2a49ef8c8d337796fe7917.jpeg

例如,在下订单之前,学生从未学会如何支付账单,但通过观察同伴并与虚拟角色交谈,许多学生掌握了必要的词汇。 Hui Su说:“这有点令人惊讶。其中一位学生评论说这应该是教授语言的方式。”

在第一年,新课程将在近一半的时间内使用虚拟环境,而其余时间将选择传统的课堂(这种安排可能在未来发生变化)。

如果该课程提供了有力的证据来改善学生的学习成果,它将成为其他课程的典范。最合乎逻辑的下一步是将其扩展到其他语言。但它也可以用来指导高管,培训政府工作人员,或进行任何可能受益于情景模拟和角色扮演的活动。

苏,看到更多