华大在线讯(通讯员 肖辛格)近日,我校语言与语言教育研究中心口语互动多模态分析与信息处理实验室多项最新研究成果在International Journal of Human–Computer Interaction、International Journal of Applied Linguistics等知名国际期刊发表。相关研究立足真实互动语料,分别聚焦人与地图导航软件交互、对话式人工智能的故事讲述回应以及二语汉语互动能力发展,从不同场景考察语言资源、互动行为及互动能力的组织与发展机制,展现了实验室在口语互动研究及其与人机交互、二语习得等领域交叉融合方面的最新进展。
在人与地图导航软件交互研究方面,论文Tax on Expressiveness: Users’ One-Way Adaptation in CUI–GIS Interaction发表于 International Journal of Human–Computer Interaction,中心博士生沈可、青年教师张耘鸣为共同第一作者,实验室负责人姚双云教授为通讯作者。该研究以百度地图和高德地图的语音交互为研究对象,考察用户的自然地理表达如何影响系统理解及后续互动。研究发现,用户越多地使用模糊范围、功能属性和主观评价等贴近人类认知习惯的“地点逻辑”表达,交互失败的可能性越高;在遭遇系统拒绝或错误反馈后,用户往往逐步放弃丰富、自然的表达,转而使用地点专名或界面序号等符合机器“空间逻辑”的表达方式。文章将这一现象概括为“表达力税负”,并进一步识别出妥协、抵抗和试错三类用户修复策略,揭示了当前地图语音交互中由用户单方面承担的适应成本,为构建更具协作性、包容性和自然交互能力的地图语音交互系统提供了新的研究视角。

在对话式人工智能研究方面,论文Is the Conversational Agent an Effective Story Listener? A Comparative Study of Doubao and Human Listener Responses发表于 International Journal of Human–Computer Interaction,中心博士生朱玉洁为第一作者,姚双云教授为第二作者,中心博士生宿潇予为通讯作者。该研究以口语故事讲述为切入点,从回应时机、回应模式及行为类型等维度比较豆包与人类听者的回应表现,考察智能体作为故事听者的互动特征及其局限。研究发现人类听者通过频繁、简短的回应及主动重叠,持续参与故事的共同建构;豆包倾向于在讲述过程中保持沉默,随后集中给出篇幅较长、信息密集的回应。研究指出,对信息内容的有效回应并不等同于充分的互动参与,回应时机及其与叙事进程的适配同样重要。基于此,论文提出持续反馈、话轮管理及阶段敏感的情感回应等改进建议,将对智能体回应能力的考察从内容层面拓展至互动过程,为人机口语互动研究及情感陪伴型对话系统的设计与优化提供参考。

在二语汉语互动能力发展研究方面,论文Evidence for the Development of L2 Grammar-for-Interaction: The Case of Wenti shi (“the Problem Is”) in L2 Chinese Interaction发表于 International Journal of Applied Linguistics,中心博士生蓝迪为第一作者,姚双云教授为通讯者。该研究以一名二语汉语学习者(Y)在15个月自然互动中的“问题是”(wenti shi,WTS)使用为研究对象,综合运用二语习得会话分析(CA-for-SLA)、基于使用的语言学(UBL)和互动语言学(IL),考察一个相对低频的语言构式如何在持续的社会互动中逐步发展为面向互动的语言资源。研究发现,语言构式的发展并不单纯取决于使用频率,更与构式反复出现于何种具有互动意义的情境,以及参与者如何在这些情境中使用和回应这一构式密切相关。研究从二语发展视角揭示了互动语法如何在自然社会互动中逐步形成,也为理解低频语言构式的功能扩展及二语互动能力的发展提供了新的视角。

上述系列成果充分体现了我校语言与语言教育研究中心口语互动多模态分析与信息处理实验室立足真实人际或人机互动场景、聚焦动态互动过程的核心研究特色,同时紧密对接智能交互智能体研发、课堂教学实践等实际应用场景,着力推动语言互动理论研究向智能化、场景化的落地应用转化。系列成果的发表进一步拓展了口语互动研究的对象与应用范围,为推动互动语言研究与人工智能、语言教育等领域的深度融合提供了新的研究视角。
(审读人:匡鹏飞)