家庭机遇--人工智能能否推动个人助理设备和手语的创新？

家庭机遇--人工智能能否推动个人助理设备和手语的创新？推进技术创新和对抗与手语相关的数据甜点一直是人工智能无障碍计划的重点领域。为了实现这些目标，该团队于2019年举办了一次手语研讨会，征求该领域顶级研究人员的申请。

亚伯拉罕·格拉瑟，博士计算机和信息科学专业的学生和美洲原住民手语（ATL）签署者，在马特·休内福斯教授的指导下获得了为期三年的资助。他的工作将专注于一个非常务实的需求和机会：通过专注于并改善与使用手语作为主要沟通形式的人的家庭智能助理的共同互动来推动包容性。

从那时起，罗切斯特理工学院（RIT）Golisano计算与信息科学学院的教职员工和学生在无障碍和包容性研究中心（CAIR）进行了这项工作。CAIR发布了有关计算无障碍性的研究，其中包括许多聋人和重听（DHH）学生，使用英语和美国手语进行双语操作。

为了开始这项研究，该团队调查了DHH用户如何最好地选择与他们的个人助理设备进行交互，无论是智能扬声器，还是家庭中响应语音命令的其他类型设备。

传统上，这些设备使用基于语音的交互，随着技术的发展，新型号现在集成了摄像头和显示屏。目前，市场上可用的设备都无法理解手语或其他手语的命令，因此引入该功能是未来一项重要的技术发展，可以解决尚未开发的客户群问题并推动包容性。

亚伯拉罕探索了模拟场景，其中技术人员将能够通过设备上的摄像头观看用户的签名、处理他们的请求，并在设备屏幕上显示输出结果。之前的一些研究集中在与个人助理设备交互的阶段，但很少包括DHH用户。

可用研究的一些示例包括研究设备激活，包括唤醒设备的担忧，以及视频、美国手语化身和英语字幕形式的设备输出模式。从研究角度来看，呼吁采取行动包括收集更多数据，这是手语技术的关键瓶颈。

为了为技术进步铺平道路，了解DHH用户希望与设备的交互是什么样子以及他们想要发出什么类型的命令至关重要。亚伯拉罕和团队建立了绿野仙踪视频会议设置。一名“奇才”的美国手语翻译在房间里配备了一个家庭个人助理设备，在镜头上没有看到的情况下加入了通话。

该设备的屏幕和输出可以在通话的视频窗口中查看，每个参与者都由研究主持人指导。当聋人参与者在个人家用设备上签名时，他们并不知道手语翻译正在用英语口语发出命令。一组注释者观看了录音，识别了视频的关键片段，并将每个命令转录成英语和美国手语词汇。

亚伯拉罕能够识别用户与设备互动的新方式，例如之前的研究中没有捕捉到的“唤醒”命令。此外，命令类别和频率的总结显示，最受欢迎的类别是“命令和控制”，用户可以调整设备设置、浏览结果并回答是/否风格的问题。

下一个受欢迎的类别与娱乐问题有关，其次是生活方式和购物。此外，尽管在设备上签名，参与者还是复杂地利用了身体周围的空间，例如来代表和提及作为他们问题主题的人或事物。

另一个观察结果是在“是”或“否”问题开始时使用问号标志，以引起设备的注意，而通常该标志更常在此类问题结束时使用。

当出现错误时，例如设备没有提供用户正在寻找的结果，最常见的情况是，用户会忽略错误并继续执行不同的命令。第二种方法是用完全相同的措辞和签名风格重复命令，然后重新措辞命令。例如，一些人将问题的措辞改为更像英语，或者用手指拼写单词，以强调重新尝试。

一篇包含该研究全部细节的论文已在2022年CHI计算系统中的人为因素会议论文集上提交并发表，题为“分析聋人和听力障碍用户的行为、使用情况以及与理解手语输入的个人助理设备的互动”作者：Abraham Glasser、Matthew Watkins、Kira Hart、

Sooyeon Lee、Matt Huenerfauth。通过这项研究获得的知识随后成为构建DHH人员在ATL中产生命令并与其个人助理设备互动的视频数据集的基础，例如询问天气、控制家庭环境中的电子设备等等。

在使用调查和采访收集DHH用户的偏好和要求时，收集了ADL命令的视频，从而产生了公开可用的数据集，研究界可以进一步利用该数据集来训练ADL识别技术。

然而，该数据集对于个人助理技术的开发人员以及研究手语技术的开发人员和研究人员也很有用。虽然未来仍有很多机会将手语融入技术并进行创新，但亚伯拉罕和团队在过去三年中所做的工作代表着进一步创新无障碍并确保所有人的包容性的重要里程碑。