Final Project
-
背景 BACKGOUND
-
项目背景
-
用户调研
-
竞品分析
-
-
设计方案 INTRODUCTION
-
系统简介
-
交互方案
-
技术路线
-
-
实物制作 PROCESSING
-
模块测试
-
制作过程
-
-
用户测试 USER TEST
-
实验过程
-
实验结果
-
-
总结与展望 LIMITATION AND FUTURE WORK
/ CONTENT /
项目背景
-
近年来，社会结构改变，差旅、外出务工人员明显上升，导致很多父母和孩子长时间且远距离地分隔两地。以中国为例，存在超过6000万的留守儿童，并且这个数量还在不断增长。
数据来源：联合国儿童基金会2015 年中国儿童人口状况事实与数据
用户调研
-
目前，亲子分居两地的家庭通常通过视频通话等方式来维持分离期间的亲子联系。
-
我们采用线上问卷调研的方式，调研了30位有和十岁以下的儿童通话经历的家长，发现在亲子远程通话过程中，有22.9%的调研对象存在孩子理解不了家长说话的情况；有29.2%的调研对象存在一些话用语言难以表达的情况；还有22.9%的调研对象存在提不起孩子沟通的兴趣的情况。
-
通过用户调研，我们发现在异地的情况下，亲子联系更多地依赖于父母的主动性。相较于面对面交流，双方缺少多感官交互的支持，无法准确传达和获取对方的情感信息。
竞品分析
-
通过文献调研，我们发现，现有亲子远程相关的多感官交互研究中，对于触觉的考虑维度较为单一，多从动觉的维度去考量，而其他例如温度、皮肤刺激（例如抚摸或振动）和触摸位置等维度的考量较为欠缺。
-
因此，我们的工作将结合温度和皮肤刺激这两个触觉维度，来探索触觉在多感官交流中，对于亲子情感理解的促进作用。
/ BACKBROUND /
/ INTRODUCTION /
系统简介
-
我们设计了一种智能交互玩偶手套Joyring，它可以支持5-10岁儿童在分离期间，更好地与父母进行实时情感交流。依据亲子情感语料库，我们使用了四种亲子对话中常见的情绪，分别为：中性、喜悦、悲伤、愤怒。
-
亲子远程通话时，儿童佩戴Joyring，当系统识别到父母情感表达的关键情绪时，Joyring将通过电子墨水屏呈现对应的视觉动效，并通过气泵和温度传感器，从压力和温度这两个维度提供触觉反馈。通过这种多感官的交互来辅助孩子理解父母所表达的情感，同时增加远程交流的趣味性。
技术路线
-
Joyring 由交互式娃娃手套和笔记本电脑组成。 分为父母端和孩子端。
-
手套包含 PI 加热膜、气囊、气泵、振动传感器和柔性 LED 屏幕，由 Arduino Uno 驱动。
-
关键部件布局：PI加热膜和气囊分别放置在娃娃头部、躯干和手部内部，振动传感器放置在头部内部，柔性LED屏放置在躯干内部 .
-
在亲子交流过程中，家长端笔记本电脑使用Python第三方库pyaudio将家长的语音分片存储在本地。 每个段通过 WebSocket 协议传输到云端。 百度实时语音API用于将语音片段转换为文本。 它还有助于识别文本所代表的情绪，并将其归类为四种基本情绪（快乐、悲伤、愤怒和中性）之一。 然后家长端笔记本通过socket协议将结果发送给孩子端笔记本。 根据接收到的字符串，孩子端笔记本电脑通过串行通信向Arduino Uno传输不同的信息。 根据这些信息，Arduino Uno驱动分别产生不同区域的温度、压力和振动变化，并让柔性LED屏播放相应的互动动画。
交互方案
-
孩子们戴上 Joyring 手套（图 1a）并点击开关，然后在线与家长交谈（图 1b）。 在通话过程中，当父母表达“我想你”（中性情绪）（图1c）等某些情绪时，娃娃的中央躯干会产生温和的挤压感，伴随着适度的温暖（图1d），从而 传达失踪的意思。 同时，孩子们可以看到Joyring柔性LED屏上显示的心形互动动画（图1e），根据家长表达的缺失程度呈现不同的动态效果。
图1 Joyring 的示例工作流程
-
此外，当父母表达其他基本情绪时，Joyring 娃娃手套会产生不同部分的触觉交互和有趣的视觉交互。
-
当父母表达快乐的基本情绪时，娃娃的头部、手臂和中央躯干会发热，传达快乐的含义。 同时，屏幕会显示笑脸动画（图2a）。
-
当父母表达愤怒的基本情绪时，娃娃的头部会振动，头部、手臂和中央躯干会产生压力，从而传达愤怒的意思。 同时，屏幕会显示生气的动画（图2b）。
-
当父母表达悲伤的基本情绪时，娃娃的手臂和中央躯干会产生压力和发热，以表达对舒适的需求。 同时，屏幕会显示哭脸动画（图2c）。
图2 Joyring 的其他触觉和视觉交互
模块测试
考虑到安全因素，对气泵及自制气囊、PI膜发热片分别进行了测试。
-
气囊气泵
气泵测试接线图
气囊-气泵测试视频
-
PI膜发热片
发热片测试接线图
发热片测试实物图
制作过程
测试完成后，对玩偶手套进行缝制，并对各模块进行接线布置。
-
系统接线图
-
实物制作过程
-
实物成品
-
系统代码
/ PROCESSING /
/ USER TEST /
实验过程
我们招募了6对亲子来体验Joyring智能交互玩偶手套，并在他们使用后对其进行了问卷和访谈。
-
实验设备调试
-
父母端及孩子端
-
实验过程中不同的情感表现
实验结果
-
实验结束后，我们分别对家长和孩子进行问卷调查，探讨Joyring对家长和孩子远程情感交流的有效性。
-
结果显示（图3a），除1名男孩外，所有孩子都认为使用Joying与父母视频通话很有趣，5名儿童均表示愿意使用Joyring手套进行视频通话以后再和父母一起。通过手套中压力、温度、振动和可视化的图形表示，孩子们大多表示他们能够更好地理解父母想要表达的情绪。例如，当其中一位父母生气时，孩子会通过手套的振动清楚地感受到强烈的情绪。
-
此外（图3b），6位家长均认为，在使用Joyring手套与孩子交流时，孩子的注意力明显集中在通话过程上，而不是被外界环境中的电视、零食等因素所吸引。五位家长表示，未来与孩子交谈时，他们希望继续使用 Joyring 手套。家长们一致认为，Joyring 手套在一定程度上可以更轻松地与孩子进行远程交流，让他们对通话的反馈更加清晰。
图3 关键问题问卷结果
-
除了量化问卷反馈结果外，我们还对3对儿童及其家长进行了半结构化访谈，以更好地交流Joyring手套的使用体验。
-
结果表明，Joyring 手套可以有效地帮助孩子在分离期间与父母进行情感交流，并在通话过程中传达父母的情绪，但还需在手套的便携性、视觉输出的丰富性、情绪识别的准确性等方面进行改进。
/ LIMITATION AND FUTURE WORK /
现存局限性
-
就原形样机而言，Joyring 只提供了加热或不加热两种温度感觉，过于简单，无法自然模拟人在不同情绪时感知到的温度。
-
在通话过程中，Joyring 只是使用关键字，即文本来识别情绪。识别准确率有待提高。
-
在实验方面，我们目前的原型只允许在实验室进行研究，导致每个父母和孩子进行实验的时间相对较短。并且每个父母和孩子都被赋予了一些特定的场景来在实验中使用Joyring。它们的使用场景不够真实，削弱了统计的有效性。
未来工作
-
基于这些现存的局限性，我们未来的工作将沿着以下途径进行。
-
我们考虑增加继电器等组件，这样可以适当调节温度，更好地匹配不同的情绪。
-
在情感识别模块中，将加入语调、语速等因素，探索更准确的情感识别和分类方法。并且我们将使用蓝牙或Wi-Fi模块来传输数据，使原型更便携，这样我们就可以在两周或更长时间的过程中进行实验，让父母和孩子在真正的分离场景中使用原型。