
李太豪

情感智能理论与方法丛书
李太豪 董建敏 主编
上海科学技术出版社
□ 记者马梦娅
■ 机器比伴侣更懂你?还真有可能
与你朝夕相处的伴侣都不一定理解你的情感需求,一台机器可以吗?国科大杭州高等研究院教授李太豪在采访中说,也许它真的更懂你。
情感计算(Affective Computing)是一个快速兴起的交叉前沿技术课题,是实现自然化、拟人化、人格化人机交互的基础性技术和重要前提,也为人工智能决策提供了优化路径,对开启智能化、数字化时代具有重大价值。近年来,随着自然语言处理、深度学习、大语言模型等人工智能技术的持续突破,人们开始将关注点从认知智能技术向情感智能技术转移。
情感计算作为区别于认知计算的人工智能独立赛道,一直都被认为是机器全面拟人化的下一步关键技术。
亚马逊公司于2020年推出的Halo手环可以收录用户说话的声音,并分析用户的语气及其中蕴藏的情绪。
在医疗领域,情感计算已被应用于多种情绪障碍(如双相情感障碍和创伤后遗症)的研究中。情感计算技术可对患者的情绪状态进行客观评估,在早筛、诊断与治疗过程中,为行为观察和心理问卷等较主观的经典诊断方式提供辅助信息。
在教育领域,情感计算主要被用于识别学生的情绪状态和兴趣点,提供定制化的学习内容。例如,免费手机软件ClassDojo可以提供学生的情绪信息,让老师在授课中即时评估学生的心理状态、奖励学生的积极行为。
在办公场所,情感计算技术除了能提高员工的生产力,还可以降低离职率,创造更和谐舒适的工作社交氛围。亚马逊公司推出可穿戴式的情感计算手环Halo,能够追踪用户的情绪状态,检测抑郁和焦虑情绪,甚至识别早期精神障碍的相关信号。
李太豪作为情感计算领域的研究专家,长期关注人工智能在教育心理学方面的应用发展,研究方向包括人工智能核心问题和前沿问题,如知识表达、类人智能的推理和决策、情感表达和识别、脑科学和认知神经科学启发的新型神经网络、不同模态之间的信息融合等,目前开展的项目是 “多模态情感识别”。在研究中,他一直提倡要思考问题的本质,敢于尝试新的方法和思路。
李太豪很喜欢和年轻人交流,年轻人的思维非常活跃,常常能提出一些新颖的看法,给他带来启发。他向记者描述了一种未来的场景:当一位年轻人下班后,会开心地和朋友们去喝喝小酒,放松一下,回家后继续和他的“机器朋友”进行深度的情感交流。这台机器能读懂他的情绪、他的心理状态,甚至他的微表情,从而作出相应的判断和反馈。“未来也许我们每个人都有两个空间的朋友,一个存在于现实世界,另一个存在于虚拟世界。”李太豪说,因为情感计算的发展越来越迅速,也许我们的社会形态也会相应地改变。李太豪说,甚至有一天,我们在物质世界消失,但我们能实现“数字永生”,永存于数字世界的虚拟空间。
这样的场景或许离我们并不遥远,“我们在二十年前也不会想到,现在手机等智能设备及网络会和我们形影不离”。
【访谈】
近日,一套系统性介绍情感智能理论与方法的丛书《情感计算》由上海科学技术出版社出版发行。这是类脑情感计算技术向市场转化的里程碑之举。目前,相关技术的市场合作与应用普及工作已经全面展开。
情感计算是人工智能领域中类脑智能技术的组成部分。与大语言模型所解决的机器拟人化“智商(或认知智能)”不同,情感计算解决的是机器拟人化“情商(或情感智能)”的技术实现问题。发展情感计算的目的是使机器拥有双“智”能力。
在不久的将来,人们便可以享受到双“智”(认知智能+情感智能)融合的类脑人工智能应用成果,享受更优越的人机协同体验。
《读+》专访该丛书主编,国科大杭州高等研究院教授、浙江大学计算机学院博士生导师李太豪,他指出,没有情感的智能,不是真正的智能。情感计算最终的目的就是希望达到一种人机自然、和谐、有温度的交互,能够让机器去理解人,通过这种方式能够达到人机的良好相处。最终实现让机器“读文知情,读脸知心,读波知情”,由此运用到生产、教学、服务、养老等一系列场景中。
■ 应用情感计算的“朋友”就在我们身边
读+:什么是计算机情感计算?它与传统的计算机技术有哪些本质区别?
李太豪:其实情感这个概念最早并不是来自人工智能里面的概念,而是来自心理学。
长期以来人们认为情感是大脑思维的一种附属产物,直到1952年,美国神经学家保罗・麦克莱恩(Paul MacLean)找到了情感产生的物质基础“边缘系统”,它负责我们大部分情感体验的相互连接的大脑结构。边缘系统位于人的大脑皮层之下,主要包括杏仁核、海马体等。
情感是对人的大脑的思维产生作用的。比如说我们高兴、悲伤或者愤怒的时候,我们对事物的理解或判断都是不一样的。认知神经科学与脑科学证据显示,情绪与人类的认知和感知过程密切相关。
1997年,麻省理工学院多媒体实验室的罗莎琳·皮卡德(Rosalind Picard)创新性地将“情绪”引入计算机科学领域,并提出以全新的方式对情绪展开研究,旨在让机器识别人类的情感状态,并通过分析与模拟进行情感的表达与回应。同年,皮卡德出版了《情感计算》(Affective Computing)一书,正式将情感计算的概念引入学术界。这本书不仅详细介绍了情感计算的基本理论和方法,还探讨了其在不同领域的应用前景。皮卡德的这项工作意味着机器人开始获得了模拟和理解人类情感的能力,这对提高人机交互的自然度和效率具有重要意义。
也就是从这本书开始,情感计算正式成为人工智能的一个重要研究方向。
结合这样的背景,我们回到“情感计算它到底是干啥的”这个问题,其实是我们希望在人机交互的过程当中,能够让机器去识别、感知、理解人的情感,然后产生有温度的自然交互。
读+:之前我们对于大数据的研究,基本基于智商上的塑造,情感计算这方面涉及得很少吧?
李太豪:确实如此,因为情感计算这块是很难攻克的领域。
一方面,情感是比较主观的,这是一个客观因素;第二个方面,人和人的情感表达是有很大区别的,如何去个性化地设计场景,是需要解决的关键问题;第三方面,情感计算是1997年才开始被引入学术界,它的发展时间较短,当然近几年,这方面的研究在不断壮大,但从实际来讲,这个领域在人工智能里还是一个相对较小众的领域。
以上几个方面的原因导致它目前的进展没有像现在大模型一样,让人们对它的认知特别全面。不过,最近几年这个研究领域比较热,在国内做这块的人越来越多了。
读+:请您介绍一下,情感计算有哪些表现形式?
李太豪:情感计算的表现形式分为以下几类:
语言是人类最重要的情感交流方式。文本中蕴含着丰富的情感信息,通过自然语言处理(NLP)技术,可以分析和理解文本中的情感倾向。语音中的情感信息同样也丰富多样,如语调、音量、语速等都可以传达情感。语音情感识别通常通过分析声学特征来实现。
人的表情和肢体动作也能体现情感,例如面部表情是人类表达情感的主要途径之一。通过捕捉和分析面部肌肉的微小变化,计算机可以识别出用户的具体情感状态。目前,深度学习技术在这一领域取得了显著成果。
另外,还有我们的生理信号,如脑电、心率、心电、皮肤电等当中也体现情感,不同情绪下这些生理信号表现不同,通过提取这些特征可以判断情绪。
实际上,一些情感计算的应用已经在我们身边实现了。很多学生佩戴电话手表,能够在一定程度上监测和反映孩子的情绪状态,帮助家长更好地了解孩子的心理变化。其中有哪些原理呢?手表内置心率传感器和皮肤电导传感器等,收集用户的心率变化和皮肤电阻等生理数据。这些数据可以反映用户的情绪状态,如紧张时心跳加速、出汗增多。
手表监测用户的活动量、手势动作等行为特征。例如,频繁的小动作或静止不动可能对应不同的心理状态。
这些收集到的数据会被输入预设的机器学习模型中,这些模型经过大量情绪标记数据训练,能够学习并识别出不同情绪与生理反应、行为模式之间的关联,从而推测出用户可能的情绪状态。
■ 机器可感知理解情感,但产生情感还很难
读+:情感是可以计算的吗?计算后的反应和答案如果趋同,那么情感的丰富与多元化又如何体现呢?
李太豪:从人工智能的角度上来讲,就牵扯到情感分类的问题了。
目前情感主要有两种分类方法,一种是基于情感维度的分类,将情感分为正向、负向和中性三类;一种是离散的分类方法,将情感分为喜欢、愤怒、悲伤、惊讶等多个情感类别。但这些分类方式难以真正描述人类复杂情感,可能需要更细化分类,或将情感考虑成动态变化过程,情感之间可以转换,这样能更准确地刻画人类情感。
在算法中,我们往往会考虑把情感考虑成一个动态变化的过程,情感之间是可以进行转换的,那么在转换的过程当中是不是就存在了多种情感并行的情况?它的可能性也就更多了。
这也是我们现在做的方向,就是把情感计算考虑得更细致一些,没有纯粹的高兴或者纯粹的悲伤。我们通过语言大模型给出可能的初始情感,同时考虑到动态的变化过程,在转换过程中可能是两种或三种情感混合,这样的话,刻画人类的情感相对来说就更为准确了。
读+:情感计算目前在哪些领域有较为成功的应用案例?可以举例说说吗?
李太豪:在这块上其实有挺多应用场景的。
在教育上,我们刚才也谈到了,搜集学生的信息来进行教育方法上的调整。例如孩子在上课的过程当中,通过一些数据判断孩子对老师讲课的接受程度和是否喜欢老师,从而了解孩子的注意力集中情况。
在家庭情感陪护方面,随着社会老龄化的发展,越来越多的老人需要更细致的照顾,尤其是丧失了部分自理能力的老人,他们可能无法完整地表达自己的需求,情感计算可以较为准确地反映出他们的实际需求,让陪护的工作人员与老人进行更好的交流。
在医疗方面,情感计算将在心理疾病的诊治中起到积极作用。心理医生可通过观察情绪、对话疏导等方式帮助患者,情感计算可让机器模拟心理医生进行情感交流,缓解抑郁症等精神类疾病患者的负面情绪,帮助康复。当它应用在金融领域,可以帮助反映人们对心理预期和情绪的反应……
我的团队研发的多模态人机共情交互系统突破了部分自然交互、情感表达等关键核心技术,实现了情感交流和需求满足的良性循环,在智能语音助手、客服机器人、智慧医疗等领域技术赋能,取得了一些经济和社会效益。
读+:这些应用给相关领域带来了哪些实质性的改变和价值?
李太豪:从现在的发展趋势来看,不仅是中国,全世界都面临着老龄化、少子化的问题。未来,一定是人机共生的社会,种类越来越丰富的机器人将走入我们的生活,我们需要跟机器打交道。那么,我们可能不希望它们仅仅是冰冷的机器,更多的是希望它们能够理解我们的情感,与我们进行精神层面的交流。
因此,我认为在未来,只要有人与机器打交道的领域,都可能出现情感计算及其相关应用。
读+:情感计算面临的主要技术挑战有哪些?比如情感识别的准确性、情感表达的多样性等。
李太豪:我们的脑分为认知脑和情绪脑。认知脑通常与大脑的新皮层相关联,是大脑进化中最年轻的部分。它赋予人类语言、感知、规划和抽象等高级能力。情绪脑主要指边缘系统,它在生命诞生后的前6年发展起来。情绪脑处理感官信息,并为事件分配情绪,控制人的情绪反应。
认知脑和情绪脑之间存在着紧密的相互作用。认知脑的思考和判断会影响情绪脑的情绪反应。例如,当我们通过认知脑分析出一个问题有解决的方法时,可能会减轻情绪脑的焦虑情绪。
情绪脑的情绪状态也会影响认知脑的功能。当我们处于强烈的情绪状态下,如愤怒或悲伤时,认知脑的注意力、记忆力和思维能力可能会受到影响。
我们要为机器装上“心”,不仅是让它能够进行思考,还要同时具有像人一样的七情六欲,拥有情绪这种东西,然后再将两者进行结合——我觉得这样才能真正解决这个技术问题,这也就是现在考虑的如何去建立一种新的范式,真正让机器具有这种智能。我觉得,智能如果是缺乏情感智能的话,它不能被叫作真正的智能。
情感计算的研究应该是分步走的。第一步,让机器能够感知情感,识别和理解情感,然后能够和人进行有情感的交互,我觉得这个事情从现在的技术上来讲是可以实现的;第二步,让机器自主地产生情感。到达这一步还需要我们走很长一段路。
■ 当机器拥有情感,人工智能才真正实现
读+:您刚才提到,只有当机器拥有情感智能的时候,人工智能才算真正实现。那我们离“真正的人工智能”还有多远?
李太豪:大家都关注到近期的新闻了吧,在2024年的诺贝尔科学奖项中,人工智能领域的表现尤为突出,两大奖项与AI研究紧密相连。首先,物理学奖授予了一位曾获得图灵奖的机器学习领域的先驱者,紧接着化学奖的一半也颁给了一位在科学计算领域做出杰出贡献的“程序员”。
而Meta首席科学家、图灵奖得主杨立昆(Yann LeCun)认为现今的AI模型虽然很有用,但离真正的人工智能还差得很远。他认为,那些宣称AI即将超越人类智慧甚至取代人类的言论,根本是“一派胡言”。他更以家猫为例,犀利地指出目前的AI甚至还不如家猫聪明。以ChatGPT等聊天机器人为例,杨立昆认为这些基于大型语言模型的AI虽然能流畅地生成文字,但并非真正的理解和思考。它们就像鹦鹉学舌般,只是在重复训练数据中出现过的内容,并不能像人类一样进行推理和创造。
我认为随着技术发展,从现在大模型技术的发展来看的话,未来是有希望实现“真正的人工智能”的,也许30年,也许50年。
人工智能其实并没有一个确切的统一的定义。在我看来,人工智能这种高级的智能,并不是简单的某一方面比较强,而是一种综合能力的强大。跟鸟比,它可能没它飞得高;跟豹子比,它可能也没它跑得快,但是它这种综合起来的创造力、学习能力是非常强的。以下三点也许能代表情感计算的表现:
第一,读文知情。有这样一句话:“不是故意要等你,只是心里有你,爱不了别人。”我们看到这句话就知道它表达的是什么样一种感情。当然,我们再翻翻过去的唐诗宋词,包含情感的诗句数不胜数。那么,情感计算怎么来计算呢?首先把情感分成不同的种类,然后通过一些自然语言的处理方法,建立一个情感辞典。句子输入之后,通过一系列的处理,判断它的情感。我们知道,现在的电商或微博都可以进行这种分析,通过这种分析能够判断人们对某一种产品或某一件事情的感觉。再有像舆情监督,其实用的也是文本的情感计算。
第二,读脸知心。心理学家的研究表明,面部表情传达的信息量高达55%。人在不同的情感下,面部表情也不一样。如果我们把面部表情的特征抽出来,构建表情识别模型,然后就可以识别不同表情下他到底处于一种什么样的情感。
最后,我们简单再说一下读波知情。这是一个心电图,我们做过心电图的都知道,心电图有RS-T波形,因为心脏在极性化和去极性化的过程中产生了微弱的电流,然后通到我们全身各处,我们把微弱电流读取之后就形成了这样的波,其实在这里面也可以提取情感特征。那么,它可以运用到什么地方呢?比如说,我们可以随时监测司机的心率或者心电,这样的话,就可以分析这个人开车的时候有没有突然间发怒,因为常有“路怒症”导致交通事故。
读+:随着情感计算的发展,可能会引发哪些伦理问题?我们应该如何建立相应的伦理规范来确保其健康发展?
李太豪:从科技发展的角度来看,如果机器真能做到“读懂我们的情感,并自主产生情感”,在某种程度上,我们就透明了。它等于拥有了读心术,我们想什么它马上就能知道。
技术的发展它是把双刃剑,它确实可能带来这种侵害隐私的隐患,这个问题我觉得更多的是要从法律上去限制和避免类似的问题发生。科技前行的步伐是挡不住的,我们唯一能做的就是在不损害人的情况下,或者说是在坚持以人为本的情况下,从法律层面去做工作,从而规避这类风险。