AI情感助手
随着人工智能技术的发展,机器心理学成为一个新兴领域,它研究大模型(LLMs)如何通过自然语言处理再现和理解人类的心理过程。机器心理学不仅探讨这些模型的认知能力,还分析其在处理情感和心理健康问题上的表现。近年来,LLMs,如OpenAI的GPT-4和GPT-4o,因其在生成和理解人类语言上的卓越表现,引起了广泛关注和研究。 大模型能够通过大量文本数据的训练,模拟人类的语言和思维方式。然而它们在情感理解和心理测量方面的能力仍存在局限。为了更好地了解这些模型在心理学领域的应用潜力,研究人员开始探索LLMs在模拟人类心理状态、处理情感信息以及提供心理健康支持方面的能力。 11 月 19 日arXiv发表的论文《PHDGPT: INTRODUCING A PSYCHOMETRIC AND LINGUISTIC DATASET ABOUT HOW LARGE LANGUAGE MODELS PERCEIVE GRADUATE STUDENTS AND PROFESSORS IN PSYCHOLOGY》介绍了PhDGPT数据集,这是一个新的提示框架和合成数据集,旨在研究LLMs如何感知和模拟心理学博士研究生和教授的心理状态。PhDGPT数据集包含了75.6万个数据点,通过模拟不同的学术事件、性别和职业层级,生成抑郁、焦虑和压力的心理测量分数及其解释文本。研究的主要目的是通过PhDGPT数据集,揭示LLMs在处理心理学领域中的情感和认知偏见,以及它们在再现人类心理复杂性方面的能力和局限性。 PhDGPT数据集由特伦托大学心理学与认知科学系的研究团队开发,成员包括Edoardo Sebastiano De Duro,他是心理学与认知科学系成员,对心理测量和语言模型有深入研究。Enrique Taietta是心理学与认知科学系成员,与Edoardo共同致力于研究大模型在心理学领域的应用。Riccardo Improta是心理学与认知科学系成员,参与多项心理学研究,特别是在心理测量和认知科学方面。Massimo Stella是心理学与认知科学系成员,是这项研究的通讯作者,专注于心理测量、认知科学和大模型的交叉研究。 这个团队共同推出了PhDGPT,一个全新的数据集和提示框架,用于研究大模型对心理学博士研究生和教授的感知。他们利用OpenAI的GPT-3.5,通过严格的提示工程技术,创建多样化的人物角色和学术场景,旨在通过网络心理计量学和心理语言学方法,分析LLMs生成的心理数据和人类数据的异同。 研究方法 PhDGPT是一个由75.6万个数据点组成的综合数据集,旨在捕捉大模型(LLMs)对心理学博士研究生和教授的心理状态感知。该数据集通过模拟15个学术事件(如考试、研究、发表等)、两种性别(男、女)和两种职业层级(博士生、教授),生成抑郁、焦虑和压力量表(DASS-42)的42个独特项目反应。每个情景重复300次,以确保数据的多样性和可靠性。数据集不仅包含数值心理测量分数,还包括每个分数的简短文本解释,从而提供了一个心理测量分数与文本描述相结合的双重视角。 图1:构建PhDGPT所采用的条件表示。 为了生成PhDGPT数据集,研究团队使用了提示工程技术,通过OpenAI的API调用GPT-3.5模型。他们设计了一个复杂的提示框架,让模型在不同角色和学术场景中进行角色扮演。提示内容包括具体的学术事件、性别和职业层级,例如“你是一名准备参加统计学综合考试的女性博士生”,从而引导模型生成与该情景相关的心理测量分数和解释文本。为了增强角色扮演效果,提示框架中采用了重复提示技术,避免模型产生幻觉,同时增加对所扮演角色的识别。 图2:用于女性、博士生、发布条件的提示示例。(a)正态,(b)负价,(c)中性条件。 数据收集过程通过对每个情景进行300次API调用,生成包含DASS-42量表分数和文本解释的数据。研究团队采用了探索性图分析(EGA)方法,对生成的心理测量数据进行深入分析,比较模型生成的心理计量网络与人类数据,并映射到抑郁、焦虑和压力的原始子量表上。通过计算纯度,评估模型在重现人类因子结构上的能力。 作为额外的聚类质量评估指标,研究团队采用了纯度。纯度表示根据预定义的地面实况正确分配的集群内数据点的比例。在他们的案例中,基本事实是指与我们的心理测量评估中的项目相关的原始类别(例如,抑郁、焦虑、压力)。为了计算纯度,我们可以根据原始子量表的心理结构来描述每个因素Fi(D表示抑郁,A表示焦虑,S表示压力)。例如: •F1:{D1={34,17,21,38,13,26,37,10,3,16,24,31},A1={∅},S1={≩}} •F2:{D2={5,42},A2={9},S2={33,12,8,22,29}} •F3:{D3={∅},A3={25、40、4、15、41、7、20、23、36、19、30、28、2},S3={≟}} •F4:{D4={∅},A4={≩],S4={39、32、35、14、18、27、6、11}} 在D、A和S上聚集将导致社区结构,{Ci}i={Di∪Ai \8746 Si}i,其纯度将估计为:...