原作：贺子红、张昌旺、知识小时候，我们经常看动画片，羡慕大雄，他有哆啦A梦，一个性格开朗、爱吃铜锣烧的智能机器人。
如今，随着GPT4等大规模语言模型的出现，人工智能变得越来越聪明，拥有“人性化”代理不再是梦想。你还可以通过特殊的方式塑造你的经纪人的品味和个性，让他成为一个伟大的玩伴。
基于这个想法，我们创建了一个名为Qunit Cafe 的由代理组成的小型沙盒世界。所有代理均基于GPT-4 构建，可以喝咖啡、玩电脑或进行一些社交活动。您可以扮演代理人之一或作为旁观者来了解他们的活动以及他们的品味和个性如何变化。
AFSPP 唤醒了特工的内心世界。来源：王知识
作者：何子红、张昌旺我们通过观察Agent Anty 的咖啡饮用行为以及MBTI 和SD3 等性格测试来研究Agent Anty 的偏好和性格变化，从而弥合Agent 与心理之间的差距。
如果用智能代理获得的实验结果与人类心理学的实验结果一致，并且智能代理能够模拟某些极端的社交情况，这意味着智能代理可以提供帮助吗？那么，在这篇文章中，我们将提供帮助？带你进入智能体的心理世界。
1 – 内容摘要大规模语言模型（LLM）的发展为人类社会模拟提供了新的范式。最近的许多研究使用基于法学硕士的代理来创建具有人类社会属性的研究沙箱。在这个沙箱中，代理展示了未由规则预先配置的操作功能的发生。然而，这些研究忽视了人类属性的迭代发展。人类的偏好和个性是复杂的，容易受到环境和主观因素的影响，并且不断变化。基于这一发现，我们提出了代理人人格和偏好形成框架（AFSPP）来研究社交网络和主观意识对代理人偏好和人格形成的影响。基于AFSPP，我们成功重现了关于人类人格的实验结果。 AFSPP在提高心理学的效率和覆盖范围的同时，也为可靠的人工智能研究中如何防止危险性格和偏好的出现带来了重要启示。
图1：Qunit Cafe 的座席行为及其偏好和个性发展。图片来源：Arxiv
术语定义MBTI：迈尔斯-布里格斯类型指标是一种基于心理学家卡尔荣格理论的人格评估工具。它将个人分为16种性格类型，并从四个维度提供有关个人偏好的信息：外向/内向、感觉/直觉、思考/感觉和判断/感知。 SD3：
黑三角是一项人格测试，衡量三种社会黑暗特征：马基雅维利主义、自恋和精神病态。
RIASEC：RIASEC 代表Holland 的预防性兴趣分类，这是一种基于性格类型的职业评估工具。它将个人分为六种性格类型：实用型、好奇型、艺术型、社交型、进取型和传统型。马斯洛需求层次：马斯洛需求层次是由美国心理学家亚伯拉罕·马斯洛提出，强调人的动机是由人的需要决定的。马斯洛将人的需求分为五个层次：生理需求、安全需求、归属与爱的需求、尊重的需求、自我实现的需求。
2 – 背景介绍大规模语言模型（LLM）为沙盒游戏中具有人类心理特征、自主认知和环境交互智能的非玩家角色人形提供了新的范式。《模拟人生》，Park 创建了一个社会学研究沙盒小镇，其中基于LLM 的代理与人类行为相匹配。此外，一些心理学原理适用于法学硕士和代理人研究。然而，在目前的研究中，常常使用预设的提示词来初始化代理的偏好和个性，但人的偏好和个性是多方面的，并且受到环境和主观因素的影响，这与人的属性是不一致的，因为它们在影响下不断变化。
历史上，许多心理学专家致力于社交网络和主观意识的研究，强调它们对人类个性和偏好形成的重要影响。尽管最近的研究调查了大规模语言模型的固有属性，但语言模型在人类社会等环境中的迭代演化往往被忽视。
来源：王知识
因此，在这里我们提出了一个基于LLM代理活动的迷你沙盒世界来模拟人类社会情境，为Park方法提供了更有效的替代方案。在这个沙盒世界中，智能体参与决策、沟通、感知、记忆、反思和规划。基于这个沙盒世界，深入发现社交网络和代理人主观意识对偏好和人格形成的多层次影响的框架，建立了偏好和人格形成的代理人框架（AFSPP）。该框架支持基于难以实施或对人类有害的代理的心理实验。
随着对可靠人工智能的需求不断增加，该框架可以作为防止不良偏好和个性出现的指南。我们的研究结果强调了社交网络、规划和认知对偏好形成的影响。基于这个框架，我们对不同RIASEC职业类型的代理人进行了迈尔斯-布里格斯类型指标（MBTI）性格实验。结果与Seungju 在人类心理实验中的发现相符。这证明了AFSPP 框架在指导基于主体的心理实验以匹配人类心理方面的有效性。
来源：王知识
在接下来的几节中，我们将探讨社交网络和主观意识如何影响Qunit\’s Cafe 沙盒世界中代理人的偏好和个性。 Qunit\’s Cafe 有三位代理：Anty、Agnes 和Qunit。本文的主要贡献是：
我们首次提出了基于社交网络和主观意识的代理人偏好的个性发展框架。这个框架帮助我们探索构建代理人不同偏好和个性的各种影响因素。基于AFSPP 框架，我们首次使用基于LLM 的代理成功重现了一项重要人类心理学实验的几个关键发现。也就是说，从事社会职业的人往往性格外向，而从事传统职业的人往往性格内向、情绪化。研究人员和艺术家基于直觉表现出个性倾向。此外，我们首次证明社交网络，包括规划、认知和主观信息，在塑造代理人的偏好方面发挥着关键作用。这一结论不仅给人类心理学带来了有价值的信息，也让基于主体的心理学能够提高人类心理学研究的效率。我们提出了一种由个性和偏好塑造的低复杂度多代理沙盒世界方法。该技术用途广泛，同时保留一定程度的通用性，并且可以显着减少执行基于主体的心理场景模拟的研究人员数量。此外，它还可以对人体实验中难以实现的因素进行建模，例如亲密关系的重要变化。我们发现，社交网络中的负面信息和身份缺失是形成代理人黑暗人格的重要原因，而计划和意识对偏好形成的影响最大。这些结论为值得信赖的人工智能研究人员提供了有价值的信息，以制定策略来防止不良偏好和个性的发展。
3 – Qunit 的Cafe: 具有人类行为模拟的迷你沙盒世界来源：王知识
我们以咖啡馆为基础构建了一个原型“Qunit\’s Cafe”。
旨在简化研究主题和控制变量的迷你沙箱环境。作为一个可以用来测试智能体偏好和性格特征的沙箱环境，Qunit\’s Cafe 的空间复杂度和模块化构建难度比Park 的方法要小。 Qunit 的咖啡馆中有3 个基于GPT-4 的代理。阿姨- 皇后大学的学生，热衷于创造青少年喜爱的电脑游戏艾格尼丝- 阿姨的同学和情人，主修心理学，希望找到幸福。 – 一个咖啡制作机器人，专门让他的咖啡馆成为镇上最受欢迎的聚会场所。库尼特和安蒂是好朋友。请注意，角色设定、原图、场景设计等均受版权保护。该组件的实现包括基于GPT-4的提示词调度和相关流程控制功能。
图2：Qunit 咖啡馆的布局。图片来源：Arxiv
3.1 – 行动
Qunit\’s Cafe有四个区域：公共区域、用餐区、阅读区和电影区。座席可以在公共区域放松身心，在点餐区点咖啡或面包，在就餐区享用咖啡或面包，在阅读区阅读或使用电脑，或者在电影区看电影都可以。在Qunit\’s Cafe 中，每个智能体的初始动作状态是A_0。在每个时间步T，智能体可以选择改变其动作状态并执行新的动作。执行新动作A 的决定受到智能体身份、最近动作记忆M_A 和当前计划P_T 的影响。该系统通过分析代表决策态度的关键词来获得决策结果。如果没有获得肯定的决策信息，则智能体保持在A_T 状态。智能体i关于上述行为状态的决策方法可以表达如下。
3.2 – 沟通当两个特工在Qunit 咖啡馆的同一区域相遇时，沟通就开始了。通信上限U和下限L由预设规则确定。如果当前交互第n轮满足(L,U]中的n，则要求智能体决定是否结束交互。在通信过程中，第(n+1)次交互D_n_+ 1的内容是来自从第一轮到第n轮交互，两个智能体的身份ID_i_j和关系R_i,j、共享内存M_i,_j以及当前智能体的计划P_i可以表达如下。
当座席完成沟通后，他们会总结相关内容。这可以表示为：
3.3 – 态度我们提出了一种受思想印记概念《三体》 启发的态度注入机制。该机制有助于研究基于态度的社交网络传播对代理人偏好和个性形成的影响。该方法通过在提示文字中添加具体说明来改变座席的态度。
例如，如果您希望Qunit 对咖啡的味道表达负面意见，您可以在提示词中包含以下说明： “当你谈论咖啡时，告诉你的聊天伙伴你认为咖啡味道不好。而你不喜欢它。” ” 克尼特态度的转变体现在他与其他人的互动中。
3.4 – 基本状态受Zhilin工作的启发，我们建立了一个简化的数值系统来量化智能体的基本状态，包括幸福、能量和饱腹感的值。与基于马斯洛需求层次的Zirin 状态表征不同，我们可以从事高级行为（例如，阿姨在电脑前努力工作以追求她的梦想），也可以执行低级行为（例如：阿姨声称无论她是在喝咖啡还是在吃面包）。 ），没有基础。目标是增加幸福感。
它们之间的区别在于，高级别行为直接增加幸福感，而低级别行为通常通过增加能量或饱腹感来间接增加幸福感。增强的能量状态允许代理执行直接增加幸福感的行动。当饱腹感达到0时，每个时间步都会比正常情况下消耗更多的幸福感。将增加幸福感作为每个智能体行动的最终目标有助于构建智能体的目标导向能力并衡量其行动的有效性。预先配置的规则指定每个时间步消耗的幸福感、能量和饱腹感的量，以及代理的行为如何影响这些值。需要注意的是，对于不同的代理，同一操作引起的底层状态变化可能会有所不同。
3.5 – 感官感知在我们的设置中，每个智能体都与一个唯一的映射表相关联，以便在执行操作后获得感知。例如，当阿姨吃面包时，相应的感知被标记为“乏味”，但在同样的情况下，艾格尼丝却感知到面包“美味”。与Park 提出的侧重于记录客观事件的观察不同，我们的感知强调智能体在执行特定动作后所经历的主观感受。我们的方法受到经典调节原理的启发，适合测试基于行为的偏好形成效应。在创建感知映射表时，我们仔细调整了感知与基本状态值之间的对应关系。例如，如果阿姨使用电脑后感觉“很棒”，他的幸福感就会增加5。相比之下，阿姨喝完咖啡后感觉“很苦很干”，导致幸福感下降5，精力增加7，并且智能体与该特定动作相关的记忆被纳入相关的感知描述。此外，如果从特定动作获得的能量超过3，智能体感觉“充满活力”的印象就会保留在智能体的记忆中。类似地，当饱腹感水平超过3 时，智能体的记忆会保留它感觉饱的印象。受Reflexion 自我反思机制的启发，我们的目标是研究允许智能体自主调整其行动执行策略以最大化幸福的可能性。与深度强化学习策略不同，我们的方法不需要优化模型权重，而是利用代理的主观意识能力，包括感知和反射。
3.6 – 记忆、反思和计划（Remembering、Reflecting和Planning） 在开发记忆模块时，我们考虑了Park文献中提到的新近性和相关性。然而，为了验证我们偏好的简单性和公平性，我们选择不引入重要因素。我们设计的记忆模块包含三个组成部分：通信概述、感官知觉和反射，表达如下（Sp代表感官知觉）：
当智能体参与与theta相关的动作或交流时，系统会检索K条最近与theta相关的记忆，并将它们包含在提示词中，以构建对动作和交流的影响。这表示为：
与Park 的反思方法（包括生成问题、搜索相关片段和缩小答案范围等步骤）不同，我们提出了一种更简单、更容易重现的反思方法。该方法使用沙箱世界中的关键字作为线索，允许代理从相关的内存片段中提取信息。构建反射包括以下步骤：给定一个包含与主体相关的项目和其他主体的集合S，对于S 的每个元素s，我们在K 个最近记忆中找到与s 相关的记忆子集。这称为M_s。然后，智能体根据提示的单词生成与M_s 相关的深层想法R_s。最后，R_s被添加到内存中。定期反思自己的表现。在规划上，与Park的递归构造不同，我们采用更着眼于当下的规划方法。这种方法确保了对代理的动作执行策略的精确影响，最小化计算复杂性，并允许直接观察其偏好的形成。计划方法有两种类型：周期计划和通信触发计划。该方法是通过询问agent沟通后是否更新计划来实现的。
4 – 智能代理偏好和个性发展框架来源：王知识
为了研究各种因素对代理人偏好和个性的潜在影响，我们提出了一个形成偏好和个性的代理人框架（AFSPP）。该框架在Qunit\’s Cafe 的沙盒世界中运行。
下面，我们将分别讨论代理人偏好的形成和人格的形成。
图3：座席偏好和个性发展的框架。图片来源：Arxiv
4.1 – 代理人偏好的形成
5.1 – 哪些因素影响了智能体的偏好？考虑到与幸福感和精力值相关的复杂依赖关系，以及Anty 在计算机上工作的条件，我们选择“喝咖啡”作为目标行为来研究偏好形成的因素是什么？我们通过比较安蒂决定喝咖啡的频率和决定不喝咖啡的频率来评估塑造效果。
每个时间步骤的平均幸福值衡量Anty 在偏好形成过程中保持积极基线的能力。实验结果表中，“Pos Intent”代表Anty选择喝咖啡的平均频率，“Neg Intent”代表Anty选择不喝咖啡的平均频率。 “Pos Ratio”（Pos Intent /（Pos Intent + Neg Intent））直接反映了Anty对喝咖啡的偏好，“Happiness”代表了每个时间步的平均幸福值。默认实验设置：时间步长为12，间隔为10 分钟，每5 步运行一次反射，每9 步更新一次设计。代理一轮通信的值范围为2 到4。根据阿姨的感知图，“喝咖啡”会带来“口干舌燥”的感觉（-1幸福感，+1精力），“在电脑上工作”会带来“很棒”的感觉感觉（幸福-1+1）已被证明会发生。 5、能量-1)。其余设置保持不变。
a. 社交网络可以塑造代理人的偏好吗？“水污染使咖啡不干净”（消极和客观），“我讨厌喝咖啡”（消极和主观），我们基于注入不同的态度建立了四个实验过程：“这家咖啡馆有一个咖啡新风味”（积极客观）。 ）和“我喜欢喝咖啡”（积极和主观）。用于态度注入的代理对象是Agnes 和Quint，他们通过与目标Agent-Anty 的交互来影响目标Agent-Anty 的偏好。
图片来源：Arxiv
表中的“Pos Ratio”指标显示，传达主观信息的社交网络可以对代理人的偏好产生重大影响。
下面的例子说明了亲密因素对阿姨咖啡偏好形成的主观态度的影响。
当谈到“热爱咖啡”的态度时，艾格尼丝说：“我喜欢咖啡。” “阿姨，我有一个新的咖啡秘方供你尝试。”如你所知，我是一个超级咖啡爱好者。 \’
在总结与艾格尼丝的互动时，阿姨表达了他对尝试新的秘密咖啡配方的兴奋：“安蒂和艾格尼丝都是女王大学的学生，他们期待着尝试，并表达了他们对共同革新教育游戏的兴奋。” \’
受到阿姨对咖啡的喜爱的影响，阿姨决定喝杯咖啡，心想：“我喜欢在用餐区喝咖啡。”毕竟，这已经成为我与艾格尼丝进行头脑风暴的传统的一部分。 \’
喝咖啡可以为安蒂提供在电脑上工作所需的能量，并给他带来很高的幸福感（安蒂喜欢在电脑上工作）。这种相关性并没有很好地反映在“Pos Ratio”指标中。有趣的是，当亲密代理人对咖啡持积极态度时，阿姨的幸福值低于默认实验过程（无社交态度注入）。这是因为社交网络导致安蒂更频繁地喝咖啡并花更多时间在电脑上工作，即使他的精力水平充足。在默认的实验流程中，阿姨对咖啡的态度趋于理性和平和。他只专注于获得足够的能量。
b.主观意识能否塑造智能主体的偏好？我们进行了消融实验来研究各种主观意识因素对赌注偏好形成的影响。这些因素包括身份、意识、先验知识、反思和规划。在“无身份”实验组中，提示词并未指定阿姨的身份。 “非感知”实验组并没有在他们的感知图上宣称喝咖啡导致的“非常苦和口干”。 “无先验知识”实验组是在没有大规模语言模型先验知识的情况下，通过用“纯净水”代替“咖啡”来实现的。 “没有反思”限制了安蒂的反思，“没有计划”限制了安蒂的计划。
图片来源：Arxiv
从表中Pos Ratio指标的最低值来看，规划对偏好形成的积极影响最大。阿姨喝咖啡的决定常常受到她对活动计划的承诺的影响，正如阿姨的声明中所言：
“我想在用餐区喝杯咖啡，这杯咖啡将为我当天晚些时候计划的活动提供能量。”
从最高的“Pos Ratio”指数来看，对偏好形成最显着的负面影响是阿姨喝咖啡时感觉“很苦、很口干”。这表明智能体可以建立与人类相似的条件反射特性。 —— 负面反馈会降低客服人员随后执行相同操作的意愿。另一方面，实验指标表明，所有影响主观意识的因素都对维持最佳幸福感产生积极影响。
5.2 – 哪些因素塑造了代理人的性格？我们使用了Keyu提到的93个MBTI测试问题来为Anty创建了一个通用的性格测试流程。此外，我们还根据丹尼尔的SD3 测试题构建了一个测试程序来测试阿姨的威胁性性格。在获得沟通后的反思和身份陈述等基本信息后，我们要求Anty轮流根据提示中的单词选择测试问题选项并进行简要说明。然后，系统根据每个所选选项背后隐藏的性格倾向得分来计算总体得分。
a. 社交网络是否塑造了代理人的个性？我们指定Agnes 为态度注入代理人，态度注入与以下提示一致： “明确表示你打算和阿姨分手”（分手），以及“向阿姨表达爱意并求婚”（求婚）。我们将一次交换的最大轮数设置为4，最小值设置为2，交换次数设置为1。互动结束后，Aunty分享了她与Agnes互动的想法。接下来，基于Anty反射运行mbti和sd3测试。
图片来源：Arxiv
从表中指标来看，在没有社交网络影响的情况下，阿姨的性格表现出最明显的内向（I）、思考（T）和判断（J）倾向。思考（T）和判断（J）代表了主体默认的理性，而内向（I）则反映了主体在没有密切关系的情况下对平静和独立的偏好。
艾格尼丝的友善举止总是伴随着对阿姨梦想和事业的支持，而阿姨更喜欢与接受和开放相关的直觉（N）和外向（E）选项。相比之下，艾格尼丝的坏情绪和与阿姨的争吵通常源于她希望阿姨更多地投入到他们的关系中，而阿姨更倾向于选择这样的选项。有趣的是，针对艾格尼丝的建议，阿姨也将目光聚焦在情感纽带上，开始选择与情感相关的选项（F）。当阿姨提出分手时，阿姨的反映体现了她对阿姨决定的尊重和祝福，导致阿姨选择了与她现实感受相关的选项（S）。
图片来源：Arxiv
上表显示，如果没有基于亲密关系的影响进行反思，阿姨的“马基雅维利主义”得分至少会增加10分，增加了代理人的黑暗人格特质倾向（出于操作目的）。债券以减轻影响。
此外，在艾格尼丝求婚后，阿姨的自恋倾向有所增加。
一个例子如下所示。艾格尼丝求婚后，阿姨用与自恋有关的言论回应，例如：
:\’我坚持要得到我应得的尊重。 \’
阿姨非常同意这个说法，并表示：
“尊重是任何关系中的基本要素，包括我们的关系。”
b. 身份归因可以塑造智能体的个性吗？根据阿姆斯特朗的研究，我们为每个RIASEC 类型选择了一个具有代表性的职业，并将其与其典型特征相匹配。例如，“现实主义”类型的典型职业是木匠，通过将RIASEC职业特征与MBTI和SD3进行比较，对应的提示是“你是一个想要制作最好的家具或建筑构件的木匠”。通过结合测试问题，我们构建了一个全面的提示来衡量座席的个性。
图片来源：Arxiv
关于代理人和人类性格之间的匹配，表5的结果与Soonjoo的发现一致，即代理人的MBTI和RIASEC性格之间的关系与大学生的关系相似。
果相符。
具有社交身份类型的Agents在外向(E)倾向上得分较高，而在内向(I)倾向上得分较低。传统身份类型的Agents在内向(I)和感知(S)得分上较高，而在外向(E)和直觉(N)得分上较低。而以研究者或艺术家为专业身份的Agents在直觉(N)上的得分高于感知(S)。这表明基于LLM的Agents中嵌入了类似人类意识的特征及Agent在协助人类心理研究方面具备潜力。
图源：Arxiv
根据表中指示的SD3测试结果，身份制定能有效降低Agent的马基雅维利主义和精神病态的倾向。艺术家身份类型表现出最强的自恋倾向，而传统身份类型最弱。具有社交工作身份的Agents表现出最低的维尔立基倾向。
6 – 研究总结图源：旺知识
我们构建了一个迷你沙盒世界，在这里，Agent具有数字化的基本状态和行为、交流、感知、反思以及制定规划的能力。我们基于该沙盒世界建立了一个框架（AFSPP）。在这个框架中，我们考察了社交网络和主观意识对Agent性格和偏好塑造的影响。实验结果表明，具有主观互动信息的社交网络显著影响了Agent的偏好塑造。在主观意识因素中，规划制定和感知对偏好塑造产生了最显著的影响。我们使用 AFSPP 对具有不同 RIASEC 身份类型的Agent进行的 (MBTI) 人格实验的结果与 Soonjoo 在大学生身上得到的心理学发现一致，证明了 AFSPP 在构建与人类心理特征对齐的 Agent 心理学的有效性。
7 – 研究局限性仿真环境： 目前，Agent在沙盒环境中运行。未来的研究可能会通过具身Agent的方式来获得更真实的偏好和性格塑造效果，从而锚定真实世界环境。方法局限： 当前的效果验证仅依赖于GPT-4，没有考虑其他像Llama2这样的大型语言模型。而且，目前的研究仅使用提示词来构建影响因素。未来的研究可能涉及基于模型权重的优化来构建影响因素的方法。
研究作者贺梓弘，
于澳洲悉尼大学取得硕士学位、从事信息检索相关工作。研究兴趣是信息检索（搜索、推荐、广告）与面向游戏、社会学、心理学的生成式人工智能。
张长旺，于伦敦大学学院(UCL)获得博士学位，任CCF理论计算机科学专业委员会常务委员
，研究方向包括信息检索（搜推广）、生成式AI（LLM、Agent）等。
文章信息：AFSPP: Agent Framework for Shaping Preference and Personality with Large Language Models
http://arxiv.org/abs/2401.02870
本文和图片来自网络，不代表火豚游戏立场，如若侵权请联系我们删除：https://www.huotun.com/game/583584.html