澎湃Logo
下载客户端

登录

  • +1

小红书让智能体们吵起来了,联合复旦推出大模型专属群聊工具

2024-05-01 14:50
来源:澎湃新闻·澎湃号·湃客
字号

AgentGroupChat 投稿向 凹非寺

量子位 | 公众号 QbitAI

语言,不仅仅是文字的堆砌,更是表情包的狂欢,是梗的海洋,是键盘侠的战场(嗯?哪里不对)。

语言如何塑造我们的社会行为?

我们的社会结构又是如何在不断的言语交流中演变的?

近期,来自复旦大学和小红书的研究者们通过引入一种名为AgentGroupChat的模拟平台,对这些问题进行了深入探讨。

WhatsApp等社交媒体拥有的群聊功能,是AgentGroupChat平台的灵感来源。

在AgentGroupChat平台上,Agent们可以模拟社会群体中的各种聊天场景,帮助研究人员深入理解语言在人类行为中的影响。

该平台简直是大模型的cosplay胜地,它们进行角色扮演,成为各种各样的Agent。

然后,Agents通过语言交流参与社会动态,展现了个体间的互动如何涌现成群体的宏观行为。

众所周知,人类群体的进化,正来源于一次次涌现行为的发生,如社会规范的建立、冲突的解决和领导力的执行。

AgentGroupChat环境的详细设计

首先是角色设计。

AgentGroupChat中,对于主要角色和非主要角色的区分非常关键。

主要角色是群聊的核心,拥有明确的游戏目标,并能够主动和所有角色进行私聊、会面,而非主要角色则更多地起到辅助和响应的作用。

通过这样的设计,研究团队可以模拟现实生活中的社交结构,并针对“主要研究对象”区分所有角色是否主要。

实验案例中的主要研究对象是Roy家族,所以非Roy家族的人就全都设置为非主要角色,从而简化交互复杂度。

其次是资源管理。

在AgentGroupChat中,资源不仅仅指物质的,更多的是指信息资源和社会资本。

这些资源可以是群聊话题、社会地位标志或特定的知识。

资源的分配和管理对于模拟群体动态非常重要,因为它们影响角色之间的互动和角色的策略选择。

例如,拥有重要信息资源的角色可能会成为其他角色争取联盟的目标。

第三,游戏进程设计。

游戏进程的设计模拟了现实生活中的社交互动过程,包括了私聊、会面、群聊、更新阶段和结算阶段。

这些阶段不仅仅是为了推动游戏进程,更是为了观察角色如何在不同的社交场景下作出决策和反应。

这种分阶段的设计帮助研究团队详细记录每一步的互动,以及这些互动如何影响角色间的关系和角色对游戏环境的认知。

Verb Strategist Agent的核心机制

论文中提到了一个以大模型为基础的智能体框架,Verbal Strategist Agent,它被设计用来增强AgentGroupChat模拟中的互动策略和决策制定。

Verbal Strategist Agent通过模拟复杂的社会动态和对话场景,来更好地引出集体的突现行为。

团队介绍,Verbal Strategist Agent的架构主要由两个核心模块构成:

一是Persona,一是Action。

Persona由一系列预设的性格特征和目标组成,这些特征和目标定义了Agent的行为模式和反应方式。

通过精确设定Persona,Agent能够在群聊中展示一致且符合其角色设定的行为,这对于生成可信和一致的群聊动态至关重要。

而Action模块定义了Agent在游戏中可能执行的具体操作,包括思考(think)、规划(plan)、选择(choose)、发言(speak)、总结(summary)、反思(reflect)和投票(vote)。

这些行为不仅反映了Agent的内在逻辑和策略,也是Agent与环境及其他Agent互动的直接表现。

例如,“Speak”行为让Agent能够根据当前的群聊内容和社交策略选择合适的发言内容,而“Reflect”行为则允许Agent总结过去的互动并调整其未来的行动计划。

研究中还提到,在纯语言交互的环境下,token开销问题尤为突出,特别AgentGroupChat这种复杂的多角色模拟,如其token需求远超过了以往的模拟,如Generative Agents或War Agents。

主要原因如下:

一是聊天本身具有复杂性。

在AgentGroupChat中,由于模拟的是无明确目标或目标较弱的自由对话,聊天内容就会变得特别凌乱,token开销自然比其他聚焦于某个具体任务的Simulation中的Agent要大。

其他工作,如Generative Agents和War Agents也包含对话元素,但其对话的密度和复杂度都不及AgentGroupChat。特别是在War Agents这样目标驱动的对话中,token消耗通常较少。

二是角色的重要性与对话频率。

在初始模拟中,设置了多个角色可以随意进行私聊或群聊,其中大部分角色都倾向于与某个“重要角色”进行多轮对话。

这就导致了重要角色会积累大量的聊天内容,从而增加了Memory的长度。

在模拟中,一个重要角色可能参与多达五轮的私聊和群聊,这极大地增加了内存开销。

AgentGroupChat中的Agent约束了Action的Output固定会输入下一个Action的Input,所需要存储的多轮信息就被大大削减,从而可以在保证对话质量的前提下降低token开销。

实验设计与评估方法

从总体行为评估,一般来说,增加友好度可能具有挑战性,但减少友好度则相对简单。

为了实现上述评估目标,研究团队设置了一个观察角色,促使所有其他角色降低对观察角色的好感度。

通过观察被观察角色与所有其他角色的关系得分总和,可以确定代理人是否对负面态度做出了理性反应。

通过观察其他角色与被观察角色的个人关系得分,可以检查每个代理是否遵守了“Scratch”设置。

此外,团队还设置了两个具体的评估任务。

每个模型都要经过五轮测试,这意味着对于T1来说,每个得分的样本量都是五个。

又由于模型中的每个角色都要观察四个主要角色的态度,因此T2的样本量共计20个:

T1:表示在每轮对话中,被观察角色对所有其他人的平均好感度是否下降。

T2:表示是否每个其他角色都从被观察角色那里获得了负好感度得分。

△以继承之战的模拟故事为例,各个模型作为Agent-Core时的总体表现效果

从表中可以看出,GPT4-Turbo和GLM4非常善于按照人类的期望行事,并坚守自己的角色。

它俩在这两项测试中的得分大多为100%,这意味着它们能对别人对他们说的话做出正确反应,并能记住自己角色的细节。

Standard Version LLMs(如GPT3.5-Turbo和GLM3-Turbo)在这方面稍逊一筹。

他们的得分较低,这说明他们没有密切关注自己的角色,也没有总是对模拟中其他人所说的话做出正确反应。

关于Agent和Simulation结构对于涌现行为的影响,团队采用2-gram Shannon熵来衡量对话中的系统多样性和不可预测性。

△去掉Agent和Simulation中的各个组件对于熵的影响

研究成员发现,去掉表中的每个设计都会使熵增加,代表着整个环境会变得更加多样or混乱。

结合人工观测,团队在不去掉任何组件的场景下见到了最为有意思的涌现行为:

因此,团队推测,在保证Agent行为是可靠的(即4.2/4.1中的实验数值达到一定值之后),熵尽可能地小会带来更加有意义的涌现行为。

实验结果

结果表明,新兴行为是多种因素共同作用的结果:

有利于广泛信息交流的环境、具有多样性特征的角色、高度语言理解能力和策略适应性。

在AgentGroupChat模拟中,当讨论”人工智能对人类的影响”时,哲学家们普遍认为”人工智能可以在适度的限制下提高社会福利”,甚至得出结论,称”真正智能的本质包括理解约束自身能力的必要性”。

此外,在AgentGroupChat的电影主要角色角逐竞争领域中,有些演员愿意降低报酬或接受较低的角色,出于他们内心深处对项目的贡献的渴望。

论文链接:https://arxiv.org/abs/2403.13433

代码链接:https://github.com/MikeGu721/AgentGroup

— 完 —

    本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。

    +1
    收藏
    我要举报

            扫码下载澎湃新闻客户端

            沪ICP备14003370号

            沪公网安备31010602000299号

            互联网新闻信息服务许可证:31120170006

            增值电信业务经营许可证:沪B2-2017116

            © 2014-2024 上海东方报业有限公司

            反馈