浙大：蒸后多个药剂变单一模型，效果更佳

大家好，今天来为大家解答浙大：蒸后多个药剂变单一模型，效果更佳这个问题的一些问题点，包括也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~

尤其是在视觉、音频和文本交织在一起的多模态环境中，如何动态调整多模态语言模型（MLM）以适应视觉世界的复杂性已成为摆在我们面前的重大挑战。

GPT-3.5研究与测试：https://hujiaoai.cn

GPT-4研究测试：https://higpt4.cn

Claude-3研究测试（全面击败GPT-4）：https://hiclaude3.com

结合附加的专家模块，浙江大学团队提出了一种用于多模态多智能体训练的分层知识蒸馏方法。多Agent在自组织的层次系统中协作，实现思维链条的精细化和高效的部署。这里的智能体通过教师模型进行分层训练，模拟动态并调整任务，这意味着仅使用多模态语言模型（MLM）就可以实现有效的合作。经过蒸馏，STEVE-2可以通过单一模型开发出高效的体感代理，无需专家指导即可完成精确的开放任务。

论文标题：我们真的需要一个复杂的代理系统吗？将具体代理提炼为单一模型

论文链接：https://arxiv.org/pdf/2404.04619.pdf

方法

整体框架如上图所示。在图（a）中，STEVE-2接受文本任务描述和图像作为每个步骤的输入状态。 STEVE-2 可以模块化为三个组件：

ViT 充当视觉编码器，将图像编码为嵌入。

多层感知器(MLP) 层将ViT 生成的嵌入与语言空间对齐。

LLM充当语言解码器，接受指令标记的拼接和线性投影层的输出作为输入来生成文本动作。然后使用该文本操作来检索代码操作。

STEVE-2生成从图（b）中的教师Agent（多功能MLM的组合）中提取的动作序列，两者在Multi-Agent系统中以分层组织结构的形式并行工作。它利用多模态语言模型的认知和协作能力，在开放环境中处理视觉（）、音频（）和物体（）目标，管理和执行复杂的多智能体任务：

表示指挥代理的视觉、音频和其他属性的状态列表是初始任务。然后获取指挥代理的操作，即代理的总数。

图(c)的分层架构主要包括两部分：高层的集中式规划管理器代理为表示，低层的分布式执行指挥者代理为表示，Actions 通过以下方式获取：

Actor 代理通过以下方式实现：是可选的附加操作。

在分层多代理系统中，每个教师代理通过不同的提示执行这三种不同的MLM。然后通过带有DPO 损失的分层知识蒸馏，STEVE-2 学习了这三个代理的性能：

多模式教师模型

多模式教师模型MLM 包含三个关键主体：管理者、指挥者和参与者。每个代理都配备有规划器、描述器、批评者和技能模块。

他们共同制定任务计划、处理多模式数据、通过反馈优化策略并有效分配子任务。然后，他们将战略转化为具体行动，协调团队组建，并确保任务分配与中央指示保持一致。同时，通过课程学习，模型可以不断学习并适应复杂的任务。此外，该模型还维护一个多模态存储器，用于存储描述符生成的长期描述和规划器修改的轨迹，以支持更有效的决策和执行。

基于MLM的自适应规划

在规划阶段，大型语言模型从文本观察中过滤掉与任务相关的条件句子。通过预定义模板巧妙地将附加信息集成到文本中，使计划更加全面。然后，结合任务说明和这些描述性文本，LLM 的语言组件用于生成行动计划。

这种方法利用分层大型语言模型的强大功能来生成更准确的情况描述和计划，与完全集成的模型相比，显着降低了生成不切实际元素的风险。

自主纠错和主动规划

STEVE-2 通过闭环反馈机制改进规划，分析反馈并使用不言自明的功能自动纠正错误，无需人工干预或附加信息。它提前识别并纠正计划中的潜在问题，对每一步进行模拟和评估，以减少因计划失败而造成的困难情况。这种主动的方法使其能够预测资源不足等可能阻碍任务完成的问题。

具有附加专家信息的教师模型

现有的开放代理在面对不确定指令下的复杂任务时常常不知所措。特别是对于导航和创建等高度开放的任务，由于语言指令可能缺乏信息，且结果复杂多样，因此需要代理独立想象和补充指令中未明确说明的细节。

其中， 代表文本描述的多模态知识。状态用表示。 Expert 将文本对象目标转换为.此过程为教师模型提供了详细的任务描述。这为Agent提供了更丰富的任务信息并减少了不确定性。

知识蒸馏

逻辑函数 和超参数 用于控制与参考代理的偏差。参考代理是通过对基于规则的教师生成的数据集进行行为克隆而获得的。

该模型使用最大似然估计（MLE）进行训练，并添加正则化项以防止智能体偏离老师的准确分布，保持生成的多样性，并避免过早收敛于简单任务。

为了稳定训练过程，MLM代理被初始化为。然而，由于分布不可计算，使用DAgger收敛到最优代理以克服累积误差和分布偏移问题。

实验

多模态导航任务

该任务包括多模态目标搜索、连续区块搜索和地图探索。实验结果如下表所示，

STEVE-2表现出了最好的性能，这展示了在不同操作模式下的多个导航任务中多智能体协作的效率。当使用较少的法学硕士时，处理效率和模块减少会显着提高。

多模式目标搜索。多模态目标搜索技术可以准确识别图像、物体和音频目标。在游戏中，对象标签帮助识别项目，图像标签帮助定位对象，音频标签捕获玩家范围之外的声音。通过分解任务层次结构，STEVE-2的性能比当前最先进的LLM方法提高了5.5倍，而成功率保持不变。

连续块搜索。连续区块搜索是对智能体探索能力和定位钻石区块熟练程度的综合评价。在此过程中，智能体的目标是用最少的迭代次数找到尽可能多的块。借助动态地图和层次结构，可以更有效地发现和部署更多区块，从而提高搜索效率。

地图探索。地图探索的目的是让智能体更新尽可能多的地图信息。在同等环境感知条件下，对于未到达的区域，系统会以文本形式提供状态信息。此外，每步移动的最大距离限制为50 个方块。在此限制下，STEVE-2表现出了优异的性能，与最先进的LLM方法相比，性能提高了1.9倍，效率提高了3倍。

多模式创建任务

为了评价创作任务的完成情况，分为收集材料和建造两个部分。实验结果如下表所示：

下图是该方法的代表性输出结果并与GT（Ground Truth）进行比较：

由于摘要文本的创建方式多种多样，因此需要使用FID 索引和手动统计偏好来确定生成的结果是否符合描述。 STEVE-2在FID分数上实现了3.2倍的提升，在GPT-4V和人类主观偏好分数上均名列前茅，在保证高精度的同时也展现出了优异的性能。

消融实验

下表是一个材料收集和建筑创建的消融实验。

从上述实验结果可以看出，STEVE-2模型在系统性能方面明显优于教师模型GPT-4V，导航效率提升1.8倍，创作质量提升4倍。

知识蒸馏进一步改进了模型，使其从头开始导航和生成高质量建筑的效率提高了24 倍。

综上所述