初创公司MultiOn最近发布了号称「目前最强」的Agent Q，在真实的预订任务中可以达到95.4%的成功率。网友纷纷猜测其背后有OpenAI神秘的Q*项目加持。
没有等来OpenAI的Q*/草莓项目的发布，一家名为MultiOn初创公司却抢先发布了名为Q的智能体。
非常高兴地宣布我们过去6个月的工作——Agent Q现已上线！这是一个能够推理并搜索的自监督智能体框架，并可以通过互联网上的真实任务进行自我对弈和强化学习，实现自我纠正和自主改进！
更引起关注的是，MultiOn联创/CEO Div Garg在推特上提及Agent Q时，总不忘带上这个显眼的。
这引来了各路吃瓜群众的持续围观，有人猜测，Agent Q背后的大boss正是OpenAI的Q*项目。
不仅如此，MultiOn还给Agent Q开设了独立的推特账号，经常输出各种奇怪言论且「人机难辨」。
MultiOn的这波操作究竟是纯粹炒作，还是配合OpenAI对Q*的宣传预热，就见仁见智了。
要么这将是迄今为止发布的最好的AI agent之一，要么Div Garg会因为牵扯上这次最糟糕的炒作而毁了公司的声誉。在人工智能社区中，这会适得其反。
根据CEO Div Garg的说法，Agent Q不仅有规划、推理能力，还有自我修复功能。他们仅用了一天的训练时间，就将Llama 3的零样本性能提升了340%，在线%的成功率。
在官方发布的demo视频中，Agent Q可以执行的任务包括预订餐厅、会议、机票，其中都涉及多步的规划、推理、决策，以及与各种应用程序的交互。
虽然MultiOn的研究团队已经在官网上传了论文，但Agent Q还未开放试用，需要在等待名单中注册以申请内测机会。
近年来，虽然LLM已经彻底颠覆了NLP领域并取得了显著成就，但在交互环境中仍面临重大挑战，尤其多步推理任务，比如网页导航。
Agent Q的出现是AI智能体领域的一个重大里程碑，它结合了搜索、自我反思和强化学习，能够进行规划和自我修复。
通过引入一种新的学习和推理框架，Agent Q解决了之前LLM训练技术的局限性，使其能够实现自主网页导航。
当前的方法，如在精心策划的专家演示上进行监督微调，通常在智能体多步任务上表现不佳，其原因在于累积错误和有限的探索数据，因此在动态环境中需要复杂决策和自适应学习时，就会产生次优策略。
Agent Q结合了引导式蒙特卡洛树搜索（MCTS）和AI自我反思与迭代微调方法，同时利用直接偏好优化（DPO）等RLHF算法，使LLM智能体从成功和失败的轨迹中学习，提高多步推理任务中的泛化能力。
1. 基于MCTS的引导式搜索：通过探索不同的行为和网页自主生成数据，并在探索（exploration）和利用（exploitation）之间取得平衡。
2. AI自我批评：每个步骤中，基于AI的自我批评都能提供有价值的反馈，从而优化智能体的决策。这种步骤级反馈对于长周期任务至关重要，因为稀疏信号往往导致学习困难。
3. 直接偏好优化：DPO算法通过构建由MCTS生成数据的偏好对来微调模型。这种off-policy的训练方法允许模型从聚合数据集中有效学习，包括搜索过程中探索的次优分支，从而提高复杂环境中的成功率。
基于xLAM-v0.1-r模型构建的用于模拟网上商店的任务中，agent需要进行搜索以找到特定商品。
如果同时使用Agent Q和MCTS方法，任务成功率即可从28.6%提升至50.5%，相当于平均人类水平50%。
在Open Table的真实预订任务中，agent需要执行多个步骤，包括找到对应的餐厅页面、选择合适的日期时间、根据用户偏好选择合适的座位、提交用户的联络方式，最后完成任务。
这个复杂度比Webshop明显上了一个台阶。根据实验后的统计，完成Webshop任务的平均步骤为6.8，Open Table则翻了一倍，达到13.9。
由于Open Table并非模拟数据集，而是真实的在线环境，很难进行自动化评估，因此论文使用了GPT-4-V作为评估者，根据预先定义的指标对agent每个步骤的操作给予奖励值，并标记任务是否完成。
Agent Q将LLaMa-3的零样本成功率从18.6%提升至81.7%，分数提高比例达340%，而且仅经过了一天的自主数据收集。
虽然Agent Q在上述的评估实验中都表现出了强大的网页导航、搜索、推理和规划能力，但目前所用的方法仍存在许多讨论和改进的空间：
- 推理算法的设计：目前Agent Q的核心挑战在于较弱的推理能力，因此限制了探索和搜索的策略；此外，目前在训练agent策略时，批评模型（critic）处于冻结状态，对其引入额外的微调或许有性能增益。
- 由于MCTS之前在数学和编码任务上的成功经验，Agent Q首选MCTS用于搜索，但在真实环境中可能引起相当数量的有风险的交互行为。更改搜索策略可能是较为合适的选择。
- 在线安全与交互：目前Agent Q的实际允许很大程度上的自主探索、自我评估，人类干预的程度有限。但agent的操作仍可能出现不少错误，尤其是在电子邮件、支付、存档等关键任务中。
如果不解决安全问题，就会大大限制Agent Q实际可部署的任务场景，未来可能需要额外的安全性批评模型以及human-in-the-loop的训练设置。
