用大模型来辅助强化学习，可以提高模型在多任务学习、样本利用率、任务规划等复杂任务下的能力，该论文综述了LLM-enhanced RL领域的最新进展，总结了LLM-enhanced RL的主要技术框架、特性以及四种主要技术路线；并分析了未来该方向的机会与挑战。

　　虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力（例如王者荣耀，Dota 2等），

　　，原因包括但不限于：数据获取困难、样本利用率低、多任务学习能力差、泛化性差、稀疏奖励等。大语言模型（LLM），通过在海量数据集上的训练，

　　、通用世界知识目标规划以及推理能力。以ChatGPT为代表的LLM已经被广泛应用到各种现实领域中，包括但不限于：机器人、医疗、教育、法律等。在此背景下，LLM可以提高强化学习在例如多任务学习、样本利用率、任务规划等方面的能力，帮助提高强化学习在复杂应用下的学习表现，例如自然语言指令跟随、谈判、自动驾驶等。

　　的最新研究进展，形成了该领域的综述文章一篇，目前以预印版形式上传到arXiv网站，期望能为各位研究人员和工程人员提供一定的技术参考。

　　、内含知识（knowledge-inherent）的AI模型的多模态（multi-modal）信息处理、生成、推理等能力来辅助RL范式的各种方法。

　　1. 信息处理者（information processor）：包括1）文字和视觉表征提取；2）复杂自然语言翻译。

　　2. 奖励设计者（reward designer）：即隐式奖励模型与显式奖励模型（奖励函数代码生成）。

　　4. 生成者（generator）：即1）世界模型中的轨迹生成和2）强化学习中的策略（行为）解释生成。

　　多模态的信息处理和决策控制策略，因此学习效率大幅下降。且不规范、多变的自然语言和视觉信息往往会对代理学习产生大量干扰。

　　，加速下游神经网络学习；（2）自然语言翻译，将不规范、冗余复杂的自然语言指令和环境信息翻译为规范的任务语言，帮助代理过滤无效信息。LLM 作为奖励设计者（LLM as Reward Designer）

　　：利用上下文理解能力、推理能力和知识，通过任务prompt或文字-视觉对齐的方式生成奖励2.

　　：通过输入环境规范信息，LLM生成可执行奖励函数代码（例如 Python 等），显式地逻辑计算奖励函数的各个部分，且可以根据评估自主修正。LLM 作为决策者（LLM as Decision-Maker）

　　1. 直接决策者：Decision Transformer在离线强化学习中展现了巨大的潜力，大语言模型可视作增强版的大型预训练Transformer模型，利用本身强大的时序建模能力和自然语言理解能力解决离线强化学习的长期决策问题。

　　2. 间接决策者：作为一个指导者，结合预训练专家知识和任务理解能力，生成动作候选（action candidates），缩小动作选择范围；或者生成参考策略（reference policy）指导RL策略更新。

　　在基于模型的强化学习（model-based RL）中，LLM可以作为多模态世界模型（world model），结合自身知识和建模能力来

　　在可解释强化学习中，大模型可以通过理解轨迹、环境与任务，根据prompt自动生成代理的自然语言行为解释，增加用户在调用、调优RL模型时的理解。

　　包括但不限于：1. 机器人：利用多模态理解能力和推理能力，LLM-enhanced RL可以提升人-机器的交互效率；帮助机器人理解人类需求逻辑；提高任务决策和规划能力。

　　2. 自动驾驶：自动驾驶使用强化学习做复杂动态场景下的决策问题，涉及多传感器数据与道路规范、行人举止等。大模型可以帮助强化学习处理多模态信息以及设计综合奖励函数，例如安全、效率、乘客舒适度等

　　3. 电力系统能量管理：在能量系统中，运营者或者用户使用强化学习来高效管理多种能力的使用、转换和存储等，其中涉及高不确定性的可再生能源。大模型可以帮助设计多目标函数与提高样本利用效率。

　　1. 在强化学习方面：目前的工作都集中在通用强化学习，而针对特定强化学习分支的工作较少，包括多代理强化学习、安全强化学习、迁移强化学习和可解释强化学习等。

　　2. 在大模型方面：目前的工作大部分仅仅是使用prompt技术，而检索增强生成（RAG）技术和API、工具调用能力可以显著提高LLM在特定情况下的表现。

　　1. 对大模型的能力依赖：大模型的能力决定了强化学习代理学习到的策略，大模型固有的偏见、幻觉等问题也会影响代理的能力。

　　2. 交互效率：目前大模型的计算开销较大、交互效率慢，在在线强化学习中会影响代理与环境的交互速度。

　　该综述文章系统总结了大模型在辅助强化学习方面的最近研究进展，定义了LLM-enhanced RL这样一类方法，并总结了大模型在其中的四种主要角色及其方法，最后讨论了未来的潜在应用、机会与挑战，希望能给未来该方向的研究者一定启发。

　　：大模型被用于：（1）作为高保真多模态世界模型减少现实世界学习成本及（2）生成代理行为的自然语言解释。参考资料：