12345678中文标题：Survey on Large Language Model-Enhanced Reinforcement Learning: Concept, Taxonomy, and Methods中文名称: 大型语言模型增强强化学习调查：概念、分类和方法链接: https://arxiv.org/pdf/2404.00282作者: Yuji Cao, Huan Zhao, Yuheng Cheng, Ting Shu, Yue Chen, Guolong Liu, Gaoqi Liang, Junhua Zhao, Jinyue Yan, Yun Li,机构: 香港中文大学日期：2024-03-30引文数量：135长度：正文15页 来自：241011 哲明分享 摘要 目标: 提供对大型语言模型（LLMs）增强强化学习（RL）相关文献的全面综述，明确其与传统 RL 方法的对比，澄清研究范围和未来研究方向。 方法: 基于经典的代理 - 环境互动范式，提出结构化分类法，将 LLMs 在 RL 中的功能系统地划分为信息处理器、奖励设计者、决策者和生成器四个角色。逐一总结方法、 ...

1 如何选择 GPLv2：允许用户自由地使用、修改和分发。但如果你修改和发布了修改后的版本，必须保持它的开源状态。（允许商用，但如果你分发基于 GPLv2 的修改软件，你必须提供源代码，并以 GPLv2 许可证发布） GPLv3 与更多许可证兼容，GPLv2 的兼容性较差。允许 GPLv3 代码与 Apache License 2.0 等许可证一起使用，拓宽了软件的使用范围。 LGPL 是介于完全自由的许可证（如 MIT、BSD）和严格的 GPL 许可证之间的一种折中。它允许闭源软件使用 LGPL 库，同时确保对 LGPL 库本身的修改保持开源。 MIT：非常宽松，允许开发者在任何项目中使用、修改、分发代码，包括在闭源的商业软件中使用，而不需要公开源代码。（允许用于商业用途） Apache License 2.0：是一种“宽松”的许可证，允许在开源和闭源项目中自由使用、修改和分发代码。你可以将 Apache 许可证的代码整合进商业软件中，而不需要开源你的代码。唯一的要求是保留原始的版权声明和许可证文本。 其它 BSD 系列 (BSD-2, BSD-3): 宽松的许可证，允许闭源使用 ...

1 功能 在 GitHub 上设置我的项目代码只能通过 Pull Request，审核后才能合并到主分支。 通常情况下，只有项目的所有者和合作者才能向主分支上传代码。因此，这里限制的是他们在上传代码时需要进行相互检查。 2 方法 进入仓库设置： 打开 GitHub 仓库。 在仓库页面的右上角，点击 Settings（设置）。 设置分支保护规则： 在仓库设置页面的左侧菜单，点击 Branches。 点击 Add branch ruleset。 选择受保护的分支： 起一个名字：Ruleset Name。 在 Targets 中添加要保护的分支，一般设置 Default 即主分支。 启用强制 Pull Request 和 Code Review： 选中 Require a pull request before merging。 选中 Require approvals，然后在下方选择需要多少个审核人（比如至少 1 个）。 保存规则

1 安装底层库 1$ apt-get install gettext -y 2 修改设置 在 settings.py 中加 1234567891011USE_I18N = TrueUSE_L10N = TrueLANGUAGES = [ ('en', 'English'), ('zh', 'Chinese'),]LOCALE_PATHS = [ os.path.join(BASE_DIR, 'locale'),] 3 修改代码 代码中加入要翻译的字符串，形如： 12from django.utils.translation import gettext as _text = _("Hello, World") 4 生成或更新语言文件 123$ python manage.py makemessages -l zh# 或者$ django-admin makemessages -l zh 此时生成 locale/zh/LC_MESSAGES/djang ...

1 引言 在产品级开发时，开发人员必须为这些系统配置大量参数。这些参数包括定义代理（如：要使用的模型、提示、代理可用的工具或技能、代理可以采取的行动步骤数、任务终止条件等）以及通信和编排机制（即代理在协作完成任务时的行为顺序）。 相较于 Coze 和 Dify，AutoGen 仍处于实验阶段，功能相对简单且不够完善。其主要展示的是自动生成程序和执行程序的过程。 2 相关论文 12345678英文名称: AUTOGEN STUDIO: A No-Code Developer Tool for Building and Debugging Multi-Agent Systems中文名称: AUTOGEN STUDIO：一个用于构建和调试多代理系统的无代码开发者工具链接: http://arxiv.org/abs/2408.15247v1代码: https://github.com/microsoft/autogen/tree/autogenstudio/samples/apps/autogen-studio帮助文档：https://microsoft.github.io/autogen/d ...

这文讲解了如何安装和使用 Microsoft 的 Autogen 工具。它能让多个“代理”协作完成任务，比如对话管理、调用工具等。文中还介绍了关键组件 ConversableAgent 和 GroupChat，以及一些实用的示例程序，比如绘制股票走势图、执行代码等，帮助用户轻松上手并解决复杂问题。 1 安装 1pip install pyautogen 2 源码 1git clone https://github.com/microsoft/autogen 下载了 2.2G，其中 2.1G 在.git 文件夹下，其余约 60M。只需关注主分支即可。 核心代码位于 autogen/agentchat 目录，核心组件包括：conversable_agent 和 groupchat。 conversable_agent：用于管理每个角色的行为。 agent -> ConversableAgent：会话的基类，一般不直接使用，而是作为其他类的父类。它能保持对话状态、历史记录，并调用其他工具。 Agent 可以指定自己在什么情况下被调用，比 Tool 或 function 更强大。 ...

1 工具 Tool 1.1 设置 需要设定如下内容，以便和 LLM 交互，名称、描述和 JSON 都在提示中使用。 名称（必需） 描述（可选） 输入的结构（可选） 函数的具体实现（需要在 langchain 中定义） 其它参数，如：是否将工具结果直接返回给用户 1.2 自定义工具 创建实现具体功能的函数。 12345678910from langchain.tools import tool@tooldef search(query: str) -> str: """Look up things online.""" return "LangChain"print(search.name) print(search.description) print(search.args) 用 tool 装饰器，能自动生成名字描述等内容。这是最简单的一种方法，其它方法见：参考文档的自定义工具链接。 建议开始用 tool 装饰器，后面复杂了再切换到 BaseTool 方法。 2 Agent 原理 A ...

ReAct 论文 12345678910英文名称: REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS中文名称: ReAct：在语言模型中协同推理与行动链接: https://arxiv.org/abs/2210.03629简版文档(推荐)：https://react-lm.github.io/代码: langchain中包含React实现作者: Shunyu Yao∗*, Jeffrey Zhao , Dian Yu , Nan Du , Izhak Shafran , Karthik Narasimhan, Yuan Cao机构: 谷歌研究院，普林斯顿大学日期: 2023-03-10引用次数: 1300 读后感 正文 9 页，全文 33 页，后面都是具体例子的展示。 之前的方法通常是先思考，将大问题拆解成小步骤（step-by-step）后再执行。然后，当其中一步出错时，可能会导致接连的错误。ReAct 方法在每步执行后，将观察到的结果和最初问题一起交给大模型，以修正下一步动作，从而获得更好的效果。也就是说，在每个时 ...

12345678英文名称: AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation中文名称: AutoGen：通过多 Agent 对话实现下一代 LLM 应用链接: http://arxiv.org/abs/2308.08155v2代码: https://github.com/microsoft/autogen作者: Qingyun Wu, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, Xiaoyun Zhang, Shaokun Zhang, Jiale Liu, Ahmed Awadallah, Ryen W. White, Doug Burger, Chi Wang机构: 微软研究, 宾夕法尼亚州立大学, 华盛顿大学, 西安电子科技大学日期: 2023-08-16引用次数: 363 1 摘要 目标：介绍 AutoGen 的设计和功能。 方法：利用多个代理进行对话，实现任务完成。 结论：AutoGe ...

1 Agent 怎么选 1.1 引言 可以说，agent 是一种解决问题的思路（道），具体的工具（术）并不重要。但在程序中，它仍需要一个具体的形态。由于时间有限，我只调研了目前 GitHub 上最热门的 agent 工具，也查看了一些项目中自行实现的 agent 代码。最终选择了 autogen。 1.2 目标 首先，明确选型的目的是什么： 支持我需要的所有功能，减少自定义开发。 易于理解和使用，学习成本低，安装和打包方便。 高稳定性和灵活性。 便于未来扩展。 具体选择还要根据所需功能来决定。如果只是做一个以闲聊为主、偶尔调用现有工具的聊天机器人，可以使用 langchain。如果涉及较多功能、偏重于 Agent 应用、工具之间有复杂逻辑，或者觉得 langchain 无法满足需求，可以尝试 autogen。 1.3 选择工具 langchain 就像一家初创公司，只有几个员工，扁平化管理。在事务简单人也少的时候还能应付，但一旦人多事杂，就会变得混乱。即使没有一个主管，也至少一套制度规则，满足常用功能。Langchain 的 agent 主要在结构上较弱，而不是功能性差。其它一些更 ...