1234567英文名称: LARGE LANGUAGE MODELS AS OPTIMIZERS中文名称: 大型语言模型作为优化器链接: http://arxiv.org/abs/2309.03409v3代码: https://github.com/google-deepmind/opro作者: Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen机构: 谷歌, Google DeepMind日期: 2023-09-07 摘要 目标：提出一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。 方法：在每个优化步骤中，LLM 从包含先前生成的解及其值的提示中生成新解，然后评估并将新解添加到下一个优化步骤的提示中。 结论：OPRO 在线性回归和旅行推销员问题上展示了其效果，最终在任务准确性最大化方面优于人工设计的提示。在 GSM8K 上，OPRO 优化的最佳提示比人工设计的提示提高了高达 8%，在 Big-Bench Hard 任务上提 ...

12345678英文名称: TAKE A STEP BACK: EVOKING REASONING VIA ABSTRACTION IN LARGE LANGUAGE MODELS中文名称: 退一步：通过抽象激发大型语言模型中的推理链接: http://arxiv.org/abs/2310.06117v2代码: https://github.com/langchain-ai/langchain/blob/master/cookbook/stepback-qa.ipynb作者: Huaixiu Steven Zheng∗, Swaroop Mishra∗, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou机构: Google DeepMind日期: 2023-10-09引用次数: 12 摘要 目标：提出一种简单提示技术 Step-Back Prompting，鼓励模型在处理问题之前先进行抽象化，即从具体实例中提取出高层次的概念和原则，然后再用这些概念和原则来指导后续的推理过程。 方法：主要分为两个步骤，抽象：提出 ...

1234567英文名称: T-RAG: LESSONS FROM THE LLM TRENCHES中文名称: T-RAG：来自LLM战壕的经验教训链接: https://arxiv.org/abs/2402.07483作者: Masoomali Fatehkia, Ji Kim Lucas, Sanjay Chawla机构: 卡塔尔计算研究所, 哈马德·本·哈利法大学日期: 2024-02-12引用次数: 0 1 摘要 目标：开发一个可以安全、高效地回答私有企业文档问题的大型语言模型（LLM）应用程序，主要考虑数据安全性、有限的计算资源以及需要健壮的应用程序来正确响应查询。 方法：应用程序结合了检索增强生成（RAG）和微调的开源 LLM，将其称之为 Tree-RAG（T-RAG）。T-RAG 使用树结构来表示组织内的实体层次结构，用于生成文本描述，以增强对组织层次结构内的实体进行查询时的上下文。 结果：我们的评估显示，这种结合表现优于简单的 RAG 或微调实现。最后，根据构建实际应用的 LLM 的经验，分享了一些获得的教训。 2 读后感 这篇文章的创新点逻辑比较简单：除了基本的 R ...

1234567英文名称: Position Paper: Agent AI Towards a Holistic Intelligence中文名称: 立场论文：Agent人工智能走向整体智能链接: http://arxiv.org/abs/2403.00833v1代码: 作者: Qiuyuan Huang, Naoki Wake, Bidipta Sarkar, Zane Durante, Ran Gong, Rohan Taori, Yusuke Noda, Demetri Terzopoulos, Noboru Kuno, Ade Famoti, Ashley Llorens, John Langford, Hoi Vo, Li Fei-Fei, Katsu Ikeuchi, Jianfeng Gao机构: 微软研究核心,雷德蒙德,微软应用机器人研究,雷德蒙德,斯坦福大学,加州大学洛杉矶分校,微软游戏美国,MSR加速器,MSR人工智能前沿,纽约日期: 2024-02-28 读后感 这是一篇立场论文（Position Paper），主要阐述作者对某个问题的观点和立场，并提出充分的理由 ...

12345678英文名称: AgentKit: Flow Engineering with Graphs, not Coding中文名称: AgentKit：使用图而非编码进行流程工程链接: https://arxiv.org/pdf/2404.11483.pdf代码: https://github.com/holmeswww/AgentKit作者: Yue Wu, Yewen Fan, So Yeon Min, Shrimai Prabhumoye, Stephen McAleer, Yonatan Bisk, Ruslan Salakhutdinov, Yuanzhi Li, Tom Mitchell机构: 卡内基梅隆大学, NVIDIA, 微软, 波士顿大学日期: 2024-04-17引用次数: 80 1 摘要 目标：提出了 LLM 提示框架 AgentKit，用于构建能通过自然语言提示进行复杂“思考过程”的多功能代理。 方法：AgentKit 使用节点作为基本构建块，每个节点包含一个特定子任务的自然语言提示。用户可以将这些节点像乐高积木一样堆叠起来，形成一个复杂的思考过程。 ...

1 大海捞针测试 NeedleInAHaystack 项目地址：https://github.com/gkamradt/LLMTest_NeedleInAHaystack 功能：测试长上下文 LLMs 的上下文检索能力。 中文介绍：https://www.zhihu.com/question/624512303 2 原理 将一个随机的事实或陈述（“针”）放在一个长上下文窗口（“大海捞针”）的中间 要求模型检索此语句 遍历各种文档深度（指针放置位置）和上下文长度以衡量性能 3 多针检索加推理测试 评测需要检索多个事实并在此基础上进行推理的应用。 主要结果： 当要求模型检索更多的事实时，其性能会下降。 当模型需要对检索到的事实进行推理时，性能也会下降。 随着提供给模型的上下文信息量的增加，性能也会下降；随着上下文长度的增加，模型在文档开头的检索失败。 |500

12345678英文名称: CAMEL: Communicative Agents for “Mind” Exploration of Large Language Model Society中文名称: CAMEL：大型语言模型社会的“心智”探索沟通代理链接: https://arxiv.org/pdf/2303.17760.pdf代码: https://github.com/camel-ai/camel 4.4K Star作者: Guohao Li（李国豪）, Hasan Abed Al Kader Hammoud, Hani Itani, Dmitrii Khizbullin, Bernard Ghanem机构: 沙特阿拉伯阿卜杜拉国王科技大学日期: 2023-03-31引用次数: 56 1 读后感 以往的工作流程主要通过人与 LLM 的交互来控制。文中作者使用一个 Agent 来取代人的计划和决策，而另一个 Agent 负责执行具体的操作。通过这两者的交互，实现复杂工具，从而把人们从繁重的工作中解脱出来。为了示范这个过程，作者开发了一个股票投资机器人。同时通过实验发现并总结了 A ...

1 StockFormer 1234567中文名称：StockFormer: 混合交易机与预测编码英文名称：StockFormer: Learning Hybrid Trading Machines with Predictive Coding作者：Siyu Gao, Yunbo Wang∗, and Xiaokang Yang机构：MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University发表时间：IJCAI-23代码：https://github.com/gsyyysg/StockFormer地址：https://www.ijcai.org/proceedings/2023/0530.pdf 2 读后感 这里采用了预测编码模型与强化学习的结合方法。三个独立的预测编码模型分别用于预测短期（1 天）和长期（5 天）的回报率，以及各股票间的动态相关性。在训练预测编码模型的过程中，可获取有价值的潜在状态，并将这些状态组合成一个状态空间，用于训练强化学习模型。 论文带来一些启发：可以将 ...

1 引言 之前，尝试做股票工具一直想做的大而全，试图抓取长期的各个维度数据，然后统计或者训练模型。想把每个细节做到完美，结果却陷入了细节之中，最后烂尾了。 最近，听到大家分享了一些关于深度学习、时序模型、强化学习在股票预测方面的新论文。但是觉得这些理论与我们的实际操作还有很大的距离。目前好像更需要的是一些具体而实用的辅助工具。 这次，尝试用 50 行代码完成一个简单的股票回测工具。输入的数据是 A 股的股票代码和时间，通过工具抓取股票数据。然后编写了策略，并使用回测工具来展示策略在数据上的具体操作和盈亏。 具体使用场景如下：当我们想采用某种策略来操作某支股票时，可以选择想要购买的股票，或者选择与之类似的股票；然后，选择一个与当前大趋势相似的时段，用历史数据来验证这个策略是否可行，以及其可能带来的盈利效果。 你不会编写策略也没关系。这里使用的 backtrader 库自 2015 年就已经开源，相关资料丰富。一般的交易策略代码，编程机器人（如 gpt4, copilot）都能根据文字描述直接编写，只需要稍作修改即可。 2 工具介绍 这里采用了两种工具，一是用于抓取 A 股股票数据的 a ...

项目地址：https://github.com/paul-gauthier/aider 编程语言：主要使用 Python Star：8.9K+ 功能：在终端中直接与 GPT-3.5/GPT-4 交互，编写或修改代码 主要优点：增加了代码生成的可控性，一次可以修改多个文件 1 编程工具 以前我们使用的辅助编辑工具多数是嵌入在 IDE 里的插件，主要提供代码段和建议。或者与 Agent 结合，实现复杂项目。相对来说比较细碎且不可控，还是主要以人为主。 另外，编程时使用大模型和问答场景一样，也存在数据问题，例如如何精准地提问、如何在有限的上下文限制下传达重要信息、如何判断哪些信息最相关，以及如何在解决问题时节约 token 等。 与问答不同之处在于，编程返回内容有更高要求，生成的程序需要可执行，并且在修改代码的场景中最好能看到代码对比效果。同时，我们还有一些工具可以辅助生成数据，例如语法检查工具，在运行的错误信息传给大模型继续修改。通过 Agent 之间的配合可以实现多步组合效果。 目前这些功能基本由本地端的编程工具控制，最好能让程序员更为可控，比如批量调用；再如简化工作流程：查 -&g ...