1234567英文名称: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model中文名称: DeepSeek-V2：强大、经济高效的专家混合语言模型链接: http://arxiv.org/abs/2405.04434v2代码: https://github.com/deepseek-ai/DeepSeek-V2作者: DeepSeek-AI机构: DeepSeek-AI 深度探索公司日期: 2024-05-07 1 读后感 DeepSeek 最近推出的 V2 版本，无疑是当前性价比最高的选择。直观地讲：KIMI 的价格是 12 元/M tokens，Chat 的价格约为 3.5 元/M，GPT 4o 的价格约为 35 元/M。然而，DeepSeek 的价格仅为 1 元/M（这是按照输入计算的，输出通常是输入的两倍，美元兑换按 7 计算）。 我在之前调研代码模型的时候就注意到 DeepSeek 的单模型在排名中很靠前。从论文和网站数据可以看到模型效果在开源领域，甚至在国内开源 ...

1 引言 这两周，价格更亲民的 gpt-4o 和性能显著提升的 llama3 的推出，使许多东西发生了变化。就像古代人在收割麦子时，扭头看见一收割机。想到自己的那些微小的优化，与这些新技术相比，又算得了什么呢？也会开始怀疑自己的方向和价值。 不过，相信大家都有过想要尝试之前无法完成的事情的冲动。优化过程中又发现了一个神仙插件：Obsidian 的 Smart Connections，超出了我原本的预期，于是结合新模型非常方便地搭建了我的个人知识库。之前老是炫着玩儿，现在是真能解决具体问题了。 具体优势如下： 操作简便，无需自己建立向量数据库或进行向量转换 可针对特定文档提问 具有基于向量的模糊搜索能力 可通过 ollama 调用本地模型，使用它不产生任何费用（除了电费） 2 思考过程 2.1 搜索 很早就觉得 Obsidian 搜索实在太费劲了。因为我的内容比较多，查找非常费时；还必须输入完全一致的关键词；如果查找一个常见词，则会返回大量不排序的文档。虽然后来使用的 ominisearch 插件用机器学习算法来建立索引，搜索效果有所改善，但与基于词义的大模型搜索相比，仍然相差很远。 ...

引子 今天早上连看了三篇水文都是因为之前关注了公众号，系统推送给我的。这几位也写很棒的文，但可能是立下了日更或者周更几篇的 flag，实际上又不可能频繁产出高质量的文章，就出现明显凑数的情况。 反思 为什么会这样，这么做的动因到底是什么？ 目标 究竟日更多满足了谁的需求？很可能是平台的需求，平台可能会因为鼓励频繁发文而给你分配更多的曝光量，这也是收入的来源。 但不一定是读者的需求。比如坚持一年日更，如果内容跟不上，只是凑数，咱先不说对世界有什么意义，对自己有什么意义。针对读者，日更也不一定吸粉的行为。回想咱们自己关注的日更公众号，对日更文章的打开比例是多少？ 我们也接收 RSS，但是我们会收录日更吗？尤其是个人每天更新好几篇的？显然不会。个人不可能长期保持高质量的频繁输出，而且推送过多可能导致信息过载。你还需要自己过滤这些信息，反而给自己找麻烦。 我觉得写文可以分为以下几种类型： 有感而发，而这种感肯定不能定期发生，大概也不能以此谋生。 量产，这种就像生产产品一样。与经验丰富的团队相比，个人很难达到类似的效果。 科技与狠活，利用各种技巧和方法，如自动生成、扩展、总结、翻译和转写等。对 ...

1 引言 本文将介绍 ollama+llama3 的最基本的安装和使用方法。只要你的 GPU 和 Docker 环境可用，基本上只需不超过五行的命令就能完成（实际上可能只需要一行）。使用 ollama 安装 llama3 比预期中要方便得多。 项目地址：https://github.com/ollama/ollama 65.5K Star 2 Docker 安装 1$ docker pull ollama/ollama 镜像大小约 438M，不包含 Python&Torch 环境，所以很省空间。 123$ docker run --rm -d -e OLLAMA_ORIGINS="app://obsidian.md*" --gpus=all -v /exports/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama$ docker exec -it ollama bash$ ollama run llama3 在初次使用时，会下载模型，大约需要 4.7G 的存储空间，这可能是量化版本 ...

TTS 已看 阿里的 CosyVoice pass 论文阅读_语音合成_CosyVoice ChatTTS pass 开源项目_语音合成_ChatTTS FishTTS pass 字节 Seed-TTS 论文阅读_语音合成_Seed TTS 其它 ToucanTTS 支持多达7000种语言 github.com/DigitalPhonetics/IMS-Toucan 官网：toucantts.com 评价：中文比较机器声 音频神级开源工具AudioCraft 音频工具集 MARS5-TTS https://github.com/camb-ai/mars5-tts 2.2K Star 140+ languages 主打声音克隆 可用 docker 部署 试用：https://6b1a3a8e53ae.ngrok.app/ 我在 demo 界面，试了下中文，提示不能识别字符，没部署 未看 OpenVoice 最近，由于深度学习在语音特征提取方面的应用，以及大型语言模型对语义理解的加强，许多语音合成技术已经达到了以假乱真的效果。 使用场景 语音合成常在以下几种 ...

123456789英文名称: MemGPT: Towards LLMs as Operating Systems中文名称: MemGPT：将LLMs打造成操作系统链接: https://arxiv.org/abs/2310.08560代码: https://github.com/cpacker/MemGPT作者: Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez机构: 加州大学伯克利分校日期: 2023-10-12引用次数: 37 1 摘要 目的：解决大型语言模型在处理长对话和文档分析等任务时受到有限上下文窗口限制的问题。 方法：提出了一种名为虚拟上下文管理的新技术，该技术受到了传统操作系统中分层内存系统的启发，通过在物理内存和硬盘之间进行分页，提供了扩展虚拟内存的假象。 结果：在文档分析和多次会话聊天这两个领域，证明了设计的有效性，MemGPT 能够分析远超过 LLM 上下文窗口的大型文档，并能创建能够记忆、反思并通过与用户的 ...

1234567英文名称: T-RAG: LESSONS FROM THE LLM TRENCHES中文名称: T-RAG：来自LLM战壕的经验教训链接: https://arxiv.org/abs/2402.07483作者: Masoomali Fatehkia, Ji Kim Lucas, Sanjay Chawla机构: 卡塔尔计算研究所, 哈马德·本·哈利法大学日期: 2024-02-12引用次数: 0 1 摘要 目标：开发一个可以安全、高效地回答私有企业文档问题的大型语言模型（LLM）应用程序，主要考虑数据安全性、有限的计算资源以及需要健壮的应用程序来正确响应查询。 方法：应用程序结合了检索增强生成（RAG）和微调的开源 LLM，将其称之为 Tree-RAG（T-RAG）。T-RAG 使用树结构来表示组织内的实体层次结构，用于生成文本描述，以增强对组织层次结构内的实体进行查询时的上下文。 结果：我们的评估显示，这种结合表现优于简单的 RAG 或微调实现。最后，根据构建实际应用的 LLM 的经验，分享了一些获得的教训。 2 读后感 这篇文章的创新点逻辑比较简单：除了基本的 R ...

1234567英文名称: LARGE LANGUAGE MODELS AS OPTIMIZERS中文名称: 大型语言模型作为优化器链接: http://arxiv.org/abs/2309.03409v3代码: https://github.com/google-deepmind/opro作者: Chengrun Yang, Xuezhi Wang, Yifeng Lu, Hanxiao Liu, Quoc V. Le, Denny Zhou, Xinyun Chen机构: 谷歌, Google DeepMind日期: 2023-09-07 摘要 目标：提出一种名为 OPRO 的优化方法，利用大型语言模型作为优化器，通过自然语言描述优化任务。 方法：在每个优化步骤中，LLM 从包含先前生成的解及其值的提示中生成新解，然后评估并将新解添加到下一个优化步骤的提示中。 结论：OPRO 在线性回归和旅行推销员问题上展示了其效果，最终在任务准确性最大化方面优于人工设计的提示。在 GSM8K 上，OPRO 优化的最佳提示比人工设计的提示提高了高达 8%，在 Big-Bench Hard 任务上提 ...

12345678英文名称: TAKE A STEP BACK: EVOKING REASONING VIA ABSTRACTION IN LARGE LANGUAGE MODELS中文名称: 退一步：通过抽象激发大型语言模型中的推理链接: http://arxiv.org/abs/2310.06117v2代码: https://github.com/langchain-ai/langchain/blob/master/cookbook/stepback-qa.ipynb作者: Huaixiu Steven Zheng∗, Swaroop Mishra∗, Xinyun Chen, Heng-Tze Cheng, Ed H. Chi, Quoc V Le, Denny Zhou机构: Google DeepMind日期: 2023-10-09引用次数: 12 摘要 目标：提出一种简单提示技术 Step-Back Prompting，鼓励模型在处理问题之前先进行抽象化，即从具体实例中提取出高层次的概念和原则，然后再用这些概念和原则来指导后续的推理过程。 方法：主要分为两个步骤，抽象：提出 ...

12345678英文名称: AgentKit: Flow Engineering with Graphs, not Coding中文名称: AgentKit：使用图而非编码进行流程工程链接: https://arxiv.org/pdf/2404.11483.pdf代码: https://github.com/holmeswww/AgentKit作者: Yue Wu, Yewen Fan, So Yeon Min, Shrimai Prabhumoye, Stephen McAleer, Yonatan Bisk, Ruslan Salakhutdinov, Yuanzhi Li, Tom Mitchell机构: 卡内基梅隆大学, NVIDIA, 微软, 波士顿大学日期: 2024-04-17引用次数: 80 1 摘要 目标：提出了 LLM 提示框架 AgentKit，用于构建能通过自然语言提示进行复杂“思考过程”的多功能代理。 方法：AgentKit 使用节点作为基本构建块，每个节点包含一个特定子任务的自然语言提示。用户可以将这些节点像乐高积木一样堆叠起来，形成一个复杂的思考过程。 ...