英文名称: Adding Conditional Control to Text-to-Image Diffusion Models 中文名称: 向文本到图像的扩散模型添加条件控制 论文地址: http://arxiv.org/abs/2302.05543 代码: https://github.com/lllyasviel/ControlNet 时间: 2023-02-10 作者: Lvmin Zhang 1 读后感 ControlNet 几乎是 Stable Diffusion 中最重要的功能插件，利用它可对画面内容进入精准控制。本文介绍了 ControlNet 的原理和具体功能。 ControlNet 是一种对文本生成图像的优化方法。比如：生成 AI 画作时，画面中人体的形态，面部表情都难以精准控制，ControlNet 基于图生图的操作方式，从另一图中提取对应元素，用于新图像的生成，大幅提升了人对大模型的控制力。 具体方法是调整网络结构，基于预训练的扩散模型，根据新输入的描述和指定任务对应的条件进一步训练模型。使模型既可以在小数据量（<50K）时在个人设备上训练，也可以在 ...

英文名称: LoRA: Low-Rank Adaptation of Large Language Models 中文名称: LORA：大语言模型的低阶自适应 论文地址: http://arxiv.org/abs/2106.09685 代码: https://github.com/microsoft/LoRA pytorch，风格简捷 时间: 2021-10-16 作者: Edward J. Hu 引用量: 657 1 读后感 LoRA 是 Low-Rank 的缩写，它是一种大模型微调技术。一开始用于优化自然语言模型，但是后来自然语言模型后来选择了 Prompt 的道路；而该技术在图像领域得到了广泛的应用，比如 Stable Diffusion 的一众 LoRA 模型，从背景风格到人物形像，不用精调 2-8 G 的基础模型，通过训练 只有几十到几百兆 LoRA 模型，就可以实现建模。 它针对的问题是：当模型大到一定程度，比如 GPT-3 有 175B 参数，精调变得费时而昂贵。其解决方法是：它修改了 fine-tune 过程，提出低阶自适应技术，冻结了预训练的模型权重，并将可训练的秩分 ...

1 介绍 CodeGeeX 是清华系列国产工具，底层基于 ChatGLM2 模型，开源免费。 2 VSCode 使用方法 安装插件：codegeex 安装之后，在右侧看到说明文档，内容比较全也比较长。 主要功能分成两部分，同 copilot，都封装在一个插件中。 正常安装后，左侧边栏和界面右下会出现类似菱形的图标。 按提示 login，微信登录即可用。 生成后续程序 基本用法同 Copilot 一致，AI 生成的代码浅灰色，按 Tab 链后变正常。 点击左侧图标可调出 Chat 栏 Chat 栏支持提问和代码翻译等功能；智能问答含三个基本功能：/explain，/comment，/fixbug（在左下角输入框输入 "/" 可调出），在右边选代码，左边点功能即可。也可以在框中输入需要操作的文本描述。 3 总结 3.1 优点 开源免费 无需“科学”，直接使用 无需复杂配置 3.2 缺点 功能相对偏少，可看作低配版的 Copilot 在聊天中，输入自已描述的功能效果不太好，它不太能看懂需求 我测试了两个时段，其中有一次提问时不太稳定，一直 wait timeout (也可能是巧合) ...

1 介绍 Copilot 由 Github 和 OpenAI 合作推出，底层基于的 Codex 模型，通过 GPT-3 继续训练得到。 Copilot 可以先免费试用一个月。所以大家可以先试试，如果觉得必需，再购买或者在某宝以便宜的方式购买。 每次他帮我写注释，或者补全代码的时候，我都觉得钱花得值。 2 VSCode 使用方法 安装插件：github copilot, github copilot lab, github copilot chat 主要功能分成两部分：一部分是生成后续程序 (github copilot)，另一部分通过与 copilot 对话实现更丰富的功能支持 (github copilot chat)。 正常安装后，左侧边栏和界面右下会出现小机器人图标 右下角提示 copilot 需要 github 帐号登录，按提示操作即可一个月免费使用（或者申请个比较便宜的学生号）。 |600 生成后续程序 例如：编写一行注释，回车后等几秒，自动生成的代码以灰色呈现；按 Tab 键接受推荐；Alt+ 左/右中括号可切换不同的推荐；Ctrl+Enter：打开一个 Tab ...

1 介绍 Cursor 是调用 Chatgpt 接口实现的 AI 编程工具，目前 GPT-3.5 可免费使用，GPT-4 只对专业订购者开放。Cursor 本身是一个 IDE，可从其官网下载安装包。 2 使用方法 从其主页：https://www.cursor.so/ 直接下载对应平台的 IDE 安装。 IDE 和 VSCode 很类似，可看作轻量化的 VSCode，使用习惯非常像，常用快捷键都一样。 第一次使用时，可以试用左侧的 demo 测试，融入操作的向导非常贴心。 点击右上角可以对它提问 主要快捷键有两个： Ctrl+K 在代码中操作 Ctrl+M 以提问方式交互 其它的提示都显示在屏幕上，按提示操作很快就学会了，学习成本低。 与代码续写相比，它可以根据需求，生成整个程序，整体更有章法。 |600 3 总结 3.1 优点 使用 ChatGPT 作为算法引擎，免费可用 无需“科学”，直接使用 IDE 和 GPT 结合得非常好，几乎所有操作提示全在界面上 不只是补全，还可以生成整体代码 无需复杂配置，学习成本低 3.2 缺点 IDE 比较简单，不能满足开发需求 ...

1 简介 网传有了大模型之后，很多人都要失业了，其中也包括一部分程序员，确实大模型可以减轻开发者的工作量，但是具体到减轻了多少工作量，哪种类型的工作，学习成本，使用成本如何？不捧不踩,今天我们尽量客观地体验一下。 本文将介绍目前使用最多的三个智能编程助手，它们均可提供：代码解释、注释、生成、实时补全等功能。下面基于 VSCode 环境来介绍具体的使用方法。 2 Copilot 编程助手_Copilot 3 CodeGeeX 编程助手_CodeGeeX 4 Cursor 编程助手_Cursor 5 讨论 5.1 使用场景 对于新手，我们不用再花很多时间强调代码规范了，让大家直接用 AI 就可以润色出不错的代码和注释。 对于不熟悉的领域、代码、编程语言，可以快速地了解和梳理代码，解释代码和逻辑。 自动编写常用的代码片断 自动编写相对复杂的 正则 或 SQL 查询 解决一些简单的 bug 帮助程序员快速入门一门语言或一种框架 快速程序写 demo 和代码框架，程序员只需要做少量修改即可使用 5.2 使用体验 5.2.1 基于场景的设计 最简单的使用大模型的方法是 ChatGPT 聊天界面 ...

简介 最近朋友和 B 站都给我推 MetaGPT，正好有空就下载亲测了一下。MetaGPT 是目前（230809）github 热榜第一名，今天就加了 3000 多个星。 MetaGPT 是一个多智能体框架，能够生成不同的角色：工程师、产品经理、架构师和项目经理。然后共同构建一个软件项目，使用的模型是 GPT-4，与 AutoGPT 有些类似。 中文帮助文档见：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md 实验 搭建环境 12345678910$ git clone https://github.com/geekan/MetaGPT # 约11M左右$ cd MetaGPT$ docker build . -t metagpt:baseline # 生成镜像$ mkdir -p /opt/metagpt/{config,workspace} # 请切换成root后执行$ docker run --rm metagpt/metagpt:v0.3 cat /app/metagpt/conf ...

name_ch: 增强语言模型综述 name_en: Augmented Language Models：a Survey paper_addr: http://arxiv.org/abs/2302.07842 date_publish: 2023-02-15 读后感 文章是一篇增强语言模型（Augmented Language Models，ALMs）综述，这里的增强主要指让大语言模型（LM）通过参数/非参数的方法与外部扩展模块相结合，从而获得超越单纯的自然语言建模的能力。具体能力包含：推理、使用工具、行动。它不仅能解决更多类型的问题，在连接外部模块后，其处理自然语言处理能力也得到突破性进展。 文章从方法论的角论进入阐释。内容分为六部分：介绍，推理，使用工具和行动，学习方法，讨论，结论，正文 22 页。 对于比较关注 LM 领域的读者，这篇文章中并没有提到让人意外的特殊方法。然而，文章对现有方法进行了全面细致的整理，提供了全景视角的概览，详细引用了相关文献和软件示例。是对知识很好的概览和梳理。 下文括号内均为个人观点，不喜勿喷。 1 介绍 1.1 动机 近年来，大型语言模型（LLM） ...

llamaindex结构图 1 功能 大模型学习的主要是通用数据，而用户可能需要让 ChatGPT 在本地的知识库中寻找答案。 普通用户不太可能训练大模型；由于本地数据格式丰富，内容烦多，且考虑到使用成本和 token 大小限制，也不可能在每次提问时都将所有数据传给 ChatGPT。 llamaindex 提供了解决此问题的方法：通过 ChatGPT 把本地文本转成 Embedding，然后在本地建立数据索引；询问时先在本地查询，再用 ChatGPT 将查询结果合成答案，llamaindex 是用户数据和大模型之间的接口。 2 原理 2.1 模块 llama_index 由三个主要模块组成： 数据模块：用于读取本地或网络数据，并将大块文本切分成 Node 块。 索引和存储模块：将文本块通过 ChatGPT 转换成 Embedding 嵌入表示存储在本地，构建本地知识库。 搜索模块：根据使用者提出的问题，在本地知识库中定位可能的答案，然后将问题和答案传给 ChatGPT 整合出最终答案。 2.2 组织数据 当用户提出问题时，需要与本地知识库进行匹配，如果数据库中内容很多，会花费大量 ...

以 ChatGPT 为主的大语言模型出现已有半年时间，研究逐渐从针对模型本身的进化和功能，延展到如何更为有效地利用大模型，将它与其它工具结合，落地，以解决实际领域中的问题。 这里的增强主要指让大语言模型（LM）与外部扩展模块相结合，从而获得超越单纯的自然语言建模的能力。具体能力包含：推理、使用工具、行动。它不仅能解决更多类型的问题，在连接外部模块后，其处理自然语言处理能力也得到突破性进展。 本文介绍一篇增强语言模型综述，以及几篇最近发表的具体应用方法和框架的文章。 增强语言模型综述 论文阅读_增强语言模型综述 英文题目: Augmented Language Models: a Survey 中文题目: 增强语言模型综述 论文地址: http://arxiv.org/abs/2302.07842 解读：https://blog.csdn.net/xieyan0811/article/details/130910473?spm=1001.2014.3001.5501 （将近 5000 字，太长就不贴了） 一篇综述性文章，来 Meta，发布时间为 2023-02-15。 文章从方法论的角论 ...