avatar
Articles
829
Tags
252
Categories
168

Yan 的杂物志_个人主页分享
Search
DBeaver使用指南
Created2024-05-20|2_Note0_Technic3_编程数据库
源码地址:https://github.com/dbeaver/dbeaver 安装 官网下载 https://dbeaver.io/download/ 启动 1$ dbeaver 复制表内容 选被复制的表 ->导入数据 ->选择输入对象 ->选源表 ->下一步/继续 看 DDL 信息 打开表 属性选项卡的左下方按 DDL
FreeGPT3.5部署指南
Created2024-05-19|2_Note0_Technic0_工具GPT应用模型工具
源码地址:https://github.com/missuo/FreeGPT35 建议在位于美国的服务器上设置环境,其中 image 大约需要 150G 的空间。 1docker run --rm -p 3344:3040 -d ghcr.io/missuo/freegpt35 试连接 12345678910curl http://127.0.0.1:3344/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer any_string_you_like" -d '{ "model": "gpt-3.5-turbo", "messages": [ { "role": "user", "content ...
论文阅读_大模型优化_YOCO架构
Created2024-05-16|2_Note0_Technic2_算法11_优化
123456英文名称: You Only Cache Once: Decoder-Decoder Architectures for Language Models中文名称: 只缓存一次:用于语言模型的解码器-解码器架构链接: http://arxiv.org/abs/2405.05254v2作者: Yutao Sun, Li Dong, Yi Zhu, Shaohan Huang, Wenhui Wang, Shuming Ma, Quanlu Zhang, Jianyong Wang, Furu Wei机构: 微软研究院, 清华大学日期: 2024-05-08 读后感 这篇论文介绍了一种大模型优化的方法。并非专为某个特定的模型设计,而是可以用来优化当前大多数的大模型。该方法在 GPU 内存的使用和模型生成的速度上都有显著的改善。 在 Transformer 方法中,存储 Attention 的 KV 值占用了大量的资源。目前已有许多针对此问题的优化方法,这篇论文也是其中之一。其主要思想是重复利用 KV 缓存。其核心是对 Decoder-Decoder 架构的改进,并不复杂,可以与其 ...
基于解码器的时间序列预测基础模型
Created2024-05-16|2_Note0_Technic2_算法9_时序
12345678英文名称: A DECODER-ONLY FOUNDATION MODEL FOR TIME-SERIES FORECASTING中文名称: 基于解码器的时间序列预测基础模型链接: http://arxiv.org/abs/2310.10688v4代码: https://github.com/google-research/timesfm作者: Abhimanyu Das, Weihao Kong, Rajat Sen, Yichen Zhou机构: 谷歌研究日期: 2023-10-14 摘要 目标:基于大型语言模型在自然语言处理中的进展,设计一个用于预测的时间序列基础模型。 方法:基于对大型时间序列语料库进行预训练的修补解码器风格注意力模型。 结论:该模型在多个公共数据集上的开箱即用零射击性能接近各个数据集的最先进监督预测模型的准确性。能够很好地适用于不同的预测历史长度、预测长度和时间粒度。 读后感 这是一个单变量预测工具,我觉得只是验证了一种可能性,实用性不是很强。其基础模型参数大小为 200M,预训练数据大小为 100B。该工具的零样本性能可以与全监督方法在处 ...
论文阅读_大模型优化_DeepSeek-V2
Created2024-05-16|2_Note0_Technic2_算法6_自然语言其它LLM
1234567英文名称: DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model中文名称: DeepSeek-V2:强大、经济高效的专家混合语言模型链接: http://arxiv.org/abs/2405.04434v2代码: https://github.com/deepseek-ai/DeepSeek-V2作者: DeepSeek-AI机构: DeepSeek-AI 深度探索公司日期: 2024-05-07 1 读后感 DeepSeek 最近推出的 V2 版本,无疑是当前性价比最高的选择。直观地讲:KIMI 的价格是 12 元/M tokens,Chat 的价格约为 3.5 元/M,GPT 4o 的价格约为 35 元/M。然而,DeepSeek 的价格仅为 1 元/M(这是按照输入计算的,输出通常是输入的两倍,美元兑换按 7 计算)。 我在之前调研代码模型的时候就注意到 DeepSeek 的单模型在排名中很靠前。从论文和网站数据可以看到模型效果在开源领域,甚至在国内开源 ...
Obsidian+llama3:终于搭建了自己的知识库
Created2024-05-15|2_Note0_Technic0_工具大模型Llama
1 引言 这两周,价格更亲民的 gpt-4o 和性能显著提升的 llama3 的推出,使许多东西发生了变化。就像古代人在收割麦子时,扭头看见一收割机。想到自己的那些微小的优化,与这些新技术相比,又算得了什么呢?也会开始怀疑自己的方向和价值。 不过,相信大家都有过想要尝试之前无法完成的事情的冲动。优化过程中又发现了一个神仙插件:Obsidian 的 Smart Connections,超出了我原本的预期,于是结合新模型非常方便地搭建了我的个人知识库。之前老是炫着玩儿,现在是真能解决具体问题了。 具体优势如下: 操作简便,无需自己建立向量数据库或进行向量转换 可针对特定文档提问 具有基于向量的模糊搜索能力 可通过 ollama 调用本地模型,使用它不产生任何费用(除了电费) 2 思考过程 2.1 搜索 很早就觉得 Obsidian 搜索实在太费劲了。因为我的内容比较多,查找非常费时;还必须输入完全一致的关键词;如果查找一个常见词,则会返回大量不排序的文档。虽然后来使用的 ominisearch 插件用机器学习算法来建立索引,搜索效果有所改善,但与基于词义的大模型搜索相比,仍然相差很远。 ...
目标与动因的自我反思
Created2024-05-12|2_Note0_Technic6_思考公众号
引子 今天早上连看了三篇水文都是因为之前关注了公众号,系统推送给我的。这几位也写很棒的文,但可能是立下了日更或者周更几篇的 flag,实际上又不可能频繁产出高质量的文章,就出现明显凑数的情况。 反思 为什么会这样,这么做的动因到底是什么? 目标 究竟日更多满足了谁的需求?很可能是平台的需求,平台可能会因为鼓励频繁发文而给你分配更多的曝光量,这也是收入的来源。 但不一定是读者的需求。比如坚持一年日更,如果内容跟不上,只是凑数,咱先不说对世界有什么意义,对自己有什么意义。针对读者,日更也不一定吸粉的行为。回想咱们自己关注的日更公众号,对日更文章的打开比例是多少? 我们也接收 RSS,但是我们会收录日更吗?尤其是个人每天更新好几篇的?显然不会。个人不可能长期保持高质量的频繁输出,而且推送过多可能导致信息过载。你还需要自己过滤这些信息,反而给自己找麻烦。 我觉得写文可以分为以下几种类型: 有感而发,而这种感肯定不能定期发生,大概也不能以此谋生。 量产,这种就像生产产品一样。与经验丰富的团队相比,个人很难达到类似的效果。 科技与狠活,利用各种技巧和方法,如自动生成、扩展、总结、翻译和转写等。对 ...
五行命令搭建llama3环境
Created2024-05-11|2_Note0_Technic0_工具GPT应用模型工具
1 引言 本文将介绍 ollama+llama3 的最基本的安装和使用方法。只要你的 GPU 和 Docker 环境可用,基本上只需不超过五行的命令就能完成(实际上可能只需要一行)。使用 ollama 安装 llama3 比预期中要方便得多。 项目地址:https://github.com/ollama/ollama 65.5K Star 2 Docker 安装 1$ docker pull ollama/ollama 镜像大小约 438M,不包含 Python&Torch 环境,所以很省空间。 123$ docker run --rm -d -e OLLAMA_ORIGINS="app://obsidian.md*" --gpus=all -v /exports/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama$ docker exec -it ollama bash$ ollama run llama3 在初次使用时,会下载模型,大约需要 4.7G 的存储空间,这可能是量化版本 ...
现代语音合成技术应用
Created2024-05-10|2_Note3_Paper0_AITTS
TTS 已看 阿里的 CosyVoice pass 论文阅读_语音合成_CosyVoice ChatTTS pass 开源项目_语音合成_ChatTTS FishTTS pass 字节 Seed-TTS 论文阅读_语音合成_Seed TTS 其它 ToucanTTS 支持多达7000种语言 github.com/DigitalPhonetics/IMS-Toucan 官网:toucantts.com 评价:中文比较机器声 音频神级开源工具AudioCraft 音频工具集 MARS5-TTS https://github.com/camb-ai/mars5-tts 2.2K Star 140+ languages 主打声音克隆 可用 docker 部署 试用:https://6b1a3a8e53ae.ngrok.app/ 我在 demo 界面,试了下中文,提示不能识别字符,没部署 未看 OpenVoice 最近,由于深度学习在语音特征提取方面的应用,以及大型语言模型对语义理解的加强,许多语音合成技术已经达到了以假乱真的效果。 使用场景 语音合成常在以下几种 ...
论文阅读_管理模型的记忆_MemGPT
Created2024-05-09|2_Note0_Technic2_算法7_模型增强RAG
123456789英文名称: MemGPT: Towards LLMs as Operating Systems中文名称: MemGPT:将LLMs打造成操作系统链接: https://arxiv.org/abs/2310.08560代码: https://github.com/cpacker/MemGPT作者: Charles Packer, Sarah Wooders, Kevin Lin, Vivian Fang, Shishir G. Patil, Ion Stoica, Joseph E. Gonzalez机构: 加州大学伯克利分校日期: 2023-10-12引用次数: 37 1 摘要 目的:解决大型语言模型在处理长对话和文档分析等任务时受到有限上下文窗口限制的问题。 方法:提出了一种名为虚拟上下文管理的新技术,该技术受到了传统操作系统中分层内存系统的启发,通过在物理内存和硬盘之间进行分页,提供了扩展虚拟内存的假象。 结果:在文档分析和多次会话聊天这两个领域,证明了设计的有效性,MemGPT 能够分析远超过 LLM 上下文窗口的大型文档,并能创建能够记忆、反思并通过与用户的 ...
1…171819…83
avatar
Yan.xie
顺流而下还是逆流而上?
Articles
829
Tags
252
Categories
168
Follow Me
Announcement
This is my Blog
Recent Post
对谈_250610_抑郁2_少年的困境2025-07-07
对谈_250610_抑郁3_边缘叛逃者2025-07-07
对谈_250616_抑郁4_不合适的目标2025-07-07
对谈_250618_抑郁5_反刍2025-07-07
对谈_250530_钻空子2025-07-07
Categories
  • 0_IMO76
    • 工作1
    • 说给一个人听75
      • 01_自我建构29
        • 实修3
        • 思考与觉悟14
        • 行动与进化12
      • 02_情绪心理16
Tags
思考 自动驾驶 编程语言/C 模型转换 效率 旅游 概率分布 Python/股票 戏剧中的心理真实 自然语言处理/大模型 咖啡拉花 成瘾 关系反转 #后端 验光 机器学习/时序 主题笔记 GitHub Actions 翻译 开源项目 机器学习/自动建模 Transformer 音视频处理 随笔 知识图/图神经网络 关系 性能 社会学 个人信息 佛教 工作思考 机器学习/算法 关系维护 协议 灵感创意 医学 阅读/育儿 叙事心理学 语音 情感分析
Archives
  • July 202520
  • June 202539
  • May 202530
  • April 202516
  • March 202512
  • February 20252
  • January 20256
  • December 20242
Info
Article :
829
Total Count :
1147.7k
UV :
PV :
Last Push :
©2020 - 2025 By Yan.xie
Framework Hexo|Theme Butterfly
京公网安备11010802043346号
京ICP备2023029600号-1
Search
Loading the Database