avatar
Articles
829
Tags
252
Categories
168

Yan 的杂物志_个人主页分享
Search
18_少儿Python编程_第十八讲:搭建网站
Created2020-04-20|2_Note0_Technic3_编程少儿编程
少儿 Python 编程 _ 第十八讲:搭建网站 上一讲学习了编写网页代码的方法,到目前为止,创建的网页文件只能用浏览器打开。如果需要用同一网络中的其它电脑或者手机访问该页面,则需要搭建 HTTP 服务。 普通电脑上也可以搭建 HTTP 服务,成为小型的 HTTP 服务器,使用 Python 搭建 HTTP 服务非常简单,不需要额外安装软件,只要安装 Python 的三方模块 Flask 即可实现。 使用 Python 开发网站,只需要加入少量代码,就可以将 Python 的工作成果快速地展示给用户。 18.1 简单例程 Flask 是一个轻量级的 Web 应用框架,占用资源少,使用简单。本节将学习如何用 Flask 创建一个最简单的网站。 在 Anaconda 安装时已经安装了 Flask,因此可以直接使用,程序代码如下: 01 from flask import Flask 02 03 app = Flask(__name__) 04 05 @app.route('/test.html') 06 def hello_world(): 07 retur ...
用深度学习模型提取特征
Created2020-04-17|2_Note0_Technic2_算法5_模型结构网络结构
用深度学习模型提取特征 用途 有时候需要从图片(或文本)中提取出数值型特征,供各种模型使用。深度学习模型不仅可以用于分类回归,还能用于提取特征。通常使用训练好的模型,输入图片,输出为提取到的特征向量。 加入特征之后,结果往往不尽如人意,大致有以下原因: 深度学习模型一般有 N 层结构,不能确定求取哪一层输出更合适。 深度学习模型很抽象——几十层的卷积、池化、信息被分散在网络参数之中。提取自然语言的特征时,常常提取词向量层的输出作为特征,有时也取最后一层用于描述句意;图像处理时往往提取最后一层输出向量;在图像目标识别问题中,常提取后两层子网络的输出作为组合向量。如何选择提取位置,取决于对模型的理解,后文将对图像处理层进行详细说明。 针对不同问题训练出的模型,输出的特征也不同。 通常下载的 ResNet,VGG,BERT 预训练模型,虽然通用性高,但解决具体问题的能力比较弱。比如在自然语言处理中,用 GPT-2 或者 BERT 训练的模型只面对普通文章,如果从中提取特征用于判断辱骂,有些脏字可能有效,但是更多的“多义词”会被它的普通含义淹没。用自己的数据 fine-tune 后往往更有针 ...
Pytorch_基于预训练的ResNet模型训练自己的分类器
Created2020-04-11|2_Note0_Technic3_编程Pytorch
Pytorch_ 基于预训练的 ResNet 模型训练自己的分类器 加载数据 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586import osimport torch.utils.data as dataimport torchimport torch.optim as optimimport torch.nn as nnfrom torch.optim import lr_schedulerfrom torchvision import datasets, models, transformsfrom PIL import Imageimport timeimport copyimport pandas as pdimport matplotlib.pyplot as pltimport numpy as ...
论文检索
Created2020-03-23|2_Note0_Technic0_工具论文0_方法
论文检索 #工具 #论文阅读 科学文献数据库:http://arxiv.org 查找 arxiv 上论文的工具:http://www.arxiv-sanity.com/ , 可查找关键字相关的论文,并按时间远近排序,列表中也显示了 introduce。 [](https://img-blog.csdnimg.cn/20200323101240784.png?x-oss- process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpZXlhbjA4MTE=,size_16,color_FFFFFF,t_70) show similar 可查找与之类似的论文(内部使用 tf/idf 方法实现)
实战文本分类对抗攻击
Created2020-03-15|2_Note0_Technic2_算法4_机器学习实战
实战文本分类对抗攻击 #算法实战 文章写得比较长,先列出大纲,以便读者直取重点。 “文本分类对抗攻击”是清华大学和阿里安全 2020 年 2 月举办的一场 AI 比赛,从开榜到比赛结束 20 天左右,内容是主办方在线提供 1000 条辱骂样本,参赛者用算法逐条扰动,使线上模型将其判别为非辱骂样本,尽量让扰动较小同时又保留辱骂性质(辱骂性质前期由模型判定,最终由人工判定)。 比赛规则 线上模型和评测使用的 1000 条样本不公开,选手根据赛方指定的接口实现算法,并用 docker 方式提交以供线上评测,每天最多评测 15 次,单次运行时间需控制在 30 分钟之内。 (第一个知识点:熟悉 Docker,简单环境调试) 其评价公式如下: 共 1000 条评测样本(samples=1000 且全部为辱骂文本),vi 为最终的人工评测结果,1 为辱骂,0 为非辱骂在(只对最终入围数据作人工评测,前期提交都认为 vi=1);ci 是分类结果,由多个线上模型作出评判并取均值,攻击成功为 1,攻击失败为 0;pi 是原始文本与扰动文本的差异,综合考虑了字符差异和语义差异,最终结果 Sfinal 满 ...
Fasttext快速文本分类
Created2020-03-15|2_Note0_Technic2_算法6_自然语言工具
1 简介 Fasttext 源于 2016 年的论文《Bag of Tricks for Efficient Text Classification》,论文地址:https://arxiv.org/pdf/1607.01759.pdf。论文非常短,加上 References 不过五页,Model architecture 只有一页。 深度学习神经网络在自然语言处理中表现非常优秀,但动辄几十层,上亿参数的大型网络速度慢且需要大量算力支持,限制了使用场景。FastText 是 Facebook 开源的一款简单而高效的文本分类器,它使用浅层的神经网络实现了 word2vec 以及文本分类功能,效果与深层网络差不多,节约资源,且有百倍的速度提升,可谓高效的工业级解决方案。本篇将介绍 Fasttext 的相关概念、原理及用法。 2 相关技术 2.1 BOW BOW BOW 是词袋 Bag of Words 的简称,BOW 是文本分类中常用的文本向量化的方法,它忽略了顺序和语法,将文本看成词汇的集合,且词汇间相互独立,如同把词放进了一个袋子。在分类任务中使用 BOW 时,就是根据各个词义综合分析文 ...
轻量级BERT模型ALBERT
Created2020-03-13|2_Note0_Technic2_算法6_自然语言BERT类
轻量级 BERT 模型 ALBERT BERT 有很多改进版本,ALBERT 是一个轻量化版本。ALBERT 源自 2020 年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》,论文地址:https://arxiv.org/pdf/1909.11942.pdf。从题目可以看出,论文重点是轻量化 BERT 模型,以及优化了半监督学习,本文主要关注轻量化模型部分。 目前 NLP 的高级模型 BERT、GPT-2 都基于 Pretrain/fine-tune 模式,先使用无监督学习的海量文本预训练出一个带有“语言常识”的大模型,然后再根据具体任务调优,这就完美解决了具体任务训练集不足的问题。模型往往拥有千万或亿级的参数,目前的趋势是随着模型功能能越来越强大,模型的规模也越来越大,这使普通开发者越发无法企及。 随着 BERT 模型越来越频繁地被使用到真实场景中,模型的速度、规模、硬件逐渐成为瓶颈。预训练模型一般都规模庞大,在后期调优以及调用模型时也都需要花费大量的内存、算力和时 ...
序列对抗网络SeqGAN
Created2020-03-12|2_Note0_Technic2_算法5_模型结构网络结构
序列对抗网络 SeqGAN SeqGAN 源自 2016 年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》,论文地址:https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。 之前介绍了使用 GAN 生成图像的方法,由于图像是连续数据,可以使用调整梯度的方法逐步生成图像,而离散数据很难使用梯度更新。在自然语言处理(NLP)中使用 GAN 生成文字时,由于词索引与词向量转换过程中数据不连续,微调参数可能不起作用;且普通 GAN 的判别模型只对生成数据整体打分,而文字一般都是逐词(token)生成,因此无法控制细节。SeqGAN 借鉴了强化学习(RL)的策略,解决了 GAN 应用于离散数据的问题。 概念 与基本的 GAN 算法一样,SeqGAN 的基本原理也是迭代训练生成模型 G 和判别模型 D。假设用 G 生成一个词序列组成句子,由 D 来判别这个句子是训练集中的真实句子(True data),还是模型生成的句子(Generate);最 ...
梯度攻击
Created2020-03-11|2_Note0_Technic2_算法5_模型结构网络结构
梯度攻击 模型攻击主要指人为地制造干扰迷惑模型,使之产生错误的结果。随着深度学习模型的广泛使用,人们发现它很容易被数据的轻微扰动所欺骗,于是开始寻找更加有效的攻击方法,针对攻击又有对抗攻击的方法,二者相互推进,不仅加强了模型的健壮性,有时还能提升模型的准确度。 原理 想让攻击更加有效,导致模型分类错误,也就是使损失函数的值变大。正常训练模型时,输入 x 是固定的,标签 y 也是固定的,通过训练调整分类模型的参数 w,使损失函数逐渐变小。而梯度攻击的分类模型参数 w 不变(分类逻辑不变),y 也固定不变,若希望损失函数值变大,就只能修改输入。下面就来看看如何利用梯度方法修改输入数据。 FGSM FGSM 是比较早期的梯度攻击算法,源于 2015 年的论文《EXPLAINING  AND HARNESSING ADVERSARIAL EXAMPLES》,论文地址:https://arxiv.org/pdf/1412.6572.pdf。FGSM 全称是 Fast Gradient Sign Method 快速梯度下降法。其原理是求模型误差函数对输入的导数,然后用符号函数得到其梯度方向,并乘以 ...
自然语言处理——使用词向量(腾讯词向量)
Created2020-03-08|2_Note0_Technic2_算法6_自然语言Embedding
自然语言处理——使用词向量(腾讯词向量) #自然语言处理 向量化是使用一套统一的标准打分,比如填写表格:年龄、性别、性格、学历、经验、资产列表,并逐项打分,分数范围 [-1,1],用一套分值代表一个人,就叫作向量化,虽然不能代表全部,但至少是个量度。因此,可以说,万物皆可向量化。 词向量 同理,词也可以向量化 word2vec(word to vector),可以从词性、感情色彩、程度等等方面量度,用一套分值代表一个词,从而词之间可以替换,比较。词与向量间的转换过程就叫作词的向量化。与人为评分不同的是,词向量一般通过训练生成,其每一维量度的作用也并不明确。词向量化常用于提取词的特征,提取后的特征再代入模型计算。 词向量如下图所示: 上图把每个单词映射到 50 个维度(用 50 种特征表示一个词),每个维度在 [-1,1] 范围内取值,上图中 1 为红色,0 为白色,-1 为蓝色,中间各值为过渡色,从图中可以直观看到词间的相似度。获取了词向量之后,除了可以计算词间或句间相似度,查找近义词,代入模型以外,还可以做组合词义,以及排除某种含义,如下图所示: https://jalamma ...
1…515253…83
avatar
Yan.xie
顺流而下还是逆流而上?
Articles
829
Tags
252
Categories
168
Follow Me
Announcement
This is my Blog
Recent Post
对谈_250610_抑郁2_少年的困境2025-07-07
对谈_250610_抑郁3_边缘叛逃者2025-07-07
对谈_250616_抑郁4_不合适的目标2025-07-07
对谈_250618_抑郁5_反刍2025-07-07
对谈_250530_钻空子2025-07-07
Categories
  • 0_IMO76
    • 工作1
    • 说给一个人听75
      • 01_自我建构29
        • 实修3
        • 思考与觉悟14
        • 行动与进化12
      • 02_情绪心理16
Tags
深度学习/扩散模型 知识管理 关系 禅宗 抑郁 健康 图形图像 关系反转 宗教 视频生成 驱动 开源项目 模型增强 大型语言模型 区块链 数学 社会学 移动开发 自然语言处理/BERT 语音 自我表达 技巧 价值观 技术 深度学习/工具 阅读心理学 深度学习/知识蒸馏 哲学 主题笔记 代码模型 心理建设 权力结构 编程语言/Java 后端测试 主观能动性 AI功能 算法实战 自然语言处理 代码生成 无代码开发
Archives
  • July 202520
  • June 202539
  • May 202530
  • April 202516
  • March 202512
  • February 20252
  • January 20256
  • December 20242
Info
Article :
829
Total Count :
1147.7k
UV :
PV :
Last Push :
©2020 - 2025 By Yan.xie
Framework Hexo|Theme Butterfly
京公网安备11010802043346号
京ICP备2023029600号-1
Search
Loading the Database