少儿 Python 编程 _ 第十八讲：搭建网站 上一讲学习了编写网页代码的方法，到目前为止，创建的网页文件只能用浏览器打开。如果需要用同一网络中的其它电脑或者手机访问该页面，则需要搭建 HTTP 服务。 普通电脑上也可以搭建 HTTP 服务，成为小型的 HTTP 服务器，使用 Python 搭建 HTTP 服务非常简单，不需要额外安装软件，只要安装 Python 的三方模块 Flask 即可实现。 使用 Python 开发网站，只需要加入少量代码，就可以将 Python 的工作成果快速地展示给用户。 18.1 简单例程 Flask 是一个轻量级的 Web 应用框架，占用资源少，使用简单。本节将学习如何用 Flask 创建一个最简单的网站。 在 Anaconda 安装时已经安装了 Flask，因此可以直接使用，程序代码如下： 01 from flask import Flask 02 03 app = Flask(__name__) 04 05 @app.route('/test.html') 06 def hello_world(): 07 retur ...

用深度学习模型提取特征 用途 有时候需要从图片（或文本）中提取出数值型特征，供各种模型使用。深度学习模型不仅可以用于分类回归，还能用于提取特征。通常使用训练好的模型，输入图片，输出为提取到的特征向量。 加入特征之后，结果往往不尽如人意，大致有以下原因： 深度学习模型一般有 N 层结构，不能确定求取哪一层输出更合适。 深度学习模型很抽象——几十层的卷积、池化、信息被分散在网络参数之中。提取自然语言的特征时，常常提取词向量层的输出作为特征，有时也取最后一层用于描述句意；图像处理时往往提取最后一层输出向量；在图像目标识别问题中，常提取后两层子网络的输出作为组合向量。如何选择提取位置，取决于对模型的理解，后文将对图像处理层进行详细说明。 针对不同问题训练出的模型，输出的特征也不同。 通常下载的 ResNet，VGG，BERT 预训练模型，虽然通用性高，但解决具体问题的能力比较弱。比如在自然语言处理中，用 GPT-2 或者 BERT 训练的模型只面对普通文章，如果从中提取特征用于判断辱骂，有些脏字可能有效，但是更多的“多义词”会被它的普通含义淹没。用自己的数据 fine-tune 后往往更有针 ...

Pytorch_ 基于预训练的 ResNet 模型训练自己的分类器 加载数据 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586import osimport torch.utils.data as dataimport torchimport torch.optim as optimimport torch.nn as nnfrom torch.optim import lr_schedulerfrom torchvision import datasets, models, transformsfrom PIL import Imageimport timeimport copyimport pandas as pdimport matplotlib.pyplot as pltimport numpy as ...

论文检索 #工具 #论文阅读 科学文献数据库：http://arxiv.org 查找 arxiv 上论文的工具：http://www.arxiv-sanity.com/ , 可查找关键字相关的论文，并按时间远近排序，列表中也显示了 introduce。 [](https://img-blog.csdnimg.cn/20200323101240784.png?x-oss- process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpZXlhbjA4MTE=,size_16,color_FFFFFF,t_70) show similar 可查找与之类似的论文（内部使用 tf/idf 方法实现）

实战文本分类对抗攻击 #算法实战 文章写得比较长，先列出大纲，以便读者直取重点。 “文本分类对抗攻击”是清华大学和阿里安全 2020 年 2 月举办的一场 AI 比赛，从开榜到比赛结束 20 天左右，内容是主办方在线提供 1000 条辱骂样本，参赛者用算法逐条扰动，使线上模型将其判别为非辱骂样本，尽量让扰动较小同时又保留辱骂性质（辱骂性质前期由模型判定，最终由人工判定）。 比赛规则 线上模型和评测使用的 1000 条样本不公开，选手根据赛方指定的接口实现算法，并用 docker 方式提交以供线上评测，每天最多评测 15 次，单次运行时间需控制在 30 分钟之内。 （第一个知识点：熟悉 Docker，简单环境调试） 其评价公式如下： 共 1000 条评测样本（samples=1000 且全部为辱骂文本），vi 为最终的人工评测结果，1 为辱骂，0 为非辱骂在（只对最终入围数据作人工评测，前期提交都认为 vi=1）；ci 是分类结果，由多个线上模型作出评判并取均值，攻击成功为 1，攻击失败为 0；pi 是原始文本与扰动文本的差异，综合考虑了字符差异和语义差异，最终结果 Sfinal 满 ...

1 简介 Fasttext 源于 2016 年的论文《Bag of Tricks for Efficient Text Classification》，论文地址：https://arxiv.org/pdf/1607.01759.pdf。论文非常短，加上 References 不过五页，Model architecture 只有一页。 深度学习神经网络在自然语言处理中表现非常优秀，但动辄几十层，上亿参数的大型网络速度慢且需要大量算力支持，限制了使用场景。FastText 是 Facebook 开源的一款简单而高效的文本分类器，它使用浅层的神经网络实现了 word2vec 以及文本分类功能，效果与深层网络差不多，节约资源，且有百倍的速度提升，可谓高效的工业级解决方案。本篇将介绍 Fasttext 的相关概念、原理及用法。 2 相关技术 2.1 BOW BOW BOW 是词袋 Bag of Words 的简称，BOW 是文本分类中常用的文本向量化的方法，它忽略了顺序和语法，将文本看成词汇的集合，且词汇间相互独立，如同把词放进了一个袋子。在分类任务中使用 BOW 时，就是根据各个词义综合分析文 ...

轻量级 BERT 模型 ALBERT BERT 有很多改进版本，ALBERT 是一个轻量化版本。ALBERT 源自 2020 年的发表论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》，论文地址：https://arxiv.org/pdf/1909.11942.pdf。从题目可以看出，论文重点是轻量化 BERT 模型，以及优化了半监督学习，本文主要关注轻量化模型部分。 目前 NLP 的高级模型 BERT、GPT-2 都基于 Pretrain/fine-tune 模式，先使用无监督学习的海量文本预训练出一个带有“语言常识”的大模型，然后再根据具体任务调优，这就完美解决了具体任务训练集不足的问题。模型往往拥有千万或亿级的参数，目前的趋势是随着模型功能能越来越强大，模型的规模也越来越大，这使普通开发者越发无法企及。 随着 BERT 模型越来越频繁地被使用到真实场景中，模型的速度、规模、硬件逐渐成为瓶颈。预训练模型一般都规模庞大，在后期调优以及调用模型时也都需要花费大量的内存、算力和时 ...

序列对抗网络 SeqGAN SeqGAN 源自 2016 年的论文《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》，论文地址：https://arxiv.org/pdf/1609.05473.pdf。其核心是用生成对抗网络处理离散的序列数据。 之前介绍了使用 GAN 生成图像的方法，由于图像是连续数据，可以使用调整梯度的方法逐步生成图像，而离散数据很难使用梯度更新。在自然语言处理（NLP）中使用 GAN 生成文字时，由于词索引与词向量转换过程中数据不连续，微调参数可能不起作用；且普通 GAN 的判别模型只对生成数据整体打分，而文字一般都是逐词（token）生成，因此无法控制细节。SeqGAN 借鉴了强化学习（RL）的策略，解决了 GAN 应用于离散数据的问题。 概念 与基本的 GAN 算法一样，SeqGAN 的基本原理也是迭代训练生成模型 G 和判别模型 D。假设用 G 生成一个词序列组成句子，由 D 来判别这个句子是训练集中的真实句子（True data），还是模型生成的句子（Generate）；最 ...

梯度攻击 模型攻击主要指人为地制造干扰迷惑模型，使之产生错误的结果。随着深度学习模型的广泛使用，人们发现它很容易被数据的轻微扰动所欺骗，于是开始寻找更加有效的攻击方法，针对攻击又有对抗攻击的方法，二者相互推进，不仅加强了模型的健壮性，有时还能提升模型的准确度。 原理 想让攻击更加有效，导致模型分类错误，也就是使损失函数的值变大。正常训练模型时，输入 x 是固定的，标签 y 也是固定的，通过训练调整分类模型的参数 w，使损失函数逐渐变小。而梯度攻击的分类模型参数 w 不变（分类逻辑不变），y 也固定不变，若希望损失函数值变大，就只能修改输入。下面就来看看如何利用梯度方法修改输入数据。 FGSM FGSM 是比较早期的梯度攻击算法，源于 2015 年的论文《EXPLAINING  AND HARNESSING ADVERSARIAL EXAMPLES》，论文地址：https://arxiv.org/pdf/1412.6572.pdf。FGSM 全称是 Fast Gradient Sign Method 快速梯度下降法。其原理是求模型误差函数对输入的导数，然后用符号函数得到其梯度方向，并乘以 ...

自然语言处理——使用词向量（腾讯词向量） #自然语言处理 向量化是使用一套统一的标准打分，比如填写表格：年龄、性别、性格、学历、经验、资产列表，并逐项打分，分数范围 [-1,1]，用一套分值代表一个人，就叫作向量化，虽然不能代表全部，但至少是个量度。因此，可以说，万物皆可向量化。 词向量 同理，词也可以向量化 word2vec（word to vector），可以从词性、感情色彩、程度等等方面量度，用一套分值代表一个词，从而词之间可以替换，比较。词与向量间的转换过程就叫作词的向量化。与人为评分不同的是，词向量一般通过训练生成，其每一维量度的作用也并不明确。词向量化常用于提取词的特征，提取后的特征再代入模型计算。 词向量如下图所示： 上图把每个单词映射到 50 个维度（用 50 种特征表示一个词），每个维度在 [-1,1] 范围内取值，上图中 1 为红色，0 为白色，-1 为蓝色，中间各值为过渡色，从图中可以直观看到词间的相似度。获取了词向量之后，除了可以计算词间或句间相似度，查找近义词，代入模型以外，还可以做组合词义，以及排除某种含义，如下图所示： https://jalamma ...