深度学习 _ 简介及相关概念 1. 传说 传说深度神经非常神奇，把那些浅层学习都给甩出十万八千里去了！还需要什么特征工程？卷积神经网络的特征都是自动识别的！只要用正确的条件和结果训练得足够多，以后给条件就能自动出结果了，比教人还简单！它模拟的可是人类的大脑，现在的运算量已经赶上猫狗的脑了，只要运算足够大足够快，机器人分分钟就消灭人类！ 这些只是传说，它夸大的事实的一部分，而故意忽略了另一部分．不过，树立的典型不都这样么？看 2010 年以来最热门的卷积神经网络（CNN）的发展，从 AlexNet 到 RssNet，就可以看到，它主要解决了什么问题，具体怎么用，离强人工智能还有多远。 其实，神经网络就是机器学习的一种，机器学习又是人工智能的一种。现在一说人工智能就说深度学习，不懂这个就太 out 了。环境就是这样，也只好花时间来了解一下了，此专题大致分为：简介，入门工具，BP 实现，CNN，RNN，技巧这几部分来介绍一下。 2. 引入 简单地举个例子：有一家玩具工厂，想通过试生产的方式培养员工的生产玩具的能力．具体过程是提供 3 种材料（输入），和 1 种成品（输出），让工人们练手（此例 ...

比特币挖矿——集群矿池 btcpool #区块链 1. 介绍 btcpool 一个集群的解决方案，它使用了 mysql 数据库，web 服务，kafka，zooKeeper，据说可以控制 100000 矿机。代码中逻辑和安装说明都比较完整，但还需要一些编写一些 web 界面做 UI 支持。配好之后就和其它大矿池差不多了。 挖矿的哈希碰撞需要大量计算，由矿机实现。而拆分集成运算量，分配任务，在矿机多的情况下也需要大量的算力支持。Btcpool 是一个去中心化集群的解决方案（矿池内部去中心，对外自成体系）。N 个矿机连一个控制板，控制板接入网络，通过端口连服务器，服务器再把拆分运算量的工作分担给矿池内的多台服务器同时计算。 它的主旨就是整套系统切分成功能块，块与块之间用使用 kafka 传递数据和信息，后台由 zooKeeper 负载均衡，从而使不同的功能块运行在不同的服务器上。像钱包和 mysql 这种频率使用的公用数据放在另外的服务器上，各功能块通过 rpc，zmp 等方式访问它们。 其中最核心的程序是 sserver，矿机控制板连接的就是该程序。它支持 Stratum 协议。现在一般 ...

比特币挖矿——建立 Kafka&ZooKeeper 集群 #区块链 1. 介绍 采用 ZooKeeper+Kafka 的方式建立集群，主要支持了消息传递和负载均衡，常见的一些文档，有的是概念较多，没有实际操作；有的只有命令，不知其原理。这里就结合集群矿池来说说它的具体应用场景，原理，以及具体实现。 图片.png 2. 举例 先举个例子，比如一个理发店： 一开始只有一个理发师，洗剪吹都由他一个人负责，那么只能一个客人做完全套（同一台机器上操作各个步骤），再给下一个客人服务。 之后, 又来了几个理发师，每个人负责接待一个客人（多台服务器，每台负责单个流程）。 再后来理发店又扩大，人多了（多台不同用途的机器），老板发现如果把工作细分为：洗 (A) 剪 (B) 吹 (C) 三部分，这三部分的工作量和难度都不同，可以安排专人专职，以节约人力成本。三个模块工作量不同，需要的人数也不同，如上图所示，洗 2 人 (2 台机器)，剪 3 人 (3 台机器)，吹 2 人 (2 台机器)。Data 为库房 (数据服务器)，每个人都可能去库房存取工具。 显然，A 与 B 并不是一一对应的关系。洗 ...

比特币挖矿——控制器与矿机 #区块链 1. 介绍 只要把矿机插电、插网, 开启电源,它就可以 24 小时源源不断的生产虚拟货币。听起来热血沸腾吧！下面就来看看矿机怎么连网和挖矿的．矿机有很多种，有的集成很多显卡．有的看起来像台电脑，有的像个Ｕ盘． 图片.png 无论哪种矿机，至少都包含连网和计算两个部分．连网部分负责收发计算数据和证明挖矿者身份，计算部分负责具体的挖矿．这里我们来考虑最常见的一个控制板带多个矿机，连接他人矿池的情况．矿工只在设置的时候需要电脑或者手机连接到控制器的 web 界面，其余时候只要启动控制板和矿机即可挖矿（有些矿机和控制板是一体的）。当然这里指的是连他人的矿池，如果自己做矿池，矿池也是需要机器的． 2. 控制器（与网络相连部分） 下面以树莓派控制板为例分析，控制内部如何运作，以及如何与上下层交互。一般树莓派都自带再 dhcp 客户端，连上网线就能自动获取 IP 地址，其上运行一个 WebServer，外加 miner-web 工具，即可支持矿机的 Web 设置界面。矿工通过路由器看找到分给控制器的 IP 地址，然后用 http 连接的方式来设置它，此时需 ...

比特币挖矿——钱包 #区块链 1. BitCoin 钱包 BitCoin 是钱包的一种，目前它需要下载上百 G 的数据，且之后还会不断增加，其它钱包也有数据比较少的，但是做矿池一般用 bitcoin，可以把它看成实时更新的矿池数据库。 如果想做矿池的话，必须把钱包数据下到本地，而且后台进程要一直开着更新数据。还需要给钱包加密。 2. 安装配置钱包 1) 安装 1$ apt-get install bitcoind 2) 修改配置文件 12345678$ vi bitcoin.conf # 内容如下rpcuser=abcrpcpassword=123server=1rpcallowip=127.0.0.1addnode=14.111.41.235addnode=180.109.106.68addnode=119.129.41.15 注意，这里的 user 和 password 是 RPC 的用户名密码，它和钱包地址没关系，随便设什么都可以，只要和挖矿服务（如：p2pool 或 btcpool）设的一致即可。 3) 运行 i. 本机上执行 1$ bitcoin-qt ii. 服务端执行（远 ...

比特币挖矿——区块链技术 #区块链 1. 说明 区块链具有数据运行公开、不可篡改、可溯源、跨国际、去中心化的特点。因此越来越多地被应用在各个领域。区块链主要技术包括：分布式数据存储、点对点传输、共识机制、加密算法，将在下面一一介绍。 2. 点对点传输 点对点技术（peer-to-peer，简称 P2P）又称对等互联网络技术，它依赖网络中参与者的计算能力和带宽，而不是把依赖都聚集在较少的几台服务器上。最典型的应用就是电驴。在这里它提供了最底层的去中心化支持。 3. 分布式数据存储 先看看对区块链最直观的感觉：当第一次运行比特币钱包时，会下载很多数据，2017 年 10 月有 150G 左右，且还在不断增加。数据存储在 data/blocks 目录下，blk*.dat 这就是区块 block。 第一个问题是：为什么建矿池需要下载这么多数据？区块链本质上是一个去中心化的数据库，我们下载的是比特币所有数据所组成的数据库，因此很大。去中心化的数据库，数据并不是保存在某一个服务器上，而且在 P2P 的每个节点上都需要保存一份。对于中心化的数据库，数据库可能被宿主或者黑客篡改，因而可靠性变差。而去中 ...

比特币挖矿——入门 #区块链 说比特币之前，先来说说虚拟货币，以及虚拟币的价值。比如说，百度文库文下载章需要付点数，自己上传文件被别人下载可以得到点数，点数就是虚拟货币，如果没有点数，又能想下文档，可以用钱兑换，这就是虚拟货币与真实货币的关系。至于一个点数研究值多少钱，又怎么给一篇文档定价，一般会借鉴类似资源的定价，使用的人多了，虚拟货币的价值也逐渐趋于稳定。 比特币是最流行的虚拟货币，它是基于 P2P 的数字货币，在互联网的某处，每 10 分钟产生 13 个币，至于新产生的币归谁，就看谁挖到了（也就是挖矿，具体算法后面说明）。一般大家最大的疑问是：算法产生的一串数就能对应真金白银吗？来看看货币的价值：钱是一张纸，印这张纸花多少钱是它的自然属性，它能当多少钱花是它的社会属性，我们更关注它能当多少钱花。钱的使用价值是以发行方的信用作担保的，也就是说有国家在，就不用担心你的钱明天变成废纸。那谁给比特币谁作担保呢？上学的时候学：说一个事物，要么是主观的，要么是客观的，现在说，介于主观和客观之间叫互为主体 (intersubjective)，即：相信的人多了，它就存在了。随着比特币越来越多的被 ...

Python 股票处理之八 _ 大数定律 1. 引子 有一天，我看见一个预测日涨跌的程序，成功率在百分之七十几，于是分享给 X 同学。结果人家说“70% 多，这准确率高么？瞎蒙的准确率也有 50%” 这准确率高么？只靠对技术形态的判断，好像也还行吧？如果有 70% 的正确率，到底怎么做赢的机会比较大？达到多少百分比，才能够满意？ 看《程序员的数学 2：概率统计》中有一道类似的习题：设结果甲出现概率为 0.7，结果乙出现概述为 0.3，且不论甲还是乙，只要猜中，就能获得下注同等的金额，猜不中则输掉赌资。显然选择甲是明智的做法。假设你每天都会参与这场赌博，你会将占总资产比例 p 的金额投给甲，p 在整个过程中保持不变，请问应该如何设定 p 值？（我把该题简化了，大概是这个意思） 如果只考虑一天，显然把所有资产都投给甲p=1是最佳选择，然而不断重复赌局时，总会出现没有中奖而失去所有财产的情况。下面写一个程序模拟这个赌局： 2.程序 12345678910111213141516171819202122232425262728293031323334353637# -*- coding: ut ...

Python 数据分析常用工具 1．Numpy： 科学计算基础包, 提供矩阵数据类型、矢量处理，以及精密的运算库。 1$ pip install numpy 2．Pandas： 基于 Numpy，最初被作为金融数据分析工具而开发出来，一般用于处理结构化数据。 1$ pip install pandas 3．Matplotlib： 绘制数据图表 1$ pip install matplotlib 4．Seaborn： 在 Matplotlib 的基础上进行了更高级的 API 封装，从而使得作图更加容易。 1$ pip install seaborn 5．IPython： Python 的交互式 shell，比默认的 python shell 好用，支持变量自动补全，自动缩进，支持 bash shell 命令，内置了许多很有用的功能和函数。 1$ sudo apt-get install ipython 6．Scipy： 科学计算中标准问题，包括统计，优化，整合，线性代数模块，傅里叶变换，信号和图像处理，常微分方程求解器等等. 1$ pip install scipy

Python 股票处理之七 _ 数据库存储 1. 说明 股票数据无需每次都从网上下载，像日线级别的历史数据会常常用到，使用多线程下载一般也需要几个小时，最好存储到本地，除了已有的特征值，还有清洗后的数据，和计算出的新特征值，以及需要与其它程序共享数据。相对于数据文件，使用数据库更合适。 本文介绍 pandas（数据结构支持）通过 sqlalchemy 与数据库连接，存储 tushare 下载的日线数据，用一套代码操作不同数据库（Mysql/sqlite）。 2. 安装数据库 1) Sqlalchemy 工具 1$ pip install sqlalchemy 2) Mysql 数据库 12345$ sudo apt-get install mysql-server$ sudo apt-get install mysql-client$ mysql -u root –pmysql> create database stock # 建立名为stock的数据库，之后程序中会用到mysql> show databases; # 显示已有的数据库 3) Sqlite 数据库 1234 ...