avatar
Articles
829
Tags
252
Categories
168

Yan 的杂物志_个人主页分享
Search
深度学习_工具
Created2017-11-01|2_Note0_Technic2_算法5_模型结构环境
深度学习 _ 工具 1. 引入 深度学习的工具有很多 Tensorflow, Theano, Caffe, Keras, MXNet, Scikit-learn…有用 c++ 写的,有用 Python 写的,还有R的,Java 的,从哪里入手呢? 先看看最热门的 Tensorflow,它是谷歌研发的人工智能学习系统,主要优点是分布式计算,特别是在多 GPU 的环境中。Theano 也是比较低级的库,一般单机使用.什么是低级库?就像炒回锅肉不用从杀猪开始,杀猪就是比较低级的工作,已经有人帮你做好了,像 Keras 这种较上层的工具,它把 Theano 和 TensorFlow 包装成了更具人性化的 API。至于是选择低级工具,还是上层工具,主要取决于您的目标是开肉联厂还是开饭馆. 图片.png 2. 工具简介 Caffe 是 c++ 写的库,是较低层级的库,它是个老牌的工具,工作稳定,性能也好,还提供绑定到 Python 上的编程语言,但相对没有 Python 类工具灵活. Theano 是一个低级库,透明地使用 GPU 来完成数学计算.也是一个老牌的工具,工作比较稳定,只支持单机 ...
深度学习_简介及相关概念
Created2017-10-31|2_Note0_Technic2_算法5_模型结构工具
深度学习 _ 简介及相关概念 1. 传说 传说深度神经非常神奇,把那些浅层学习都给甩出十万八千里去了!还需要什么特征工程?卷积神经网络的特征都是自动识别的!只要用正确的条件和结果训练得足够多,以后给条件就能自动出结果了,比教人还简单!它模拟的可是人类的大脑,现在的运算量已经赶上猫狗的脑了,只要运算足够大足够快,机器人分分钟就消灭人类! 这些只是传说,它夸大的事实的一部分,而故意忽略了另一部分.不过,树立的典型不都这样么?看 2010 年以来最热门的卷积神经网络(CNN)的发展,从 AlexNet 到 RssNet,就可以看到,它主要解决了什么问题,具体怎么用,离强人工智能还有多远。 其实,神经网络就是机器学习的一种,机器学习又是人工智能的一种。现在一说人工智能就说深度学习,不懂这个就太 out 了。环境就是这样,也只好花时间来了解一下了,此专题大致分为:简介,入门工具,BP 实现,CNN,RNN,技巧这几部分来介绍一下。 2. 引入 简单地举个例子:有一家玩具工厂,想通过试生产的方式培养员工的生产玩具的能力.具体过程是提供 3 种材料(输入),和 1 种成品(输出),让工人们练手(此例 ...
比特币挖矿——集群矿池btcpool
Created2017-10-30|2_Note0_Technic3_编程区块链
比特币挖矿——集群矿池 btcpool #区块链 1. 介绍 btcpool 一个集群的解决方案,它使用了 mysql 数据库,web 服务,kafka,zooKeeper,据说可以控制 100000 矿机。代码中逻辑和安装说明都比较完整,但还需要一些编写一些 web 界面做 UI 支持。配好之后就和其它大矿池差不多了。 挖矿的哈希碰撞需要大量计算,由矿机实现。而拆分集成运算量,分配任务,在矿机多的情况下也需要大量的算力支持。Btcpool 是一个去中心化集群的解决方案(矿池内部去中心,对外自成体系)。N 个矿机连一个控制板,控制板接入网络,通过端口连服务器,服务器再把拆分运算量的工作分担给矿池内的多台服务器同时计算。 它的主旨就是整套系统切分成功能块,块与块之间用使用 kafka 传递数据和信息,后台由 zooKeeper 负载均衡,从而使不同的功能块运行在不同的服务器上。像钱包和 mysql 这种频率使用的公用数据放在另外的服务器上,各功能块通过 rpc,zmp 等方式访问它们。 其中最核心的程序是 sserver,矿机控制板连接的就是该程序。它支持 Stratum 协议。现在一般 ...
比特币挖矿——建立Kafka&ZooKeeper集群
Created2017-10-29|2_Note0_Technic3_编程区块链
比特币挖矿——建立 Kafka&ZooKeeper 集群 #区块链 1. 介绍 采用 ZooKeeper+Kafka 的方式建立集群,主要支持了消息传递和负载均衡,常见的一些文档,有的是概念较多,没有实际操作;有的只有命令,不知其原理。这里就结合集群矿池来说说它的具体应用场景,原理,以及具体实现。 图片.png 2. 举例 先举个例子,比如一个理发店: 一开始只有一个理发师,洗剪吹都由他一个人负责,那么只能一个客人做完全套(同一台机器上操作各个步骤),再给下一个客人服务。 之后, 又来了几个理发师,每个人负责接待一个客人(多台服务器,每台负责单个流程)。 再后来理发店又扩大,人多了(多台不同用途的机器),老板发现如果把工作细分为:洗 (A) 剪 (B) 吹 (C) 三部分,这三部分的工作量和难度都不同,可以安排专人专职,以节约人力成本。三个模块工作量不同,需要的人数也不同,如上图所示,洗 2 人 (2 台机器),剪 3 人 (3 台机器),吹 2 人 (2 台机器)。Data 为库房 (数据服务器),每个人都可能去库房存取工具。 显然,A 与 B 并不是一一对应的关系。洗 ...
比特币挖矿——控制器与矿机
Created2017-10-27|2_Note0_Technic3_编程区块链
比特币挖矿——控制器与矿机 #区块链 1. 介绍 只要把矿机插电、插网, 开启电源,它就可以 24 小时源源不断的生产虚拟货币。听起来热血沸腾吧!下面就来看看矿机怎么连网和挖矿的.矿机有很多种,有的集成很多显卡.有的看起来像台电脑,有的像个U盘. 图片.png 无论哪种矿机,至少都包含连网和计算两个部分.连网部分负责收发计算数据和证明挖矿者身份,计算部分负责具体的挖矿.这里我们来考虑最常见的一个控制板带多个矿机,连接他人矿池的情况.矿工只在设置的时候需要电脑或者手机连接到控制器的 web 界面,其余时候只要启动控制板和矿机即可挖矿(有些矿机和控制板是一体的)。当然这里指的是连他人的矿池,如果自己做矿池,矿池也是需要机器的. 2. 控制器(与网络相连部分) 下面以树莓派控制板为例分析,控制内部如何运作,以及如何与上下层交互。一般树莓派都自带再 dhcp 客户端,连上网线就能自动获取 IP 地址,其上运行一个 WebServer,外加 miner-web 工具,即可支持矿机的 Web 设置界面。矿工通过路由器看找到分给控制器的 IP 地址,然后用 http 连接的方式来设置它,此时需 ...
比特币挖矿——钱包
Created2017-10-26|2_Note0_Technic3_编程区块链
比特币挖矿——钱包 #区块链 1. BitCoin 钱包 BitCoin 是钱包的一种,目前它需要下载上百 G 的数据,且之后还会不断增加,其它钱包也有数据比较少的,但是做矿池一般用 bitcoin,可以把它看成实时更新的矿池数据库。 如果想做矿池的话,必须把钱包数据下到本地,而且后台进程要一直开着更新数据。还需要给钱包加密。 2. 安装配置钱包 1) 安装 1$ apt-get install bitcoind 2) 修改配置文件 12345678$ vi bitcoin.conf # 内容如下rpcuser=abcrpcpassword=123server=1rpcallowip=127.0.0.1addnode=14.111.41.235addnode=180.109.106.68addnode=119.129.41.15 注意,这里的 user 和 password 是 RPC 的用户名密码,它和钱包地址没关系,随便设什么都可以,只要和挖矿服务(如:p2pool 或 btcpool)设的一致即可。 3) 运行 i. 本机上执行 1$ bitcoin-qt ii. 服务端执行(远 ...
比特币挖矿——区块链技术
Created2017-10-25|2_Note0_Technic3_编程区块链
比特币挖矿——区块链技术 #区块链 1. 说明 区块链具有数据运行公开、不可篡改、可溯源、跨国际、去中心化的特点。因此越来越多地被应用在各个领域。区块链主要技术包括:分布式数据存储、点对点传输、共识机制、加密算法,将在下面一一介绍。 2. 点对点传输 点对点技术(peer-to-peer,简称 P2P)又称对等互联网络技术,它依赖网络中参与者的计算能力和带宽,而不是把依赖都聚集在较少的几台服务器上。最典型的应用就是电驴。在这里它提供了最底层的去中心化支持。 3. 分布式数据存储 先看看对区块链最直观的感觉:当第一次运行比特币钱包时,会下载很多数据,2017 年 10 月有 150G 左右,且还在不断增加。数据存储在 data/blocks 目录下,blk*.dat 这就是区块 block。 第一个问题是:为什么建矿池需要下载这么多数据?区块链本质上是一个去中心化的数据库,我们下载的是比特币所有数据所组成的数据库,因此很大。去中心化的数据库,数据并不是保存在某一个服务器上,而且在 P2P 的每个节点上都需要保存一份。对于中心化的数据库,数据库可能被宿主或者黑客篡改,因而可靠性变差。而去中 ...
比特币挖矿——介绍
Created2017-10-24|2_Note0_Technic3_编程区块链
比特币挖矿——入门 #区块链 说比特币之前,先来说说虚拟货币,以及虚拟币的价值。比如说,百度文库文下载章需要付点数,自己上传文件被别人下载可以得到点数,点数就是虚拟货币,如果没有点数,又能想下文档,可以用钱兑换,这就是虚拟货币与真实货币的关系。至于一个点数研究值多少钱,又怎么给一篇文档定价,一般会借鉴类似资源的定价,使用的人多了,虚拟货币的价值也逐渐趋于稳定。 比特币是最流行的虚拟货币,它是基于 P2P 的数字货币,在互联网的某处,每 10 分钟产生 13 个币,至于新产生的币归谁,就看谁挖到了(也就是挖矿,具体算法后面说明)。一般大家最大的疑问是:算法产生的一串数就能对应真金白银吗?来看看货币的价值:钱是一张纸,印这张纸花多少钱是它的自然属性,它能当多少钱花是它的社会属性,我们更关注它能当多少钱花。钱的使用价值是以发行方的信用作担保的,也就是说有国家在,就不用担心你的钱明天变成废纸。那谁给比特币谁作担保呢?上学的时候学:说一个事物,要么是主观的,要么是客观的,现在说,介于主观和客观之间叫互为主体 (intersubjective),即:相信的人多了,它就存在了。随着比特币越来越多的被 ...
Python股票处理之八_大数定律
Created2017-07-31|2_Note0_Technic3_编程Python股票
Python 股票处理之八 _ 大数定律 1. 引子 有一天,我看见一个预测日涨跌的程序,成功率在百分之七十几,于是分享给 X 同学。结果人家说“70% 多,这准确率高么?瞎蒙的准确率也有 50%” 这准确率高么?只靠对技术形态的判断,好像也还行吧?如果有 70% 的正确率,到底怎么做赢的机会比较大?达到多少百分比,才能够满意? 看《程序员的数学 2:概率统计》中有一道类似的习题:设结果甲出现概率为 0.7,结果乙出现概述为 0.3,且不论甲还是乙,只要猜中,就能获得下注同等的金额,猜不中则输掉赌资。显然选择甲是明智的做法。假设你每天都会参与这场赌博,你会将占总资产比例 p 的金额投给甲,p 在整个过程中保持不变,请问应该如何设定 p 值?(我把该题简化了,大概是这个意思) 如果只考虑一天,显然把所有资产都投给甲p=1是最佳选择,然而不断重复赌局时,总会出现没有中奖而失去所有财产的情况。下面写一个程序模拟这个赌局: 2.程序 12345678910111213141516171819202122232425262728293031323334353637# -*- coding: ut ...
Python数据分析常用工具
Created2017-07-21|2_Note0_Technic2_算法3_数据数据分析
Python 数据分析常用工具 1.Numpy: 科学计算基础包, 提供矩阵数据类型、矢量处理,以及精密的运算库。 1$ pip install numpy 2.Pandas: 基于 Numpy,最初被作为金融数据分析工具而开发出来,一般用于处理结构化数据。 1$ pip install pandas 3.Matplotlib: 绘制数据图表 1$ pip install matplotlib 4.Seaborn: 在 Matplotlib 的基础上进行了更高级的 API 封装,从而使得作图更加容易。 1$ pip install seaborn 5.IPython: Python 的交互式 shell,比默认的 python shell 好用,支持变量自动补全,自动缩进,支持 bash shell 命令,内置了许多很有用的功能和函数。 1$ sudo apt-get install ipython 6.Scipy: 科学计算中标准问题,包括统计,优化,整合,线性代数模块,傅里叶变换,信号和图像处理,常微分方程求解器等等. 1$ pip install scipy
1…656667…83
avatar
Yan.xie
顺流而下还是逆流而上?
Articles
829
Tags
252
Categories
168
Follow Me
Announcement
This is my Blog
Recent Post
对谈_250610_抑郁2_少年的困境2025-07-07
对谈_250610_抑郁3_边缘叛逃者2025-07-07
对谈_250616_抑郁4_不合适的目标2025-07-07
对谈_250618_抑郁5_反刍2025-07-07
对谈_250530_钻空子2025-07-07
Categories
  • 0_IMO76
    • 工作1
    • 说给一个人听75
      • 01_自我建构29
        • 实修3
        • 思考与觉悟14
        • 行动与进化12
      • 02_情绪心理16
Tags
深度学习/扩散模型 知识管理 关系 禅宗 抑郁 健康 图形图像 关系反转 宗教 视频生成 驱动 开源项目 模型增强 大型语言模型 区块链 数学 社会学 移动开发 自然语言处理/BERT 语音 自我表达 技巧 价值观 技术 深度学习/工具 阅读心理学 深度学习/知识蒸馏 哲学 主题笔记 代码模型 心理建设 权力结构 编程语言/Java 后端测试 主观能动性 AI功能 算法实战 自然语言处理 代码生成 无代码开发
Archives
  • July 202520
  • June 202539
  • May 202530
  • April 202516
  • March 202512
  • February 20252
  • January 20256
  • December 20242
Info
Article :
829
Total Count :
1147.7k
UV :
PV :
Last Push :
©2020 - 2025 By Yan.xie
Framework Hexo|Theme Butterfly
京公网安备11010802043346号
京ICP备2023029600号-1
Search
Loading the Database