热搜关键词: 电池管理SLAM电力拖动计算机视觉

下载中心>文集> AI人工智能开发基础:Python实战

AI人工智能开发基础:Python实战

Python在人工智能领域的应用非常广泛,包括机器学习、深度学习、自然语言处理、计算机视觉等。如果你正在打算通过Python进行实战学习,不妨了解一下本文集推荐资源,这些资源可以帮助你系统地学习Python在人工智能领域的应用,掌握实战技能。

下载:1653 评论

AI人工智能开发基础:Python实战 文档列表

pdf
利用python进行数据分析-第二版
标签:python
积分:1 类型:技术文档上传者:太白金星上传时间:2021-05-30
简介:本书由pandas项目创始人Wes McKinney亲笔撰写,详细介绍利用Python进行操作、处理、清洗和规整数据等方面的具体细节和基本要点。第2版针对Python 3.6进行全面修订和更新,涵盖新版的pandas、NumPy、IPython和Jupyter,并增加大量实际案例,可以帮助你高效解决一系列数据分析问题。 第2版中的主要更新包括: • 所有的代码,包括把Python的教程更新到了Python 3.6版本(第1版中使用的是Python 2.7) • 更新了Python第三方发布版Anaconda和其他所需Python包的安装指引 • 更新pandas库到2017年的新版 • 新增一章,关于更多高级pandas工具和一些使用提示 • 新增statsmodels和scikit-learn的简明使用介绍
pdf
Python数据可视化编程实战
标签:python
积分:1 类型:应用文档上传者:huayongbin上传时间:2020-07-24
简介:Python数据可视化编程实战
pdf
Python人工智能原理、实践及应用
标签:python人工智能
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-04-02
简介:本书巧妙地将Python语言与人工智能知识结合在一起进行编排,使读者既能全面学习Python编程语言,又能系统了解人工智能基本原理并深入掌握人工智能*是新一代人工智能关键技术,同时配有丰富的教学案例和前沿热点应用,每一个知识点都有对应Python语言实现。 全书共分为9章。第壹章主要讲解人工智能的发展历史、驱动因素以及关键技术等。第2章为Python编程语言,系统介绍Python的语法规则、数据类型、程序结构及文件操作和图形化编程等。第3章为概率统计基础,是人工智能的理论基础。第4章为*y化方法,解释人工智能算法本质问题。第5章深度学习与神经网络是本书的重点章节,该章对当前基于深度学习的多层神经网络,如卷积神经网络、递归/循环神经网络、长短期记忆神经网络等进行全面、深入的讲解。第6章TensorFlow深度学习,重点介绍深度学习开源框架TensorFlow的使用方法及如何利用TensorFlow开发和部署各种深度学习模型。第7章数据采集与数据集制作,详细介绍如何通过网络爬虫等方法从互联网上搜集数据并制作成数据集。第8章详细阐述如何利用GPU并行计算设备和CUDA编程来加速人工智能深度学习的模型训练。第9章精心挑选了7个人工智能实验案例,包括数据智能分析、视频图像智能理解、自然语言处理等各个方面,从简到难,可以作本书配套的实验教学内容。 本书可作为人工智能、计算机、电子信息、智能科学与技术、数据科学与大数据、机器人工程等专业的高年级本科生以及研究生的学习用书,也可作为从事人工智能研究与开发的科研人员、工程技术人员及智能应用爱好者的参考书籍。 1章概述 1.1引言 1.2人工智能的概念与定义 1.3人工智能三大学派 1.3.1符号主义学派 1.3.2连接主义学派 1.3.3行为主义学派 1.4人工智能起源与发展 1.5新一代人工智能的驱动因素 1.5.1数据量*发性增长 1.5.2计算能力大幅提升 1.5.3深度学习等算法发展 1.5.4移动AI创新应用牵引 1.6人工智能关键技术 1.6.1机器学习与深度学习 1.6.2知识图谱 1.6.3自然语言处理 1.6.4人机交互 1.6.5计算机视觉 1.6.6生物特征识别 1.6.7SLAM技术 1.6.8VR/AR/MR技术 本章小结 课后思考题 第2章Python 编程语言 2.1Python简介 2.1.1Python语言的发展 2.1.2Python开发环境的安装 2.1.3Python运行 2.2Python基本语法与数据类型 2.2.1用程序实现问题求解 2.2.2Python程序语法元素 2.2.3常用函数 2.2.4Python基本数据类型 2.2.5Python组合数据类型 2.3Python程序结构 2.3.1分支结构 2.3.2循环结构 2.3.3循环保留字 2.3.4异常处理 2.4Python函数与模块化编程 2.4.1函数的基本使用 2.4.2参数的传递 2.4.3函数的返回值 2.4.4变量的作用域 2.4.5匿名函数 2.4.6函数应用 2.4.7代码复用与模块化编程 2.5Python面向对象编程 2.5.1类的定义与使用 2.5.2属性和方法 2.5.3继承 2.6Python文件操作与图形化编程 2.6.1文件的基本操作 2.6.2图形化界面tkinter 2.6.3单词练习系统 本章小结 课后思考题 第3章概率统计基础 3.1概率论 3.1.1概率与条件概率 3.1.2随机变量 3.1.3离散随机变量分布Python实验 3.1.4连续随机变量分布Python实验 3.2数理统计基础 3.2.1总体和样本 3.2.2统计量与抽样分布 3.2.3大数定律与中心极限定理 3.3参数估计 3.3.1点估计 3.3.2评价估计量的标准 3.3.3区间估计 本章小结 课后思考题 第4章*优化方法 4.1*优化方法基础 4.1.1*优化问题数学模型 4.1.2*优化问题的分类及应用案例 4.1.3数学基础 4.2凸优化 4.2.1凸集 4.2.2凸函数 4.2.3凸优化概念 4.2.4Python举例 4.3*小二乘法 4.3.1*小二乘法原理 4.3.2Python举例 4.4梯度下降法 4.4.1梯度下降思想 4.4.2梯度下降法算法步骤 4.4.3梯度算法分类 4.4.4Python举例 4.5牛顿法 4.5.1牛顿法的基本原理 4.5.2牛顿法的步骤 4.5.3牛顿法求解无约束优化问题 4.5.4Python举例 4.6共轭梯度法 4.6.1共轭方向 4.6.2共轭梯度法基本原理 4.6.3共轭梯度法迭代步骤 4.6.4Python举例 本章小结 课后思考题 第5章深度学习与神经网络 5.1深度学习 5.1.1深度学习概念 5.1.2深度学习原理 5.1.3深度学习训练 5.2人工神经网络基础 5.2.1神经元感知器 5.2.2神经网络模型 5.2.3学习方式 5.2.4学习规则 5.2.5激活函数 5.2.6梯度下降法 5.2.7交叉熵损失函数 5.2.8过拟合与欠拟合 5.3卷积神经网络 5.3.1卷积神经网络简介 5.3.2卷积神经网络结构 5.3.3卷积神经网络计算 5.3.4典型卷积神经网络 5.4循环神经网络 5.4.1循环神经网络简介 5.4.2循环神经网络结构 5.4.3循环神经网络计算 5.5长短时记忆网络 5.5.1长短时记忆网络简介 5.5.2长短时记忆网络结构 5.5.3长短时记忆网络计算 本章小结 课后思考题 第6章TensorFlow深度学习 6.1引言 6.2TensorFlow技术特点 6.3TensorFlow组件结构 6.4TensorFlow编程基础 6.4.1TensorFlow程序结构 6.4.2TensorFlow编程模型 6.4.3TensorFlow常用API 6.4.4TensorFlow变量作用域 6.4.5TensorFlow批标准化 6.5TensorFlow神经网络模型构建 6.5.1神经元函数及优化方法 6.5.2卷积函数 6.5.3池化函数 6.5.4分类函数 6.5.5优化方法 6.6TensorFlow运行环境安装 6.6.1Python安装 6.6.2pip工具安装 6.6.3Sublime安装 6.7TensorFlow深度学习模型构建 6.7.1生成拟合数据集 6.7.2构建线性回归模型数据流图 6.7.3在Session中运行已构建的数据流图 6.7.4输出拟合的线性回归模型 6.7.5TensorBoard神经网络数据流图可视化 本章小结 课后思考题 第7章数据采集与数据集制作 7.1引言 7.2Python数据采集 7.2.1Web机制和爬虫原理 7.2.2Python第三方库 7.2.3爬虫三大库 7.2.4正则表达式 7.2.5使用API 7.2.6爬虫进阶 7.3训练数据集制作 7.3.1数据存取 7.3.2数据清洗 7.4数据采集与数据集制作示例 本章小结 课后思考题 第8章GPU并行计算与CUDA编程 8.1引言 8.2GPU通用计算 8.2.1冯·诺依曼体系架构 8.2.2GPU发展简介 8.2.3早期的GPGPU编程 8.2.4NVIDIA和CUDA 8.3CUDA 8.3.1GPU硬件 8.3.2CPU与GPU 8.3.3GPU的计算能力 8.3.4CUDA软件架构 8.3.5CUDA硬件框架 8.3.6CUDA编程模型 8.3.7深度学习与GPU加速度计算 8.3.8深度学习下CUDA环境搭建 8.4CUDA加速深度学习的案例 8.4.1CUDA在TensorFlow框架里的应用 8.4.2CUDA在PyTorch框架里的应用 本章小结 课后思考题 第9章Python人工智能实验 9.1曲线拟合实验 9.1.1实验内容 9.1.2实验步骤 9.2泰坦尼克号乘客死亡概率预测 9.2.1实验内容 9.2.2实验步骤 9.3股票预测 9.3.1实验内容 9.3.2实验步骤 9.4车牌识别 9.4.1实验内容 9.4.2实验步骤 9.5佩戴口罩识别 9.5.1实验内容 9.5.2实验步骤 9.6自动作诗实验 9.6.1实验内容 9.6.2实验步骤 9.7聊天机器人实验 9.7.1实验内容 9.7.2实验步骤 本章小结 课后思考题
pdf
Python项目案例开发从入门到实战:爬虫、游戏和机器学习
标签:python爬虫机器学习
积分:1 类型:技术文档上传者:sigma上传时间:2022-06-28
简介:本书以Python 3.5为编程环境,从基本的程序设计思想入手,逐步展开Python语言教学,是一本面向广大编程学习者的程序设计类图书。本书以案例带动知识点的讲解,将Python知识点分解到各个不同的案例,每个案例各有侧重点,同时展示实际项目的设计思想和设计理念,使读者可以举一反三。  本书案例具有实用性,例如校园网搜索引擎、小小翻译器、抓取百度图片这些爬虫案例略加修改可以应用到实际项目中;还有通过微信通信协议开发微信机器人、机器学习的文本分类、基于卷积神经网络的手写体识别等案例;另外是一些大家耳熟能详的游戏案例,例如连连看、推箱子、中国象棋、网络五子棋、两人麻将、人物拼图和飞机大战等游戏。通过本书,读者将掌握Python编程技术和技巧,学会面向对象的设计方法,了解程序设计的所有相关内容。 第1章 Python基础知识 1 1.1 Python语言简介 1 1.2 Python语法基础 2 1.2.1 Python数据类型 2 1.2.2 序列数据结构 4 1.2.3 Python控制语句 12 1.2.4 Python函数与模块 18 1.3 Python面向对象设计 22 1.3.1 定义和使用类 22 1.3.2 构造函数 23 1.3.3 析构函数 24 1.3.4 实例属性和类属性 24 1.3.5 私有成员与公有成员 25 1.3.6 方法 26 1.3.7 类的继承 27 1.3.8 多态 29 1.3.9 面向对象应用案例——扑克牌发牌程序 31 1.4 Python图形界面设计 34 1.4.1 创建Windows窗口 35 1.4.2 几何布局管理器 35 1.4.3 Tkinter组件 39 1.4.4 Tkinter字体 49 1.4.5 Python事件处理 51 1.4.6 图形界面设计应用案例——开发猜数字游戏 55 1.5 Python文件的使用 57 1.5.1 打开/建立文件 57 1.5.2 读取文本文件 59 1.5.3 写文本文件 60 1.5.4 文件内移动 62 1.5.5 文件的关闭 63 1.5.6 二进制文件的读/写 64 1.6 Python的第三方库 66
pdf
python项目开发案例集锦
标签:python汽车电子
积分:1 类型:技术文档上传者:sigma上传时间:2022-01-09
简介:《Python 项目开发案例集锦》 一书从入门学习者的角度出发,开发了 8 个开发方向、23 个项目,循序渐进地让读者在实践中学习,在实践中提升实际开发能力。全书共分 8 篇:控制台程序、小游戏、实用小工具、网络爬虫、数据分析、人工智能、Web 网站和微信 / 小程序,内容包括:学生信息管理系统、企业编码生成系统、简易五子棋游戏(控制台版)、玛丽冒险、彩图版飞机大战、DIY 字符画、画板工具、Word 助手、图片批量处理器、RCQ 读者书库、火车票分析助手、高德地图 58 租房、开心麻花影视作品分析、Excel 数据分析师、智能停车场车牌识别计费系统、AI 智能联系人管理系统、51 商城、BBS 问答社区、甜橙音乐网、智慧校园测评系统、看图猜成语小程序、今天吃什么小程序、微信机器人。本书不仅会带您畅游于 Python 开发的精彩世界,启迪编程思维,更能让您领略 Python迷人的开发魅力!为方便读者学习,明日学院网站(www.mingrisoft.com)提供了本书配套的配套资源,在云盘资源包中也给出了项目的源码及相关资源,读者可以选择任意一种方式下载自己需要的资源;同时,登录明日学院网站还可以获取更多学习资源和技术支持。
pdf
Python硬件编程实战
标签:python
积分:1 类型:技术文档上传者:sigma上传时间:2022-05-26
简介:本土作者力作,应用驱动、接地气的Python速成攻略。 软硬件相结合,第一本基于开源硬件讲解Python的实用指南。 基于pcDuino的开发实例、完整的项目文件和源代码,可操作性极强。 《Python硬件编程实战》主要针对计算机基础比较薄弱的Python语言初学者,力图使用通俗易懂和深入浅出的语言风格阐述Python的基本概念。在对Python建立基本概念的前提下,循序渐进地引导读者学习Python版本的选择、不同平台下Python开发环境的搭建、Python基本的语法,并最终使读者可以利用Python实现一些简单的应用开发。 《Python硬件编程实战》主要适用于没有Python基础的初学者,包括但不限于具有硬件背景的工程师、非计算机专业的读者、Python业余爱好者和学生等。 前言 第1章 Python简介 / 1 1.1 Python是什么 / 1 1.2 对Python的四种定义 / 1 1.2.1 一种脚本语言 / 1 1.2.2 一种解释型语言 / 3 1.2.3 一种高级语言 / 3 1.2.4 一种面向对象的语言 / 4 1.3 Python的特点 / 5 1.3.1 作为脚本语言的优缺点 / 5 1.3.2 Python自身的特点 / 7 1.4 Python的应用 / 9 1.4.1 Python能干什么 / 10 1.4.2 Python更适合做些什么 / 10 1.4.3 你能用Python干什么 / 12 1.5 Python的必备常识 / 13 1.5.1 Python文件的后缀 / 13 1.5.2 Python的缩写和简称 / 13 1.5.3 Python的官网 / 13 1.5.4 Python的Logo / 13 第2章 下载并安装Python / 14 2.1 因Python版本不合适而导致的常见问题 / 14 2.2 Python的两大版本 / 15 2.2.1 Python版本历史 / 15 2.2.2 Python 2和Python 3之间的区别 / 16 2.3 如何选择合适的版本 / 20 2.3.1 选择Python 2还是Python 3 / 21 2.3.2 选择Python是32位还是64位 / 21 2.4 常见软件的发布格式 / 23 2.4.1 源码格式 / 23 2.4.2 二进制格式 / 25 2.5 下载合适的Python安装包 / 26 2.5.1 Python提供了哪些形式 / 26 2.5.2 选择更稳定、更快速的国内下载源 / 29 2.6 如何在Windows系统中安装Python / 29 2.6.1 在Windows 7中安装Python / 29 2.6.2 在Windows中安装Python后的常见问题 / 35 2.7 在Linux系统中安装Python / 36 2.7.1 在Ubuntu中安装Python / 36 2.7.2 为何不推荐初学者在Ubuntu中安装Python / 37 2.8 在Mac中安装Python / 38 第3章 选择合适的Python开发环境 / 39 3.1 不同平台下开发Python时共用的东西 / 39 3.2 不同平台下开发Python时的共同特点 / 40 3.2.1 Python最原始的开发方式 / 41 3.2.2 利用Python的shell进行交互式开发 / 41 3.2.3 利用Python的IDE进行开发 / 43 3.3 Python的IDE / 44 3.3.1 Python的IDE和编辑器、终端等的关系 / 44 3.3.2 Python的常见IDE / 46 3.3.3 Python IDE常见问题及解答 / 62 3.4 在Windows环境下进行Python开发 / 65 3.4.1 最原始的Python开发方式 / 65 3.4.2 用Python的shell进行交互式开发 / 72 3.4.3 用Python的IDE进行开发 / 79 3.5 在Linux环境下进行Python开发 / 79 3.5.1 Python最原始的开发方式 / 80 3.5.2 用Python的shell进行交互式开发 / 82 3.5.3 用Python的IDE进行开发 / 83 3.6 在Mac环境下进行Python开发 / 83 3.6.1 Python最原始的开发方式 / 83 3.6.2 用Python的shell进行交互式开发 / 86 3.6.3 用Python的IDE进行开发 / 86 3.7 究竟应选用哪种环境开发Python / 87 第4章 Python的基础知识 / 89 4.1 SheBang和Python文件编码声明 / 89 4.1.1 #!/usr/bin/python / 89 4.1.2 Python文件编码声明 / 89 4.2 Python中的缩进 / 92 4.2.1 其他语言的缩进只影响代码的美观 / 92 4.2.2 Python的缩进会影响代码的逻辑 / 93 4.3 Python中__name__和__main__的含义 / 98 4.3.1 __name__详解 / 98 4.3.2 __main__详解 / 99 4.3.3 __name__和__main__搭配使用的目的 / 99 4.4 Python中的面向对象编程 / 103 4.4.1 self和__init__的含义 / 103 4.4.2 初学者不要从最开始就太关注面向对象 / 109 4.5 Python中的变量 / 109 4.5.1 基本变量的声明和定义 / 109 4.5.2 变量的作用域 / 112 4.6 Python中的分支结构 / 115 4.7 Python中的函数 / 116 第5章 一些有趣的Python小实验 / 118 5.1 用Python查看系统平台信息 / 118 5.2 Python处理谐波和信号变换 / 119 5.3 更多有用且有趣的Python语法 / 123 5.3.1 Python中交换不同的变量值 / 124 5.3.2 Python中集合类的变量的切片 / 124 5.3.3 Python中的for循环和枚举器 / 125 5.3.4 Python中的条件性赋值 / 126 第6章 常见Python应用实例 / 127 6.1 Python在网络方面的应用 / 127 6.2 Python在图形界面方面的应用 / 132 6.2.1 Python的常见GUI图形库 / 132 6.2.2 Python的GUI图形库:PyQt / 132 6.3 Python在数据库方面的应用 / 136 第7章 Python与开源硬件 / 141 7.1 Python和开源硬件之间的关系 / 141 7.2 pcDuino基础知识 / 141 7.2.1 什么是开源硬件 / 141 7.2.2 常见的开源硬件 / 142 7.2.3 为何选择pcDuino / 146 7.2.4 如何配置开源硬件pcDuino / 147 7.3 在开源硬件pcDuino上使用Python / 155 7.3.1 Web服务器 / 156 7.3.2 漏水监测 / 162 7.3.3 使用Z—Wave实现智能家居 / 166 附录A 如何利用Python的相关资源 / 174 附录B 如何继续深入学习Python / 181 附录C Python学习资料 / 182
pdf
从零开始学Python网络爬
标签:python
积分:1 类型:技术文档上传者:sigma上传时间:2022-03-12
简介:Python是数据分析的首选语言,而网络中的数据和信息很多,如何从中获取需要的数据和信息呢?最简单、直接的方法就是用爬虫技术来解决。《从零开始学Python网络爬虫》是一本教初学者学习如何爬取网络数据和信息的入门读物。书中不仅有Python的相关内容,而且还有数据处理和数据挖掘等方面的内容。本书内容非常实用,讲解时穿插了22个爬虫实战案例,可以大大提高读者的实际动手能力。 本书共分12章,核心主题包括Python零基础语法入门、爬虫原理和网页构造、我的第一个爬虫程序、正则表达式、Lxml库与Xpath语法、使用API、数据库存储、多进程爬虫、异步加载、表单交互与模拟登录、Selenium模拟浏览器、Scrapy爬虫框架。此外,书中通过一些典型爬虫案例,讲解了有经纬信息的地图图表和词云的制作方法,让读者体验数据背后的乐趣。 本书适合爬虫技术初学者、爱好者及高等院校的相关学生,也适合数据爬虫工程师作为参考读物,同时也适合各大Python数据分析的培训机构作为教材使用 第1章 Python零基础语法入门 1 第2章 爬虫原理和网页构造 17 第3章 我的第一个爬虫程序 26 第4章 正则表达式 45 第5章 Lxml库与Xpath语法 63 第6章 使用API 88 第7章 数据库存储 109 第8章 多进程爬虫 139 第9章 异步加载 159 第10章 表单交互与模拟登录 182 第11章 Selenium模拟浏览器 209 第12章 Scrapy爬虫框架 229
pdf
Python3网络爬虫数据采集
标签:python
积分:1 类型:应用文档上传者:太白金星上传时间:2021-05-30
简介:本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第一部分重点介绍网络数据采集的基本原理:如何用Python从网络服务器请求信息,如何对服务器的响应进行基本处理,以及如何以自动化手段与网站进行交互。第二部分介绍如何用网络爬虫测试网站,自动化处理,以及如何通过更多的方式接入网络。
pdf
Python机器学习及实践:从零开始通往Kaggle竞赛之路
标签:pythonkaggle机器学习数据挖掘
积分:1 类型:技术文档上传者:sigma上传时间:2020-08-30
简介:《Python机器学习及实践:从零开始通往Kaggle竞赛之路》作者:范淼 / 李超,2016年出版。 Python机器学习及实践面向所有对机器学习与数据挖掘的实践及竞赛感兴趣的读者,从零开始,以Python编程语言为基础,在不涉及大量数学模型与复杂编程知识的前提下,逐步带领读者熟悉并且掌握当下流行的机器学习、数据挖掘与自然语言处理工具,如Scikit-learn、NLTK、Pandas、gensim、XGBoost、Google Tensorflow等。 全书共分4章。第1章简介篇,介绍机器学习概念与Python编程知识;第2章基础篇,讲述如何使用Scikit-learn作为基础机器学习工具;第3章进阶篇,涉及怎样借助高级技术或者模型进一步提升既有机器学习系统的性能;第4章竞赛篇,以Kaggle平台为对象,帮助读者一步步使用本书介绍过的模型和技巧,完成三项具有代表性的竞赛任务。 Python机器学习及实践 目录 第1章 简介篇 第2章 基础篇 第3章 进阶篇 第4章 实战篇
pdf
Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现
标签:AI机器学习python神经网络决策树
积分:1 类型:技术文档上传者:sigma上传时间:2022-06-28
简介:Python与机器学习这一话题是如此的宽广,仅靠一本书自然不可能涵盖到方方面面,甚至即使出一个系列也难能做到这点。单就机器学习而言,其领域就包括但不限于如下:有监督学习(Supervised Learning),无监督学习(Unsupervised Learning)和半监督学习(Semi-Supervised Learning)。而具体的问题又大致可以分两类:分类问题(Classification)和回归问题(Regression)。Python本身带有许多机器学习的第三方库,但《Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现》在绝大多数情况下只会用到Numpy这个基础的科学计算库来进行算法代码的实现。这样做的目的是希望读者能够从实现的过程中更好地理解机器学习算法的细节,以及了解Numpy的各种应用。不过作为补充,《Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现》会在适当的时候应用scikit-learn这个成熟的第三方库中的模型。《Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现》适用于想了解传统机器学习算法的学生和从业者,想知道如何高效实现机器的算法的程序员,以及想了解机器学习的算法能如何进行应用的职员、经理等。 目录 第1章 Python与机器学习入门 1 1.1 机器学习绪论 1 1.1.1 什么是机器学习 2 1.1.2 机器学习常用术语 3 1.1.3 机器学习的重要性 6 1.2 人生苦短,我用Python 7 1.2.1 为何选择Python 7 1.2.2 Python 在机器学习领域的优势 8 1.2.3 Anaconda的安装与使用 8 1.3 第一个机器学习样例 12 1.3.1 获取与处理数据 13 1.3.2 选择与训练模型 14 1.3.3 评估与可视化结果 15 1.4 本章小结 17 第2章 贝叶斯分类器 18 2.1 贝叶斯学派 18 2.1.1 贝叶斯学派与频率学派 19 2.1.2 贝叶斯决策论 19 2.2 参数估计 20 2.2.1 极大似然估计(ML估计) 21 2.2.2 极大后验概率估计(MAP估计) 22 2.3 朴素贝叶斯 23 2.3.1 算法陈述与基本架构的搭建 23 2.3.2 MultinomialNB的实现与评估 31 2.3.3 GaussianNB的实现与评估 40 2.3.4 MergedNB的实现与评估 43 2.3.5 算法的向量化 50 2.4 半朴素贝叶斯与贝叶斯网 53 2.4.1 半朴素贝叶斯 53 2.4.2 贝叶斯网 54 2.5 相关数学理论 55 2.5.1 贝叶斯公式与后验概率 55 2.5.2 离散型朴素贝叶斯算法 56 2.5.3 朴素贝叶斯和贝叶斯决策 58 2.6 本章小结 59 第3章 决策树 60 3.1 数据的信息 60 3.1.1 信息论简介 61 3.1.2 不确定性 61 3.1.3 信息的增益 65 3.1.4 决策树的生成 68 3.1.5 相关的实现 77 3.2 过拟合与剪枝 92 3.2.1 ID3、C4.5的剪枝算法 93 3.2.2 CART剪枝 100 3.3 评估与可视化 103 3.4 相关数学理论 111 3.5 本章小结 113 第4章 集成学习 114 4.1 “集成”的思想 114 4.1.1 众擎易举 115 4.1.2 Bagging与随机森林 115 4.1.3 PAC框架与Boosting 119 4.2 随机森林算法 120 4.3 AdaBoost算法 124 4.3.1 AdaBoost算法陈述 124 4.3.2 弱模型的选择 126 4.3.3 AdaBoost的实现 127 4.4 集成模型的性能分析 129 4.4.1 随机数据集上的表现 130 4.4.2 异或数据集上的表现 131 4.4.3 螺旋数据集上的表现 134 4.4.4 蘑菇数据集上的表现 136 4.5 AdaBoost算法的解释 138 4.6 相关数学理论 139 4.6.1 经验分布函数 139 4.6.2 AdaBoost与前向分步加法模型 140 4.7 本章小结 142 第5章 支持向量机 144 5.1 感知机模型 145 5.1.1 线性可分性与感知机策略 145 5.1.2 感知机算法 148 5.1.3 感知机算法的对偶形式 151 5.2 从感知机到支持向量机 153 5.2.1 间隔最大化与线性SVM 154 5.2.2 SVM算法的对偶形式 158 5.2.3 SVM的训练 161 5.3 从线性到非线性 163 5.3.1 核技巧简述 163 5.3.2 核技巧的应用 166 5.4 多分类与支持向量回归 180 5.4.1 一对多方法(One-vs-Rest) 180 5.4.2 一对一方法(One-vs-One) 181 5.4.3 有向无环图方法(Directed Acyclic Graph Method) 181 5.4.4 支持向量回归(Support Vector Regression) 182 5.5 相关数学理论 183 5.5.1 梯度下降法 183 5.5.2 拉格朗日对偶性 185 5.6 本章小结 187 第6章 神经网络 188 6.1 从感知机到多层感知机 189 6.2 前向传导算法 192 6.2.1 算法概述 193 6.2.2 激活函数(Activation Function) 195 6.2.3 损失函数(Cost Function) 199 6.3 反向传播算法 200 6.3.1 算法概述 200 6.3.2 损失函数的选择 202 6.3.3 相关实现 205 6.4 特殊的层结构 211 6.5 参数的更新 214 6.5.1 Vanilla Update 217 6.5.2 Momentum Update 217 6.5.3 Nesterov Momentum Update 219 6.5.4 RMSProp 220 6.5.5 Adam 221 6.5.6 Factory 222 6.6 朴素的网络结构 223 6.7 “大数据”下的网络结构 227 6.7.1 分批(Batch)的思想 228 6.7.2 交叉验证 230 6.7.3 进度条 231 6.7.4 计时器 233 6.8 相关数学理论 235 6.8.1 BP算法的推导 235 6.8.2 Softmax + log-likelihood组合 238 6.9 本章小结 240 第7章 卷积神经网络 241 7.1 从NN到CNN 242 7.1.1 “视野”的共享 242 7.1.2 前向传导算法 243 7.1.3 全连接层(Fully Connected Layer) 250 7.1.4 池化(Pooling) 251 7.2 利用TensorFlow重写NN 252 7.2.1 反向传播算法 252 7.2.2 重写Layer结构 253 7.2.3 实现SubLayer结构 255 7.2.4 重写CostLayer结构 261 7.2.5 重写网络结构 262 7.3 将NN扩展为CNN 263 7.3.1 实现卷积层 263 7.3.2 实现池化层 266 7.3.3 实现CNN中的特殊层结构 267 7.3.4 实现LayerFactory 268 7.3.5 扩展网络结构 270 7.4 CNN的性能 272 7.4.1 问题描述 272 7.4.2 搭建CNN模型 273 7.4.3 模型分析 280 7.4.4 应用CNN的方法 283 7.4.5 Inception 286 7.5 本章小结 289 附录A Python入门 290 附录B Numpy入门 303 附录C TensorFlow入门 310
pdf
Python 数据可视化之美 (张杰)
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-05-28
简介:本书主要介绍如何使用Python 中的matplotlib、Seaborn、plotnine、Basemap 等包绘制专业图表。本书首先介绍Python 语言编程的基础知识,以及NumPy 和Pandas 的数据操作方法;再对比介绍matplotlib、Seaborn 和plotnine 的图形语法。本书系统性地介绍了使用matplotlib、Seaborn 和plotnine 绘制类别对比型、数据关系型、时间序列型、整体局部型、地理空间型等常见的二维和三维图表的方法。另外,本书也介绍了商业图表与学术图表的规范与差异,以及如何使用matplotlib 绘制HTML 交互页面动画。 目录 第1 章 Python 编程基础 1 1.1 Python 基础知识 . 2 1.1.1 Python 3.7 的安装 . 2 1.1.2 包的安装与使用 . 3 1.1.3 Python 基础操作 . 4 1.2 6 种常用数据结构 5 1.2.1 列表 . 5 1.2.2 字典 . 6 1.2.3 元组 . 6 1.3 控制语句与函数编写 . 6 1.3.1 控制语句 . 6 1.3.2 函数编写 . 8 第2 章 数据处理基础 . 10 2.1 NumPy:数值运算 11 2.1.1 数组的创建 11 2.1.2 数组的索引与变换 . 12 2.1.3 数组的组合 . 13 2.1.4 数组的统计函数 . 14 2.2 Pandas:表格处理 15 2.2.1 Series 数据结构 . 15 2.2.2 数据结构:DataFrame 16 2.2.3 数据类型:Categorical . 18 2.2.4 表格的变换 . 19 2.2.5 变量的变换 . 20 2.2.6 表格的排序 . 20 2.2.7 表格的拼接 . 21 2.2.8 表格的融合 . 22 2.2.9 表格的分组操作 . 23 2.2.10 数据的导入与导出 . 26 2.2.11 缺失值的处理 . 28 第3 章 数据可视化基础 29 3.1 matplotlib . 33 3.1.1 图形对象与元素 . 33 3.1.2 常见图表类型 . 36 3.1.3 子图的绘制 . 38 3.1.4 坐标系的变换 . 41 3.1.5 图表的导出 . 44 3.2 Seaborn 44 3.2.1 常见图表类型 . 45 3.2.2 图表风格与颜色主题 . 46 3.2.3 图表的分面绘制 . 48 3.3 plotnine 50 3.3.1 geom_???()与stat_???() 51 3.3.2 美学参数映射 . 54 3.3.3 度量调整 . 58 3.3.4 坐标系及其度量 . 64 3.3.5 图例 . 69 3.3.6 主题系统 . 71 3.3.7 分面系统 . 73 3.3.8 位置调整 . 74 3.4 可视化色彩的运用原理 . 76 3.4.1 RGB 颜色模式 76 3.4.2 HSL 颜色模式 . 77 3.4.3 LUV 颜色模式 79 3.4.4 颜色主题的搭配原理 . 80 3.4.5 颜色主题方案的拾取使用 . 84 3.4.6 颜色主题的应用案例 . 87 3.5 图表的基本类型 . 91 3.5.1 类别比较 . 91 3.5.2 数据关系 . 92 3.5.3 数据分布 . 93 3.5.4 时间序列 . 94 3.5.5 局部整体 . 94 3.5.6 地理空间 . 95 第4 章 类别比较型图表 96 4.1 柱形图系列 . 97 4.1.1 单数据系列柱形图 . 98 4.1.2 多数据系列柱形图 . 100 4.1.3 堆积柱形图 . 101 4.1.4 百分比堆积柱形图 . 102 4.2 条形图系列 . 104 4.3 不等宽柱形图 . 105 4.4 克利夫兰点图 . 106 4.5 坡度图 . 108 4.6 南丁格尔玫瑰图 110 4.7 径向柱图 114 4.8 雷达图 117 4.9 词云图 119 第5 章 数据关系型图表 122 5.1 散点图系列 . 123 5.1.1 趋势显示的二维散点图 . 123 5.1.2 分布显示的二维散点图 . 131 5.1.3 气泡图 . 136 5.1.4 三维散点图 . 139 5.2 曲面拟合 . 142 5.3 等高线图 . 145 5.4 散点曲线图系列 . 147 5.5 瀑布图 . 149 5.6 相关系数图 . 156 第6 章 数据分布型图表 159 6.1 统计直方图和核密度估计图 . 161 6.1.1 统计直方图 . 161 6.1.2 核密度估计图 . 161 6.2 数据分布图表系列 . 165 6.2.1 散点数据分布图系列 . 166 6.2.2 柱形分布图系列 . 168 6.2.3 箱形图系列 . 169 6.2.4 小提琴图 . 175 6.3 二维统计直方图和核密度估计图 . 179 6.3.1 二维统计直方图 . 179 6.3.2 二维核密度估计图 . 180 第7 章 时间序列型图表 184 7.1 折线图与面积图系列 . 185 7.1.1 折线图 . 185 7.1.2 面积图 . 185 7.2 日历图 . 192 7.3 量化波形图 . 195 第8 章 局部整体型图表 199 8.1 饼状图系列 . 200 8.1.1 饼图 . 200 8.1.2 圆环图 . 202 8.2 马赛克图 . 203 8.3 华夫饼图 . 206 8.4 块状/点状柱形图系列 208 第9 章 高维数据型图表 213 9.1 高维数据的变换展示 . 215 9.1.1 主成分分析法 . 215 9.1.2 t-SNE 算法 217 9.2 分面图 . 218 9.3 矩阵散点图 . 221 9.4 热力图 . 224 9.5 平行坐标系图 . 227 9.6 RadViz 图 229 第10 章 地理空间型图表 231 10.1 不同级别的地图 . 232 10.1.1 世界地图 . 232 10.1.2 国家地图 . 238 10.2 分级统计地图 . 241 10.3 点描法地图 . 244 10.4 带柱形的地图 . 248 10.5 等位地图 . 250 10.6 点状地图 . 252 10.7 简化示意图 . 256 10.8 邮标法 . 260 第11 章 数据可视化案例 263 11.1 商业图表绘制示例 . 264 11.1.1 商业图表绘制基础 264 11.1.2 商业图表绘制案例① 269 11.1.3 商业图表绘制案例② 270 11.2 学术图表绘制示例 . 273 11.2.1 学术图表绘制基础 274 11.2.2 学术图表绘制案例 276 11.3 数据分析与可视化案例 . 278 11.3.1 示意地铁线路图的绘制 278 11.3.2 实际地铁线路图的绘制 280 11.3.3 地铁线路图的应用 281 11.4 动态数据可视化演示 . 286 11.4.1 动态条形图的制作 286 11.4.2 动态面积图的制作 291 11.4.3 三维柱形地图动画的制作 296 参考文献 . 301
pdf
Python程序设计 人工智能案例实践
标签:AIpython
积分:1 类型:技术文档上传者:sigma上传时间:2022-05-31
简介:本书面向的读者是具有其他高级程序设计语言编程知识的程序员,书中通过实操示例介绍当今非常引人注目的、先进的计算技术和Python编程。 通过学习本书提供的500多个实际示例,读者将学会使用交互式IPython解释器和Jupyter Notebook并快速掌握Python编码方法。在学习完第1~5章的Python基础知识以及第6和7章的一些关键内容之后,读者将能够处理第11~16章中有关人工智能案例的重要实操内容,包括自然语言处理,用于情感分析的Twitter数据挖掘,使用IBM Watson 的认知计算,利用分类和回归进行的有监督机器学习,通过聚类进行的无监督机器学习,基于深度学习和卷积神经网络的计算机视觉,基于递归神经网络的深度学习,基于Hadoop、Spark和NoSQL数据库的大数据处理,物联网等。读者还将直接或间接使用基于云的服务,如Twitter、Google Translate、IBM Watson、Microsoft Azure、OpenMapQuest、PubNub等。 审稿人评论 译者序 前言 作者简介 开始阅读本书之前 第一部分 Python基础知识快速入门 第1章 Python及大数据概述2 1.1 简介2 1.2 快速回顾面向对象技术的基础知识3 1.3 Python5 1.4 Python库7 1.4.1 Python标准库7 1.4.2 数据科学库8 1.5 试用IPython和Jupyter Notebook9 1.5.1 使用IPython交互模式作为计算器10 1.5.2 使用IPython 解释器执行Python程序11 1.5.3 在Jupyter Notebook中编写和执行代码12 1.6 云和物联网16 1.6.1 云16 1.6.2 物联网17 1.7 大数据有多大18 1.7.1 大数据分析22 1.7.2 数据科学和大数据正在带来改变:用例23 1.8 案例研究:大数据移动应用程序24 1.9 数据科学入门:人工智能——计算机科学与数据科学的交叉学科26 1.10 小结28 第2章 Python程序设计概述29 2.1 简介29 2.2 变量和赋值语句30 2.3 算术运算31 2.4 print函数、单引号和双引号34 2.5 三引号字符串36 2.6 从用户处获取输入37 2.7 决策:if语句和比较运算符39 2.8 对象和动态类型43 2.9 数据科学入门:基础的描述性统计44 2.10 小结46 第3章 控制语句48 3.1 简介48 3.2 控制语句概述49 3.3 if语句49 3.4 if...else和if...elif...else语句50 3.5 while语句53 3.6 for语句54 3.6.1 可迭代对象、列表和迭代器55 3.6.2 内置函数range55 3.7 增强赋值56 3.8 序列控制迭代和格式化字符串56 3.9 边界值控制的迭代57 3.10 内置函数range:深入讨论59 3.11 使用Decimal类型处理货币金额59 3.12 break和continue语句63 3.13 布尔运算符and、or和not63 3.14 数据科学入门:集中趋势度量—均值、中值和众数66 3.15 小结67 第4章 函数69 4.1 简介69 4.2 函数定义70 4.3 多参数函数72 4.4 随机数生成74 4.5 案例研究:一个运气游戏76 4.6 Python标准库79 4.7 math模块中的函数80 4.8 在IPython中使用制表符自动补全81 4.9 默认参数值82 4.10 关键字参数83 4.11 不定长参数列表83 4.12 方法:属于对象的函数84 4.13 作用域规则85 4.14 import:深入讨论87 4.15 向函数传递参数:深入讨论88 4.16 递归91 4.17 函数式编程93 4.18 数据科学入门:离中趋势度量95 4.19 小结96 第5章 序列:列表和元组97 5.1 简介97 5.2 列表98 5.3 元组102 5.4 序列解包104 5.5 序列切片106 5.6 使用del声明108 5.7 将列表传递给函数109 5.8 列表排序110 5.9 序列搜索111 5.10 列表的其他方法113 5.11 使用列表模拟堆栈115 5.12 列表推导式116 5.13 生成器表达式118 5.14 过滤、映射和归约118 5.15 其他的序列处理函数120 5.16 二维列表122 5.17 数据科学入门:模拟和静态可视化124 5.17.1 掷600、60,000、6,000,000次骰子的图例124 5.17.2 实现掷骰子中不同点数出现次数和百分比的可视化126 5.18 小结132 第二部分 Python数据结构、字符串和文件 第6章 字典和集合136 6.1 简介136 6.2 字典137 6.2.1 创建字典137 6.2.2 遍历字典138 6.2.3 基本的字典操作138 6.2.4 字典的keys和values方法140 6.2.5 字典的比较141 6.2.6 示例:学生成绩字典142 6.2.7 示例:单词计数143 6.2.8 字典的update方法144 6.2.9 字典推导式145 6.3 集合146 6.3.1 集合的比较147 6.3.2 集合的数学运算148 6.3.3 集合的可变运算符和方法150 6.3.4 集合推导式151 6.4 数据科学入门:动态可视化151 6.4.1 动态可视化的工作原理152 6.4.2 实现动态可视化154 6.5 小结156 第7章 使用NumPy进行面向数组的编程158 7.1 简介158 7.2 从现有数据创建数组159 7.3 数组属性160 7.4 用特定值填充数组162 7.5 从范围创建数组162 7.6 列表与数组的性能比较:引入%timeit164 7.7 数组运算符165 7.8 NumPy计算方法167 7.9 通用函数168 7.10 索引和切片170 7.11 视图:浅拷贝171 7.12 视图:深拷贝173 7.13 重塑和转置174 7.14 数据科学入门:pandas Series和DataFrame176 7.14.1 Series177 7.14.2 DataFrame181 7.15 小结188 第8章 字符串:深入讨论190 8.1 简介190 8.2 格式化字符串191 8.2.1 表示类型191 8.2.2 字段宽度和对齐方式193 8.2.3 数字格式化193 8.2.4 字符串的format方法194 8.3 拼接和重复字符串195 8.4 去除字符串中的空白字符196 8.5 字符大小写转换196 8.6 字符串的比较运算符197 8.7 查找子字符串197 8.8 替换子字符串199 8.9 字符串拆分和连接199 8.10 字符串测试方法201 8.11 原始字符串202 8.12 正则表达式介绍202 8.12.1 re模块与fullmatch函数203 8.12.2 替换子字符串和拆分字符串207 8.12.3 其他搜索功能、访问匹配207 8.13 数据科学入门:pandas、正则表达式和数据治理210 8.14 小结214 第9章 文件和异常215 9.1 简介215 9.2 文件216 9.3 文本文件处理217 9.3.1 向文本文件中写入数据:with语句的介绍217 9.3.2 从文本文件中读取数据218 9.4 更新文本文件220 9.5 使用JSON进行序列化221 9.6 关注安全:pickle序列化和反序列化224 9.7 关于文件的附加说明224 9.8 处理异常225 9.8.1 被零除和无效输入226 9.8.2 try语句226 9.8.3 在一条except子句中捕获多个异常229 9.8.4 一个函数或方法引发了什么异常229 9.8.5 try子句的语句序列中应该书写什么代码229 9.9 finally子句229 9.10 显式地引发一个异常231 9.11 (选学)堆栈展开和回溯232 9.12 数据科学入门:使用CSV文件234 9.12.1 Python标准库模块csv234 9.12.2 将CSV文件数据读入pandas DataFrame中236 9.12.3 读取泰坦尼克号灾难数据集237 9.12.4 用泰坦尼克号灾难数据集做简单的数据分析238 9.12.5 乘客年龄直方图239 9.13 小结240 第三部分 Python高级主题 第10章 面向对象编程242 10.1 简介242 10.2 自定义Account类244 10.2.1 试用Account类245 10.2.2 Account类的定义246 10.2.3 组合:对象引用作为类的成员248 10.3 属性访问控制248 10.4 用于数据访问的property249 10.4.1 试用Time类249 10.4.2 Time类的定义251 10.4.3 Time类定义的设计说明254 10.5 模拟“私有”属性255 10.6 案例研究:洗牌和分牌模拟257 10.6.1 试用Card类和DeckOfCards类257 10.6.2 Card类:引入类属性258 10.6.3 DeckOfCards类260 10.6.4 利用Matplotlib显示扑克牌图像262 10.7 继承:基类和子类265 10.8 构建继承层次结构:引入多态性267 10.8.1 基类CommissionEmployee267 10.8.2 子类SalariedCommission-Employee270 10.8.3 以多态方式处理Commission-Employee和SalariedComm-issionEmployee273 10.8.4 关于基于对象和面向对象编程的说明274 10.9 鸭子类型和多态性274 10.10 运算符重载276 10.10.1 试用Complex类277 10.10.2 Complex类的定义278 10.11 异常类层次结构和自定义异常279 10.12 具名元组280 10.13 Python 3.7的新数据类简介281 10.13.1 创建Card数据类282 10.13.2 使用Card数据类284 10.13.3 数据类相对于具名元组的优势286 10.13.4 数据类相对于传统类的优势286 10.14 使用文档字符串和doctest进行单元测试286 10.15 命名空间和作用域290 10.16 数据科学入门:时间序列和简单线性回归293 10.17 小结300 第四部分 人工智能、云和大数据案例研究 第11章 自然语言处理304 11.1 简介304 11.2 TextBlob305 11.2.1 创建一个TextBlob对象307 11.2.2 将文本标记为句子和单词307 11.2.3 词性标注308 11.2.4 提取名词短语309 11.2.5 使用TextBlob的默认情感分析器进行情感分析309 11.2.6 使用NaiveBayesAnalyzer进行情感分析310 11.2.7 语言检测与翻译311 11.2.8 变形:复数化和单数化312 11.2.9 拼写检查和拼写校正313 11.2.10 规范化:词干提取和词形还原314 11.2.11 词频314 11.2.12 从WordNet中获取单词定义、同义词和反义词315 11.2.13 删除停用词317 11.2.14 n元318 11.3 使用柱状图和词云可视化词频319 11.3.1 使用pandas可视化词频319 11.3.2 使用词云可视化词频321 11.4 使用Textatistic库进行可读性评估324 11.5 使用spaCy命名实体识别326 11.6 使用spaCy进行相似性检测327 11.7 其他NLP库和工具328 11.8 机器学习和深度学习自然语言应用328 11.9 自然语言数据集329 11.10 小结329 第12章 Twitter数据挖掘331 12.1 简介331 12.2 Twitter API概况333 12.3 创建一个Twitter账户334 12.4 获取Twitter凭据,创建应用程序334 12.5 什么是推文336 12.6 Tweepy339 12.7 通过Tweepy进行Twitter身份验证340 12.8 获取一个Twitter账户的相关信息341 12.9 Tweepy Cursor简介:获得一个账户的关注者和朋友343 12.9.1 确定一个账户的关注者343 12.9.2 确定一个账户的关注对象345 12.9.3 获取一个用户的最新推文345 12.10 搜索最新的推文346 12.11 热门话题发现:Twitter热门话题API348 12.11.1 有热门话题的地点348 12.11.2 获取热门话题列表349 12.11.3 根据热门话题创建词云351 12.12 推文分析前的清理或预处理352 12.13 Twitter流API353 12.13.1 创建StreamListener的子类353 12.13.2 启动流处理356 12.14 推文情感分析357 12.15 地理编码和映射361 12.15.1 获取和映射推文362 12.15.2 tweetutilities.py中的实用函数366 12.15.3 LocationListener类367 12.16 存储推文的方法368 12.17 Twitter和时间序列369 12.18 小结369 第13章 IBM Watson和认知计算370 13.1 简介370 13.2 IBM云账户和云控制台372 13.3 Watson服务372 13.4 额外的服务和工具375 13.5 Watson开发者云Python SDK377 13.6 案例研究:旅行者翻译伴侣APP377 13.6.1 准备工作378 13.6.2 运行APP379 13.6.3 SimpleLanguageTranslator.py脚本代码分析380 13.7 Watson资源390 13.8 小结391 第14章 机器学习:分类、回归和聚类392 14.1 简介392 14.1.1 scikit-learn393 14.1.2 机器学习的类别394 14.1.3 scikit-learn中内置的数据集396 14.1.4 典型的数据科学研究的步骤396 14.2 案例研究:用k近邻算法和Digits数据集进行分类(第1部分)397 14.2.1 k近邻算法398 14.2.2 加载数据集399 14.2.3 可视化数据402 14.2.4 拆分数据以进行训练和测试404 14.2.5 创建模型405 14.2.6 训练模型405 14.2.7 预测数字类别406 14.3 案例研究:利用k近邻算法和Digits数据集进行分类(第2部分)407 14.3.1 模型准确性指标407 14.3.2 k折交叉验证410 14.3.3 运行多个模型以找到最佳模型411 14.3.4 超参数调整413 14.4 案例研究:时间序列和简单线性回归413 14.5 案例研究:基于加利福尼亚房价数据集的多元线性回归418 14.5.1 加载数据集418 14.5.2 使用pandas探索数据420 14.5.3 可视化特征422 14.5.4 拆分数据以进行训练和测试426 14.5.5 训练模型426 14.5.6 测试模型427 14.5.7 可视化预测房价和期望房价427 14.5.8 回归模型指标428 14.5.9 选择最佳模型429 14.6 案例研究:无监督学习(第1部分)—降维430 14.7 案例研究:无监督学习(第2部分)—k均值聚类433 14.7.1 加载Iris数据集435 14.7.2 探索Iris数据集:使用pandas进行描述性统计436 14.7.3 使用Seaborn的pairplot可视化数据集438 14.7.4 使用KMeans估计器440 14.7.5 主成分分析降维442 14.7.6 选择最佳聚类估计器444 14.8 小结445 第15章 深度学习447 15.1 简介447 15.1.1 深度学习应用449 15.1.2 深度学习演示450 15.1.3 Keras资源450 15.2 Keras内置数据集450 15.3 自定义Anaconda环境451 15.4 神经网络452 15.5 张量454 15.6 用于视觉的卷积神经网络:使用MNIST数据集进行多分类455 15.6.1 加载MNIST数据集457 15.6.2 数据探索457 15.6.3 数据准备459 15.6.4 创建神经网络模型461 15.6.5 训练和评价模型468 15.6.6 保存和加载模型472 15.7 用TensorBoard可视化神经网络的训练过程473 15.8 ConvnetJS:基于浏览器的深度学习训练和可视化476 15.9 针对序列的递归神经网络:使用IMDb数据集进行情感分析477 15.9.1 加载IMDb影评数据集478 15.9.2 数据探索478 15.9.3 数据准备480 15.9.4 创建神经网络481 15.9.5 训练和评价模型483 15.10 调整深度学习模型484 15.11 在ImageNet上预训练的CNN模型485 15.12 小结486 第16章 大数据:Hadoop、Spark、NoSQL和IoT488 16.1 简介488 16.2 关系数据库和结构化查询语言492 16.2.1 books数据库493 16.2.2 SELECT查询497 16.2.3 WHERE子句497 16.2.4 ORDER BY子句498 16.2.5 从多个表中合并数据:INNER JOIN499 16.2.6 INSERT INTO语句500 16.2.7 UPDATE语句501 16.2.8 DELETE FROM语句502 16.3 NoSQL和NewSQL大数据数据库简述502 16.3.1 NoSQL键-值数据库503 16.3.2 NoSQL文档数据库503 16.3.3 NoSQL列式数据库504 16.3.4 NoSQL图数据库504 16.3.5 NewSQL数据库505 16.4 案例研究:MongoDB JSON文档数据库506 16.4.1 创建MongoDB Atlas集群506 16.4.2 将推文存入MongoDB中507 16.5 Hadoop515 16.5.1 概述516 16.5.2 通过MapReduce汇总Romeo-AndJuliet.txt中的单词长度518 16.5.3 在Microsoft Azure HDInsight中创建Apache Hadoop集群518 16.5.4 Hadoop流520 16.5.5 实现映射器520 16.5.6 实现归约器521 16.5.7 准备运行MapReduce示例522 16.5.8 运行MapReduce作业523 16.6 Spark525 16.6.1 概述525 16.6.2 Docker和Jupyter Docker堆栈526 16.6.3 使用Spark的单词计数529 16.6.4 Microsoft Azure上的Spark单词计数532 16.7 Spark流:使用pyspark-notebookDocker堆栈计算Twitter主题标签535 16.7.1 将推文流式传输到套接字535 16.7.2 总结推文主题标签,介绍Spark SQL538 16.8 物联网和仪表板543 16.8.1 发布和订阅545 16.8.2 使用Freeboard仪表板可视化PubNub示例实时流545 16.8.3 用Python模拟一个连接互联网的恒温器547 16.8.4 使用freeboard.io创建仪表板549 16.8.5 创建一个Python PubNub订阅服务器550 16.9 小结554 索引556
pdf
Python大数据分析算法与实例 (邓立国)
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-05-28
简介:大数据时代,大数据分析是关键技术。Python是一款优秀的大数据分析软件,本书以Python 3结合第三方开源工具进行大数据分析,以最小的代价编程实现数据的提取、处理、分析和可视化。 本书分为8章,首先介绍大数据分析的背景和行业应用,给出了数据特征算法分析;然后基于Python 3介绍常用典型第三方大数据分析工具的场景应用;最后比较翔实地阐述大数据分析算法与经典实例应用。 本书适合从事大数据分析的研究人员、计算机或数学等相关专业的从业者参考学习,也可以作为计算机或数学等专业本科高年级或研究生的专业用书。 第1章 大数据分析概述 1 1.1 大数据分析背景 1 1.2 大数据分析的应用 2 1.3 大数据分析算法 3 1.4 大数据分析工具 6 1.5 本章小结 9 第2章 数据特征算法分析 10 2.1 数据分布性分析 10 2.1.1 数据分布特征集中趋势的测定 10 2.1.2 数据分布特征离散程度的测定 15 2.1.3 数据分布特征偏态与峰度的测定 19 2.2 数据相关性分析 21 2.2.1 数据相关关系 21 2.2.2 数据相关分析的主要内容 24 2.2.3 相关关系的测定 24 2.3 数据聚类性分析 26 2.3.1 聚类分析定义 26 2.3.2 聚类类型 27 2.3.3 聚类应用 29 2.4 数据主成分分析 29 2.4.1 主成分分析的原理及模型 30 2.4.2 数据主成分分析的几何解释 31 2.4.3 数据主成分的导出 32 2.4.4 证明主成分的方差是依次递减的 34 2.4.5 数据主成分分析的计算 35 2.5 数据动态性分析 36 2.6 数据可视化 40 2.7 本章小结 42 第3章 大数据分析工具:NumPy 43 3.1 NumPy简介 43 3.2 NumPy环境安装配置 44 3.3 ndarray对象 45 3.4 数据类型 47 3.5 数组属性 49 3.6 数组创建例程 52 3.7 切片和索引 57 3.8 广播 60 3.9 数组操作与迭代 61 3.10 位操作与字符串函数 87 3.11 数学运算函数 91 3.12 算数运算 93 3.13 统计函数 97 3.14 排序、搜索和计数函数 101 3.15 字节交换 104 3.16 副本和视图 105 3.17 矩阵库 107 3.18 线性代数模块 109 3.19 Matplotlib库 112 3.20 Matplotlib 绘制直方图 114 3.21 IO文件操作 116 3.22 NumPy实例:GPS定位 117 3.23 本章小结 120 第4章 大数据分析工具:SciPy 121 4.1 SciPy简介 121 4.2 文件输入和输出:SciPy.io 122 4.3 特殊函数:SciPy.special 123 4.4 线性代数操作:SciPy.linalg 124 4.5 快速傅里叶变换:sipy.fftpack 124 4.6 优化器:SciPy.optimize 125 4.7 统计工具:SciPy.stats 126 4.8 SciPy实例 127 4.8.1 最小二乘拟合 127 4.8.2 函数最小值 128 4.9 本章小结 130 第5章 大数据分析工具:Matplotlib 131 5.1 初级绘制 131 5.2 图像、子区、子图、刻度 137 5.3 其他种类的绘图 140 5.4 本章小结 147 第6章 大数据分析工具:Pandas 148 6.1 Pandas系列 148 6.2 Pandas数据帧 151 6.3 Pandas面板 155 6.4 Pandas快速入门 158 6.5 本章小结 172 第7章 大数据分析工具:Statsmodels与Gensim 173 7.1 Statsmodels 173 7.1.1 Statsmodels统计数据库 173 7.1.2 Statsmodels典型的拟合模型概述 175 7.1.3 Statsmodels举例 176 7.2 Gensim 178 7.2.1 基本概念 178 7.2.2 训练语料的预处理 179 7.2.3 主题向量的变换 180 7.2.4 文档相似度的计算 181 7.3 本章小结 182 第8章 大数据分析算法与实例 183 8.1 描述统计 183 8.2 假设检验 188 8.3 信度分析 192 8.4 列联表分析 195 8.5 相关分析 196 8.6 方差分析 198 8.6.1 单因素方差分析 199 8.6.2 多因素方差分析 201 8.7 回归分析 203 8.8 聚类分析 207 8.9 判别分析 212 8.10 主成分分析 216 8.11 因子分析 218 8.12 时间序列分析 221 8.13 生存分析 224 8.14 典型相关分析 245 8.15 RoC分析 250 8.16 距离分析 255 8.17 对应分析 264 8.18 决策树分析 265 8.19 神经网络-深度学习 271 8.19.1 深度学习的基本模型 271 8.19.2 新闻分类实例 275 8.20 蒙特·卡罗模拟 280 8.20.1 蒙特·卡罗模拟基本模型 281 8.20.2 蒙特·卡罗模拟计算看涨期权实例 281 8.21 关联规则 287 8.21.1 关联规则的概念 288 8.21.2 Apriori算法及实例 289 8.21.3 FP树频集算法 292 8.22 Uplift Modeling 301 8.23 集成方法 306 8.24 异常检测 311 8.25 文本挖掘 315 8.26 Boosting算法(提升法和Gradient Boosting) 322 8.27 本章小结 325 参考文献 326
pdf
python学习文档
标签:python
积分:1 类型:技术文档上传者:394595753gu上传时间:2019-09-07
简介:python极客项目编程
none
Python核心技术与实战
标签:python
积分:1 类型:应用文档上传者:抛砖引玉上传时间:2023-08-17
简介:人工智能时代下,Python 毫无疑问是最热的编程语言。有人夸它功能强大还上手轻松,有人说它学习曲线不那么陡峭,但是更多的人,在推开 Python 的大门后却发现,Python 入门容易但精通却不易。 你是否也曾傻傻分不清“列表”“元组”“字典”“集合”等的用法,甚至试图在集合中采用索引方式? 你是否也曾苦苦钻研面向对象的理念,却在被要求设计一个稍复杂点的系统时束手无策? 你是否也曾羡慕别人能巧用装饰器、生成器等高级操作,可自己在写代码时,却连异常抛出、内存不足等边界条件都战战兢兢搞不定呢? 由此可见,想要精通这门语言,必须真正理解知识概念,比如适当从源码层面深化认知,然后熟悉实际的工程应用,独立完成项目开发。这样,你才能成为真正的语言高手。 在这个专栏里,景霄会从工程的角度,带你学习 Python。专栏基于 Python 最新的 3.7 版本,以语言知识结合工程应用为主线,其中包含了大量的独家解读和实际工作案例。内容难易兼顾,既可以带你巩固核心基础,更会教你各种高级进阶操作,让你循序渐进、系统掌握 Python 这门语言。 专栏按照进阶难度分为 4 个模块。 前两部分主要是Python 的基础篇和进阶篇。除去必要的概念、操作讲解,基础篇和进阶篇都着重强调了学习中的重难点和易错点,并从性能分析、实际应用举例等不同维度出发,让你轻松理解和掌握它们。 第三部分是规范篇,通过讲解合理分解代码、运用 assert、写单元测试等具体编程技巧,教你写出高质量的 Python 程序。 第四部分则是实战篇,这部分会通过量化交易系统项目的开发,带你串联起前面所学的 Python 知识,并加入大量的实战经验和技巧,让你在独立项目开发中获得质的提高。
pdf
Python项目案例开发从入门到实战——爬虫、游戏和机器学习
标签:python编程机器学习
积分:1 类型:技术文档上传者:liuguangjun196上传时间:2023-03-29
简介:《Python项目案例开发从入门到实战——爬虫、游戏和机器学习》2019年由清华大学出版社出版,本书以Python 3.5为编程环境,从基本的程序设计思想入手,逐步展开Python语言教学,是一本面向广大编程学习者的程序设计类图书。本书以案例带动知识点的讲解,将Python知识点分解到各个不同的案例,每个案例各有侧重点,同时展示实际项目的设计思想和设计理念,使读者可以举一反三。   本书案例具有实用性,例如校园网搜索引擎、小小翻译器、抓取百度图片这些爬虫案例略加修改可以应用到实际项目中;还有通过微信通信协议开发微信机器人、机器学习的文本分类、基于卷积神经网络的手写体识别等案例;另外是一些大家耳熟能详的游戏案例,例如连连看、推箱子、中国象棋、网络五子棋、两人麻将、人物拼图和飞机大战等游戏。通过本书,读者将掌握Python编程技术和技巧,学会面向对象的设计方法,了解程序设计的所有相关内容。 本书目录如下: 第1章 Python基础知识 1 1.1 Python语言简介 1 1.2 Python语法基础 2 1.2.1 Python数据类型 2 1.2.2 序列数据结构 4 1.2.3 Python控制语句 12 1.2.4 Python函数与模块 18 1.3 Python面向对象设计 22 1.3.1 定义和使用类 22 1.3.2 构造函数 23 1.3.3 析构函数 24 1.3.4 实例属性和类属性 24 1.3.5 私有成员与公有成员 25 1.3.6 方法 26 1.3.7 类的继承 27 1.3.8 多态 29 1.3.9 面向对象应用案例——扑克牌发牌程序 31 1.4 Python图形界面设计 34 1.4.1 创建Windows窗口 35 1.4.2 几何布局管理器 35 1.4.3 Tkinter组件 39 1.4.4 Tkinter字体 49 1.4.5 Python事件处理 51 1.4.6 图形界面设计应用案例——开发猜数字游戏 55 1.5 Python文件的使用 57 1.5.1 打开/建立文件 57 1.5.2 读取文本文件 59 1.5.3 写文本文件 60 1.5.4 文件内移动 62 1.5.5 文件的关闭 63 1.5.6 二进制文件的读/写 64 1.6 Python的第三方库 66 第2章 序列应用——猜单词游戏 67 2.1 猜单词游戏功能介绍 67 2.2 程序设计的思路 67 2.3 关键技术——random模块 68 2.4 程序设计的步骤 71 第3章 数据库应用——智力问答测试 73 3.1 智力问答测试功能介绍 73 3.2 程序设计的思路 73 3.3 关键技术 74 3.3.1 访问数据库的步骤 74 3.3.2 创建数据库和表 75 3.3.3 数据库的插入、更新和删除操作 76 3.3.4 数据库表的查询操作 77 3.3.5 数据库使用实例——学生通讯录 77 3.4 程序设计的步骤 80 3.4.1 生成试题库 80 3.4.2 读取试题信息 81 3.4.3 界面和逻辑设计 81 第4章 调用百度API应用——小小翻译器 83 4.1 小小翻译器功能介绍 83 4.2 程序设计的思路 83 4.3 关键技术 84 4.3.1 urllib库简介 84 4.3.2 urllib库的基本使用 84 4.4 程序设计的步骤 90 4.4.1 设计界面 90 4.4.2 使用百度翻译开放平台API 90 第5章 爬虫应用——校园网搜索引擎 95 5.1 校园网搜索引擎功能分析 95 5.2 校园网搜索引擎系统设计 95 5.3 关键技术 98 5.3.1 正则表达式 98 5.3.2 中文分词 103 5.3.3 安装和使用jieba 103 5.3.4 为jieba添加自定义词典 104 5.3.5 文本分类的关键词提取 105 5.3.6 deque 106 5.4 程序设计的步骤 107 5.4.1 信息采集模块——网络爬虫的实现 107 5.4.2 索引模块——建立倒排词表 111 5.4.3 网页排名和搜索模块 113 第6章 爬虫应用——抓取百度图片 116 6.1 程序功能介绍 116 6.2 程序设计的思路 116 6.3 关键技术 117 6.3.1 图片文件下载到本地 117 6.3.2 爬取指定网页中的图片 117 6.3.3 BeautifulSoup库概述 119 6.3.4 用BeautifulSoup库操作解析HTML文档树 121 6.3.5 requests库的使用 125 6.4 程序设计的步骤 133 6.4.1 分析网页源代码和网页结构 133 6.4.2 设计代码 136 第7章 itchat应用——微信机器人 139 7.1 itchat功能介绍 139 7.2 程序设计的思路 140 7.3 关键技术 140 7.3.1 安装itchat 140 7.3.2 itchat的登录微信 140 7.3.3 itchat的消息类型 141 7.3.4 itchat回复消息 143 7.3.5 itchat获取账号 145 7.3.6 itchat的一些简单应用 147 7.3.7 Python调用图灵机器人API实现简单的人机交互 150 7.4 程序设计的步骤 152 7.5 开发消息同步机器人 153 第8章 微信网页版协议应用——微信机器人 155 8.1 微信网页版机器人功能介绍 155 8.2 微信网页版机器人设计思路 155 8.2.1 分析微信网页版API 155 8.2.2 API汇总 158 8.2.3 其他说明 164 8.3 程序设计的步骤 166 8.3.1 微信网页版的运行流程 166 8.3.2 程序目录 167 8.3.3 微信网页版运行代码的实现 167 8.4 扩展功能 170 8.4.1 自动回复 170 8.4.2 群发消息、定时发送消息、好友状态检测 173 8.4.3 自动邀请好友加入群聊 175 第9章 图像处理——生成二维码和验证码 178 9.1 二维码介绍 178 9.2 二维码生成和解析关键技术 179 9.2.1 qrcode库的使用 179 9.2.2 PIL库的使用 182 9.3 二维码生成和解析程序设计的步骤 184 9.3.1 生成带有图标的二维码 184 9.3.2 Python解析二维码图片 186 9.4 用Python生成验证码图片 186 第10章 益智游戏——连连看游戏 189 10.1 连连看游戏介绍 189 10.2 程序设计的思路 190 10.3 关键技术 200 10.3.1 图形绘制——Tinker的Canvas组件 200 10.3.2 Canvas上的图形对象 200 10.4 程序设计的步骤 210 第11章 益智游戏——推箱子游戏 215 11.1 推箱子游戏介绍 215 11.2 程序设计的思路 216 11.3 关键技术 217 11.4 程序设计的步骤 218 第12章 娱乐游戏——两人麻将游戏 224 12.1 麻将游戏介绍 224 12.1.1 麻将术语 224 12.1.2 牌数 224 12.2 两人麻将游戏设计的思路 225 12.2.1 素材图片 225 12.2.2 游戏的逻辑实现 226 12.2.3 碰/吃牌的判断 226 12.2.4 和牌算法 227 12.2.5 实现计算机智能出牌 231 12.3 关键技术 233 12.3.1 声音的播放 233 12.3.2 返回对应位置的组件 233 12.3.3 对保存麻将牌的列表排序 234 12.4 两人麻将游戏设计的步骤 235 12.4.1 设计麻将牌类 235 12.4.2 设计游戏主程序 237 第13章 网络编程案例——基于TCP的在线聊天程序 247 13.1 基于TCP的在线聊天程序简介 247 13.2 关键技术 247 13.2.1 互联网TCP/IP协议 247 13.2.2 IP协议和端口 248 13.2.3 TCP协议和UDP协议 249 13.2.4 Socket 249 13.2.5 多线程编程 254 13.3 在线聊天程序设计的步骤 256 13.3.1 在线聊天程序的服务器端 256 13.3.2 在线聊天程序的客户端 259 第14章 网络通信案例——基于UDP的网络五子棋 游戏 263 14.1 网络五子棋游戏简介 263 14.2 五子棋游戏的设计思想 264 14.3 关键技术 267 14.3.1 UDP编程 267 14.3.2 自定义网络五子棋游戏的通信协议 269 14.4 网络五子棋游戏程序设计的步骤 271 14.4.1 服务器端程序设计的步骤 271 14.4.2 客户端程序设计的步骤 276 第15章 益智游戏——中国象棋 281 15.1 中国象棋介绍 281 15.2 关键技术 282 15.3 中国象棋的设计思路 284 15.4 中国象棋实现的步骤 287 第16章 娱乐游戏——人物拼图游戏 297 16.1 人物拼图游戏介绍 297 16.2 程序设计的思路 298 16.3 关键技术 298 16.3.1 复制和粘贴图像区域 298 16.3.2 调整尺寸和旋转 298 16.3.3 转换成灰度图像 299 16.3.4 对像素进行操作 300 16.4 程序设计的步骤 300 16.4.1 Python处理图片切割 300 16.4.2 游戏的逻辑实现 302 第17章 基于Pygame的游戏设计 306 17.1 Pygame基础知识 306 17.1.1 安装Pygame库 306 17.1.2 Pygame的模块 306 17.2 Pygame的使用 309 17.2.1 Pygame开发游戏的主要流程 309 17.2.2 Pygame的图像/图形绘制 311 17.2.3 Pygame的键盘和鼠标事件的处理 314 17.2.4 Pygame的字体使用 319 17.2.5 Pygame的声音播放 320 17.2.6 Pygame的精灵使用 321 17.3 基于Pygame设计贪吃蛇游戏 326 17.4 基于Pygame设计飞机大战游戏 333 17.4.1 游戏角色 333 17.4.2 游戏界面显示 336 17.4.3 游戏的逻辑实现 338 第18章 机器学习案例——基于朴素贝叶斯算法的 文本分类 343 18.1 文本分类功能介绍 343 18.2 程序设计的思路 343 18.3 关键技术 344 18.3.1 贝叶斯算法的理论基础 344 18.3.2 朴素贝叶斯分类 346 18.3.3 使用Python进行文本分类 348 18.4 程序设计的步骤 348 18.4.1 收集训练数据 348 18.4.2 准备数据 349 18.4.3 分析数据 349 18.4.4 训练算法 350 18.4.5 测试算法并改进 353 18.4.6 使用算法进行文本分类 354 18.5 使用朴素贝叶斯分类算法过滤垃圾邮件 355 18.5.1 收集训练数据 355 18.5.2 将文本文件解析为词向量 356 18.5.3 使用朴素贝叶斯算法进行邮件分类 357 18.5.4 改进算法 359 18.6 使用Scikit-Learn库进行文本分类 360 18.6.1 文本分类常用的类和函数 360 18.6.2 案例实现 363 第19章 深度学习案例——基于卷积神经网络的 手写体识别 366 19.1 手写体识别案例需求 366 19.2 深度学习的概念及关键技术 366 19.2.1 神经网络模型 366 19.2.2 深度学习之卷积神经网络 367 19.3 Python深度学习库——Keras 372 19.3.1 Keras的安装 372 19.3.2 Keras的网络层 372 19.3.3 用Keras构建神经网络 375 19.4 程序设计的思路 376 19.5 程序设计的步骤 377 19.5.1 MNIST数据集 377 19.5.2 手写体识别案例实现 378 19.5.3 预测自己手写图像 382 第20章 词云实战——爬取豆瓣影评生成词云 383 20.1 功能介绍 383 20.2 程序设计的思路 384 20.3 关键技术 385 20.3.1 安装WordCloud 385 20.3.2 使用WordCloud 385 20.4 程序设计的步骤 389 参考文献 397
pdf
深入浅出Python量化交易实战 (段小手)
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2022-12-24
简介:本书主要以国内A股市场为例,借助第三方量化交易平台,讲述了KNN、线性模型、决策树、支持向量机、朴素贝叶斯等常见机器学习算法在交易策略中的应用,同时展示了如何对策略进行回测,以便让读者能够有效评估自己的策略。 另外,本书还讲解了自然语言处理(NLP)技术在量化交易领域的发展趋势,并使用时下热门的深度学习技术,向读者介绍了多层感知机、卷积神经网络,以及长短期记忆网络在量化交易方面的前瞻性应用。 本书没有从Python基础语法讲起,对于传统交易策略也只是一带而过,直接将读者带入机器学习的世界。本书适合对Python语言有一定了解且对量化交易感兴趣的读者阅读。 VII 目 录 第1章 小瓦的故事—从零开始 1.1 何以解忧,“小富”也行 1 1.1.1 那些年,那些交易 2 1.1.2 自动化交易和高频交易 2 1.1.3 因子投资悄然兴起 3 1.2 机器学习崛起 4 1.2.1 量化投资风生水起 4 1.2.2 没有数据是不行的 5 1.2.3 交易策略和阿尔法因子 5 1.3 要想富,先配库 6 1.3.1 Anaconda的下载和安装 6 1.3.2 Jupyter Notebook的基本使用方法 8 1.3.3 用真实股票数据练练手 11 1.4 小结 15 第2章 小瓦的策略靠谱吗—回测与经典策略 2.1 对小瓦的策略进行简单回测 16 2.1.1 下载数据并创建交易信号 16 2.1.2 对交易策略进行简单回测 18 2.1.3 关于回测,你还需要知道的 20 2.2 经典策略之移动平均策略 21 2.2.1 单一移动平均指标 21 2.2.2 双移动平均策略的实现 23 2.2.3 对双移动平均策略进行回测 26 2.3 经典策略之海龟策略 28 2.3.1 使用海龟策略生成交易信号 28 2.3.2 根据交易信号和仓位进行下单 29 2.3.3 对海龟策略进行回测 31 2.4 小结 34 第3章 AI来了—机器学习在交易中的简单应用 3.1 机器学习的基本概念 35 3.1.1 有监督学习和无监督学习 35 深入浅出Python量化交易实战 VIII 3.1.2 分类和回归37 3.1.3 模型性能的评估37 3.2 机器学习工具的基本使用方法 37 3.2.1 KNN算法的基本原理 38 3.2.2 KNN算法用于分类 38 3.2.3 KNN算法用于回归 43 3.3 基于机器学习的简单交易策略 47 3.3.1 获取股票数据47 3.3.2 创建交易条件49 3.3.3 使用分类算法制定交易策略 50 3.4 小结 54 第4章 多来点数据—借助量化交易平台 4.1 数据不够,平台来凑 55 4.1.1 选择量化交易平台 56 4.1.2 量化交易平台的研究环境 57 4.1.3 在研究环境中运行代码 58 4.2 借助财务数据筛选股票 59 4.2.1 获取股票的概况60 4.2.2 获取股票的财务数据 62 4.2.3 通过财务指标进行选股 64 4.3 谁是幕后“大佬” 65 4.3.1 找到的股东66 4.3.2 大股东们增持了还是减持了 67 4.3.3 资金净流入还是净流出 69 4.4 小结 71 第5章 因子来了—基本原理和用法 5.1 “瓦氏因子”了解一下 72 5.1.1 获取主力资金流向数据 73 5.1.2 简易特征工程74 5.1.3 “瓦氏因子”的计算 75 5.1.4 用添加“瓦氏因子”的数据训练模型 76 5.1.5 “因子”都能干啥 77 5.2 股票不知道怎么选?因子来帮忙 78 5.2.1 确定股票池78 5.2.2 获取沪深两市的全部指数 79 5.2.3 获取股票的市值因子 80 5.2.4 获取股票的现金流因子 81 5.2.5 获取股票的净利率因子 82 5.2.6 获取股票的净利润增长率因子 83 5.3 把诸多因子“打个包” 84 5.3.1 将4个因子存入一个DataFrame 84 5.3.2 使用PCA提取主成分 85 5.3.3 找到主成分数值的股票 86 5.4 小结 87 目录 IX 第6章 因子好用吗—有些事需要你知道 6.1 针对投资组合获取因子值 88 6.1.1 建立投资组合并设定日期 88 6.1.2 获取一个情绪因子 90 6.1.3 获取全部的因子分析结果 91 6.2 因子收益分析 92 6.2.1 因子各分位统计92 6.2.2 因子加权多空组合累计收益 94 6.2.3 做多分位做空小分位收益 96 6.2.4 分位数累计收益对比 97 6.3 因子IC分析 98 6.3.1 因子IC分析概况 99 6.3.2 因子IC时间序列图 99 6.3.3 因子IC正态分布Q-Q图和月度均值 101 6.4  因子换手率、因子自相关性和因子预 测能力分析 102 6.4.1 因子换手率分析103 6.4.2 因子自相关性分析 104 6.4.3 因子预测能力分析 106 6.5 小结 107 第7章 当因子遇上线性模型 7.1 什么是线性模型 108 7.1.1 准备用于演示的数据 108 7.1.2 来试试简单的线性回归 110 7.1.3 使用正则化的线性模型 113 7.2 用线性模型搞搞交易策略 115 7.2.1 准备因子115 7.2.2 训练模型117 7.2.3 基于模型的预测进行选股 118 7.3 能不能赚到钱 119 7.3.1 平台的策略回测功能 120 7.3.2 把研究成果写成策略 121 7.3.3 回测124 7.4 小结 126 第8章 因子遇到决策树与随机森林 8.1 什么是决策树和随机森林 127 8.1.1 线性模型不适用的数据样本 127 8.1.2 决策树的用法和原理 129 8.1.3 随机森林的用法和原理 130 8.2 哪些因子重要,决策树能告诉你 132 8.2.1 多来点因子132 8.2.2 设定目标并训练模型 135 8.2.3 哪些因子重要137 8.3 用重要因子和随机森林来制订 策略 138 深入浅出Python量化交易实战 8.3.1 回测函数的初始化 138 8.3.2 盘前的准备工作139 8.3.3 策略中的机器学习部分 141 8.3.4 定义买入股票和卖出股票的列表 142 8.3.5 定义买入操作和卖出操作 144 8.3.6 对策略进行回测145 8.4 小结 146 第9章 因子遇到支持向量机 9.1 什么是支持向量机 147 9.1.1 支持向量机的基本原理 147 9.1.2 线性内核有时“很着急” 149 9.1.3 RBF内核“闪亮登场” 150 9.2 动态因子选择策略 152 9.2.1 设置回测环境152 9.2.2 开盘前准备153 9.2.3 机器学习的部分155 9.2.4 买入和卖出的操作 157 9.3 策略的回测详情 158 9.3.1 策略收益概述159 9.3.2 策略交易详情159 9.3.3 持仓和收益详情161 9.4 使用策略进行模拟交易 162 9.4.1 模拟交易163 9.4.2 查看模拟交易详情 164 9.4.3 模拟交易的持仓与下单 165 9.5 小结 166 第10章 初识自然语言处理技术 10.1我们的想法是否靠谱 167 10.1.1 思考几个问题 167 10.1.2 参考一下“大佬”们的做法 168 10.1.3 说了那么多,什么是NLP 169 10.2 获取文本数据并简单清洗 170 10.2.1 获取新闻联播文本数据 170 10.2.2 对文本数据进行简单清洗 172 10.3 中文分词,“结巴”来帮忙 173 10.3.1 使用“结巴”进行分词 174 10.3.2 使用“结巴”进行列表分词 174 10.3.3 建立停用词表 175 10.3.4 去掉文本中的停用词 176 10.3.5 使用“结巴”提取关键词 178 10.4 小结 180 第11章 新闻文本向量化和话题建模 11.1 让机器“读懂”新闻 181 11.1.1 准备文本数据 181 目录 11.1.2 使用CountVectorizer将文本转化为 向量 183 11.1.3 使用TfidfVectorizer将文本转化为 向量 185 11.2 让机器告诉我们新闻说了啥 186 11.2.1 什么是话题建模 186 11.2.2 什么是LDA模型 187 11.3 话题建模实战 188 11.3.1 加载数据并进行分词 188 11.3.2 将分词结果合并保存 190 11.3.3 使用LDA进行话题建模 191 11.3.4 对模型进行改进 192 11.4 小结 194 第12章 股评数据情感分析 12.1 机器懂我们的情感吗 195 12.1.1 了解分好类的语料 196 12.1.2 将文件上传到量化交易平台 197 12.2 用语料制作数据集 198 12.2.1 将正面情绪语料存储为列表 198 12.2.2 将负面情绪语料存储为列表 200 12.2.3 给数据“打上标签” 201 12.2.4 合并正负面情绪语料 202 12.3 隆重推出“朴素贝叶斯” 203 12.3.1 “朴素贝叶斯”又是什么 204 12.3.2 为贝叶斯模型准备数据 205 12.3.3 开始训练贝叶斯模型并评估其性能 206 12.4 小结 208 第13章 咱也“潮”一把—深度学习来了 13.1 开始研究前的准备 209 13.1.1 翻翻工具箱,看看有什么 210 13.1.2 为神经网络准备数据 211 13.2 使用Keras对文本进行预处理 213 13.2.1 使用Tokenizer提取特征 213 13.2.2 将文本转化为序列 214 13.2.3 填充序列与转化矩阵 216 13.3 使用Keras构建简单神经网络 217 13.3.1 先动手“撸”一个多层感知机 217 13.3.2 念叨一下多层感知机的原理 218 13.3.3 再来说说激活函数 220 13.3.4 Dropout层又是干吗的 221 13.3.5 训练一下,看看效果如何 222 13.4 小结 224 深入浅出Python量化交易实战 第14章 再进一步—CNN和LSTM 14.1 先动手“撸”一个卷积神经 网络 225 14.1.1 准备好库和数据集 225 14.1.2 处理数据与搭建模型 227 14.2 卷积神经网络模型详解 229 14.2.1 嵌入层是干啥用的 230 14.2.2 卷积层是干啥用的 231 14.2.3 池化层是干啥用的 233 14.2.4 训练模型看看效果 234 14.3 长短期记忆网络 236 14.3.1 搭建一个简单的长短期记忆网络 236 14.3.2 关于长短期记忆网络 237 14.3.3 训练模型及评估 238 14.3.4 保存模型并在回测中调用 240 14.4 小结 241 第15章 写在后—小瓦的征程 15.1 可以一夜暴富了吗 242 15.1.1 使用第三方量化平台是个好主 意吗 243 15.1.2 机器学习到底有没有用 243 15.1.3 要“吊死”在A股“这棵树” 上吗 244 15.2 将来要做什么 245 15.2.1 学习一些数据库知识 245 15.2.2 多看看不同的投资标的 247 15.2.3 打开国际化的视野 249 15.3 小结 252
pdf
量化金融投资及其Python应用
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2022-12-24
简介:《量化金融投资及其Python应用》内容包括:(1)量化金融投资的Python工作环境;(2)Python基础知识与编程基础;(3)量化金融投资程序包Python-NumPy应用;(4)量化金融投资程序包Python-SciPy应用;(5)量化金融投资程序包Python-Pandas基本数据结构;(6)量化金融投资程序包Python-Pandas在金融数据处理中的应用;(7)金融时间序列分析及其Python应用;(8)中国股市分析及其Python应用;(9)机器学习神经网络算法及其Python应用;(10)机器学习支持向量机SVM及其Python应用;(11)欧式期权定价的Python应用;(12)函数插值的Python应用;(13)期权定价二叉树算法的Python应用;(14)偏微分方程显式差分法的Python应用;(15)偏微分方程隐式差分法的Python应用;(16)Black-Scholes偏微分方程隐 第1章量化金融投资平台与Python工作环境 1.1国内外量化金融投资平台概述 1.2优矿平台界面 1.3优矿平台提供的服务 1.4优矿平台的Notebook功能 1.5优矿平台支持的Python程序包 1.6Python的下载 1.7Python的安装 1.8Python的启动和退出 练习题 第2章Python的两个基本操作与编程基础 2.1Python的两个基本操作 2.2Python容器 2.3Python函数 2.4Python条件与循环 2.5Python类与对象 练习题 第3章NumPy在量化金融投资分析中的应用 3.1NumPy概述 3.2NumPy对象初步:数组 3.3创建数组 3.4数组和矩阵的运算 3.5访问数组和矩阵元素 3.6矩阵操作 3.7缺失值 3.8一元线性回归分析的NumPy应用 练习题 第4章SciPy在量化金融投资分析中的应用 4.1SciPy概述 4.2统计知识 4.3优化知识 4.3.1无约束优化问题 4.3.2有约束优化问题 4.3.3利用CVXOPT求解二次规划问题 练习题 第5章pandas的基本数据结构 5.1pandas介绍 5.2pandas数据结构:Series 5.2.1创建Series 5.2.2Series数据的访问 5.3pandas数据结构:DataFrame 5.3.1创建DataFrame 5.3.2DataFrame数据的访问 练习题 第6章pandas在金融数据处理中的应用 6.1创建数据结构的方式 6.2数据的查看 6.3数据的访问和操作 6.3.1再谈数据的访问 6.3.2处理缺失数据 6.3.3数据操作 6.4数据可视化 练习题 第7章金融时间序列分析及其Python应用 7.1时间序列分析的基础知识 7.1.1时间序列的概念及其特征 7.1.2平稳性 7.1.3相关系数和自相关函数 7.1.4白噪声序列和线性时间序列 7.2自回归模型 7.2.1AR(p)模型的特征根及平稳性检验 7.2.2AR(p)模型的定阶 7.2.3模型的检验 7.2.4拟合优度及预测 7.3移动平均模型及预测 7.3.1MA(q)模型的性质 7.3.2MA(q)模型的阶次判定 7.3.3建模和预测 7.4自回归移动平均模型及预测 7.4.1确定ARMA(p,q)模型的阶次 7.4.2ARMA模型的建立及预测 7.5ARIMA模型及预测 7.5.1单位根检验 7.5.2ARIMA(p,d,q)模型阶次确定 7.5.3ARIMA模型的建立及预测 7.6自回归条件异方差模型ARCH及预测 7.6.1波动率的特征 7.6.2ARCH模型的基本原理 7.6.3ARCH模型的建立及预测 7.7广义自回归条件异方差模型GARCH及波动率预测 7.7.1GARCH模型的建立 7.7.2波动率预测 练习题 第8章中国股市分析及其Python应用 8.1股票的基本信息 8.2股票收益风险分析 8.3基于风险价值的蒙特卡洛方法 练习题 第9章机器学习神经网络算法及其Python应用 9.1BP神经网络的拓扑结构 9.2BP神经网络的学习算法 9.3BP神经网络的学习程序 9.4BP神经网络算法股票预测的Python应用 练习题 第10章机器学习支持向量机及其Python应用 10.1机器学习支持向量机原理 10.2机器学习支持向量机的应用 练习题 第11章欧式期权定价的Python应用 11.1期权定价公式的Python函数 11.2使用NumPy加速批量计算 11.2.1使用循环的方式 11.2.2使用NumPy向量计算 11.3使用SciPy做仿真计算 11.4计算隐含波动率 练习题 第12章函数插值的Python应用 12.1如何使用SciPy做函数插值 12.2函数插值应用——期权波动率曲面构造 练习题 第13章期权定价二叉树算法的Python应用 13.1二叉树算法的Python描述 13.2用面向对象的方法实现二叉树算法 13.2.1二叉树框架 13.2.2二叉树类型描述 13.2.3偿付函数 13.2.4组装 13.3美式期权定价的二叉树算法 练习题 第14章偏微分方程显式差分法的Python应用 14.1热传导方程 14.2显式差分格式 14.3模块组装 14.4显式格式的条件稳定性 练习题 第15章偏微分方程隐式差分法的Python应用 15.1隐式差分格式 15.1.1矩阵求解 15.1.2隐式格式求解 15.2模块组装 15.3使用SciPy加速 练习题 第16章BlackScholesMerton偏微分方程隐式差分法的Python应用 16.1BlackScholesMerton偏微分方差初边值问题的提出 16.2偏微分方程隐式差分法 16.3Python应用实现 16.4收敛性测试 练习题 第17章优矿平台的量化金融投资初步 17.1量化金融投资基础 17.2量化金融投资及其策略 17.3设置初始数据 17.4选取股票池 17.5初始化回测账户 17.6设置买卖条件 17.7组合成完整的量化策略 练习题 第18章Alpha对冲模型的Python应用 18.1Alpha对冲模型 18.2优矿平台的“三剑客” 18.3优矿平台对冲模型实例 练习题 第19章Signal框架下的Alpha量化金融投资策略的Python应用 19.1为什么选择Alpha对冲模型 19.2在优矿平台上构建Alpha对冲模型的神器——Signal框架 19.3典型公募基金团队如何构建自己的Alpha对冲模型 19.4如何在优矿平台上一人超越一个公募基金团队 练习题 第20章量化金融投资组合优化的Python应用 20.1马科维茨投资组合优化基本理论 20.2投资组合优化的Python应用实例 20.3投资组合优化实际数据的Python应用 练习题 参考文献
pdf
python计算机视觉
标签:python
积分:1 类型:技术文档上传者:太白金星上传时间:2021-05-30
简介:《python计算机视觉编程》是计算机视觉编程的权威实践指南,依赖python语言讲解了基础理论与算法,并通过大量示例细致分析了对象识别、基于内容的图像搜索、光学字符识别、光流法、跟踪、三维重建、立体成像、增强现实、姿态估计、全景创建、图像分割、降噪、图像分组等技术。另外,书中附带的练习还能让读者巩固并学会应用编程知识。 《python计算机视觉编程》适合的读者是:有一定编程与数学基础,想要了解计算机视觉的基本理论与算法的学生,以及计算机科学、信号处理、物理学、应用数学和统计学、神经生理学、认知科学等领域的研究人员和从业者。
pdf
Python机器学习经典实例
标签:python机器学习
积分:1 类型:技术文档上传者:sigma上传时间:2022-06-30
简介:在如今这个处处以数据驱动的世界中,机器学习正变得越来越大众化。它已经被广泛地应用于不同领域,如搜索引擎、机器人、无人驾驶汽车等。本书首先通过实用的案例介绍机器学习的基础知识,然后介绍一些稍微复杂的机器学习算法,例如支持向量机、极-端随机森林、隐马尔可夫模型、条件随机场、深度神经网络,等等。 本书是为想用机器学习算法开发应用程序的Python 程序员准备的。它适合Python 初学者阅读,不过熟悉Python 编程方法对体验示例代码大有裨益。 第 1 章 监督学习 ............................................. 1 1.1 简介 ................................................. 1 1.2 数据预处理技术 ....................................... 2 1.2.1 准备工作 ....................................... 2 1.2.2 详细步骤 ....................................... 2 1.3 标记编码方法 ........................................... 4 1.4 创建线性回归器 ....................................... 6 1.4.1 准备工作 ....................................... 6 1.4.2 详细步骤 ....................................... 7 1.5 计算回归准确性 ....................................... 9 1.5.1 准备工作 ....................................... 9 1.5.2 详细步骤 ...................................... 10 1.6 保存模型数据 .......................................... 10 1.7 创建岭回归器 .......................................... 11 1.7.1 准备工作 ...................................... 11 1.7.2 详细步骤 ...................................... 12 1.8 创建多项式回归器 .................................. 13 1.8.1 准备工作 ...................................... 13 1.8.2 详细步骤 ...................................... 14 1.9 估算房屋价格 .......................................... 15 1.9.1 准备工作 ...................................... 15 1.9.2 详细步骤 ...................................... 16 1.10 计算特征的相对重要性 ......................... 17 1.11 评估共享单车的需求分布 ..................... 19 1.11.1 准备工作 .................................. 19 1.11.2 详细步骤 .................................. 19 1.11.3 更多内容 .................................. 21 第 2 章 创建分类器 ........................................ 24 2.1 简介 ........................................... 24 2.2 建立简单分类器 ...................................... 25 2.2.1 详细步骤 ...................................... 25 2.2.2 更多内容 ...................................... 27 2.3 建立逻辑回归分类器 .............................. 27 2.4 建立朴素贝叶斯分类器 ........................... 31 2.5 将数据集分割成训练集和测试集 ........... 32 2.6 用交叉验证检验模型准确性 ................... 33 2.6.1 准备工作 ...................................... 34 2.6.2 详细步骤 ...................................... 34 2.7 混淆矩阵可视化 ...................................... 35 2.8 提取性能报告 .......................................... 37 2.9 根据汽车特征评估质量 ........................... 38 2.9.1 准备工作 ...................................... 38 2.9.2 详细步骤 ...................................... 38 2.10 生成验证曲线 ........................................ 40 2.11 生成学习曲线 ........................................ 43 2.12 估算收入阶 层 ........................................ 45 第3 章 预测建模 ............................................ 48 3.1 简介 ............................................ 48 3.2 用SVM 建立线性分类器 ........................ 49 3.2.1 准备工作 ...................................... 49 3.2.2 详细步骤 ...................................... 50 3.3 用SVM 建立非线性分类器 .................... 53 3.4 解决类型数量不平衡问题 ....................... 55 3.5 提取置信度 .............................................. 58 3.6 寻找最优超参数 ...................................... 60 3.7 建立事件预测器 ...................................... 62 3.7.1 准备工作 ...................................... 62 3.7.2 详细步骤 ...................................... 62 3.8 估算交通流量 .......................................... 64 3.8.1 准备工作 ...................................... 64 3.8.2 详细步骤 ...................................... 64 第4 章 无监督学习——聚类....................... 67 4.1 简介 ....................................... 67 4.2 用k-means 算法聚类数据 ....................... 67 4.3 用矢量量化压缩图片 .............................. 70 4.4 建立均值漂移聚类模型 ........................... 74 4.5 用凝聚层次聚类进行数据分组 ............... 76 4.6 评价聚类算法的聚类效果 ....................... 79 4.7 用DBSCAN 算法自动估算集群数量 ..... 82 4.8 探索股票数据的模式 .............................. 86 4.9 建立客户细分模型 .................................. 88 第5 章 构建推荐引擎 ................................... 91 5.1 简介 ...................................... 91 5.2 为数据处理构建函数组合 ....................... 92 5.3 构建机器学习流水线 .............................. 93 5.3.1 详细步骤 ...................................... 93 5.3.2 工作原理 ...................................... 95 5.4 寻找最近邻 .............................................. 95 5.5 构建一个KNN 分类器 ............................ 98 5.5.1 详细步骤 ...................................... 98 5.5.2 工作原理 .................................... 102 5.6 构建一个KNN 回归器 .......................... 102 5.6.1 详细步骤 .................................... 102 5.6.2 工作原理 .................................... 104 5.7 计算欧氏距离分数 ................................ 105 5.8 计算皮尔逊相关系数 ............................ 106 5.9 寻找数据集中的相似用户 ..................... 108 5.10 生成电影推荐 ...................................... 109 第6 章 分析文本数据 ................................. 112 6.1 简介 ....................................... 112 6.2 用标记解析的方法预处理数据 ............. 113 6.3 提取文本数据的词干 ............................ 114 6.3.1 详细步骤 .................................... 114 6.3.2 工作原理 .................................... 115 6.4 用词形还原的方法还原文本的基本形式 .................... 116 6.5 用分块的方法划分文本 ........................ 117 6.6 创建词袋模型 ........................................ 118 6.6.1 详细步骤 .................................... 118 6.6.2 工作原理 .................................... 120 6.7 创建文本分类器 .................................... 121 6.7.1 详细步骤 .................................... 121 6.7.2 工作原理 .................................... 123 6.8 识别性别 ............................................. 124 6.9 分析句子的情感 .................................... 125 6.9.1 详细步骤 .................................... 126 6.9.2 工作原理 .................................... 128 6.10 用主题建模识别文本的模式 ............... 128 6.10.1 详细步骤 .................................. 128 6.10.2 工作原理 .................................. 131 第7 章 语音识别 ......................................... 132 7.1 简介 .......................................... 132 7.2 读取和绘制音频数据 ............................ 132 7.3 将音频信号转换为频域 ........................ 134 7.4 自定义参数生成音频信号 ..................... 136 7.5 合成音乐 .......................................... 138 7.6 提取频域特征 ........................................ 140 7.7 创建隐马尔科夫模型 ............................ 142 7.8 创建一个语音识别器 ............................ 143 第8 章 解剖时间序列和时序数据 ............ 147 8.1 简介 ............................................. 147 8.2 将数据转换为时间序列格式 ................. 148 8.3 切分时间序列数据 ................................ 150 8.4 操作时间序列数据 ................................ 152 8.5 从时间序列数据中提取统计数字 ......... 154 8.6 针对序列数据创建隐马尔科夫模型 ..... 157 8.6.1 准备工作 .................................... 158 8.6.2 详细步骤 .................................... 158 8.7 针对序列文本数据创建条件随机场 ..... 161 8.7.1 准备工作 .................................... 161 8.7.2 详细步骤 .................................... 161 8.8 用隐马尔科夫模型分析股票市场数据.......................... 164 第9 章 图像内容分析 ................................. 166 9.1 简介 .............................................. 166 9.2 用OpenCV-Pyhon 操作图像 ................. 167 9.3 检测边 ........................................ 170 9.4 直方图均衡化 ........................................ 174 9.5 检测棱角 .................................. 176 9.6 检测SIFT 特征点 .................................. 178 9.7 创建Star 特征检测器 ............................ 180 9.8 利用视觉码本和向量量化创建特征 ...... 182 9.9 用极 端随机森林训练图像分类器 .......... 185 9.10 创建一个对象识别器 ........................... 187 第 10 章 人脸识别 ........................................ 189 10.1 简介 ........................................... 189 10.2 从网络摄像头采集和处理视频信息 .... 189 10.3 用Haar 级联创建一个人脸识别器 ...... 191 10.4 创建一个眼睛和鼻子检测器 ............... 193 10.5 做主成分分析 ...................................... 196 10.6 做核主成分分析 .................................. 197 10.7 做盲源分离 .......................................... 201 10.8 用局部二值模式直方图创建一个人脸识别器 ................ 205 第 11 章 深度神经网络 ............................... 210 11.1 简介 ........................................ 210 11.2 创建一个感知器 .................................. 211 11.3 创建一个单层神经网络 ....................... 213 11.4 创建一个深度神经网络 ....................... 216 11.5 创建一个向量量化器........................... 219 11.6 为序列数据分析创建一个递归神经网络 ...................... 221 11.7 在光学字符识别数据库中将字符可视化 ...................... 225 11.8 用神经网络创建一个光学字符识别器 ....................... 226 第 12 章 可视化数据 ................................... 230 12.1 简介 ............................................... 230 12.2 画3D 散点图 ....................................... 230 12.3 画气泡图 ............................................ 232 12.4 画动态气泡图 ...................................... 233 12.5 画饼图 ............................................... 235 12.6 画日期格式的时间序列数据 ............... 237 12.7 画直方图 ............................................ 239 12.8 可视化热力图 ...................................... 241 12.9 动态信号的可视化模拟 ....................... 242
pdf
用Python动手学机器学习
标签:python机器学习
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-05-30
简介:本书是面向机器学习新手的入门书,从学习环境的搭建开始,图文并茂地介绍了学习机器学习所需的Python知识和数学知识,并在此基础上结合数学式、示例程序、插图等,抽丝剥茧般地对有监督学习中的回归与分类、神经网络与深度学习的算法与应用、手写数字识别、无监督学习的算法等进行了介绍。 本书既有图形、代码,又有详细的数学式推导过程,大大降低了机器学习的学习门槛,即使没有学过Python、数学基础不太好,也可以看懂。 第1章 学习前的准备  1 1.1 关于机器学习 2 1.1.1 学习机器学习的窍门 4 1.1.2 机器学习中问题的分类 5 1.1.3 本书的结构 6 1.2 安装Python 7 1.3 Jupyter Notebook 11 1.3.1 Jupyter Notebook的用法 11 1.3.2 输入Markdown格式文本 14 1.3.3 更改文件名 16 1.4 安装Keras和TensorFlow 17 第2章 Python基础知识  19 2.1 四则运算 20 2.1.1 四则运算的用法 20 2.1.2 幂运算 20 2.2 变量 21 2.2.1 利用变量进行计算 21 2.2.2 变量的命名 21 2.3 类型 22 2.3.1 类型的种类 22 2.3.2 检查类型 22 2.3.3 字符串 23 2.4 print 语句 24 2.4.1 print语句的用法 24 2.4.2 同时显示数值和字符串的方法1 24 2.4.3 同时显示数值和字符串的方法2 25 2.5 list(数组变量) 26 2.5.1 list的用法 26 2.5.2 二维数组 27 2.5.3 创建连续的整数数组 28 2.6 tuple(数组) 29 2.6.1 tuple的用法 29 2.6.2 读取元素 29 2.6.3 长度为1的tuple 30 2.7 if 语句 31 2.7.1 if语句的用法 31 2.7.2 比较运算符 32 2.8 for 语句 33 2.8.1 for语句的用法 33 2.8.2 enumerate的用法 33 2.9 向量 34 2.9.1 NumPy的用法 34 2.9.2 定义向量 35 2.9.3 读取元素 36 2.9.4 替换元素 36 2.9.5 创建连续整数的向量 36 2.9.6 ndarray的注意事项 37 2.10 矩阵 38 2.10.1 定义矩阵 38 2.10.2 矩阵的大小 38 2.10.3 读取元素 39 2.10.4 替换元素 39 2.10.5 生成元素为0和1的ndarray 39 2.10.6 生成元素随机的矩阵 40 2.10.7 改变矩阵的大小 41 2.11 矩阵的四则运算 41 2.11.1 矩阵的四则运算 41 2.11.2 标量×矩阵 42 2.11.3 算术函数 42 2.11.4 计算矩阵乘积 43 2.12 切片 43 2.13 替换满足条件的数据 45 2.14 help 46 2.15 函数 47 2.15.1 函数的用法 47 2.15.2 参数与返回值 47 2.16 保存文件 49 2.16.1 保存一个ndarray类型变量 49 2.16.2 保存多个ndarray类型变量 49 第3章 数据可视化  51 3.1 绘制二维图形 52 3.1.1 绘制随机图形 52 3.1.2 代码清单的格式 53 3.1.3 绘制三次函数f (x) = (x - 2) x (x + 2) 53 3.1.4 确定绘制范围 54 3.1.5 绘制图形 55 3.1.6 装饰图形 55 3.1.7 并列显示多张图形 58 3.2 绘制三维图形 59 3.2.1 包含两个变量的函数 59 3.2.2 用颜色表示数值:pcolor 60 3.2.3 绘制三维图形:surface 62 3.2.4 绘制等高线:contour 64 第4章 机器学习中的数学  67 4.1 向量 68 4.1.1 什么是向量 68 4.1.2 用Python定义向量 69 4.1.3 列向量的表示方法 69 4.1.4 转置的表示方法 70 4.1.5 加法和减法 71 4.1.6 标量积 73 4.1.7 内积 74 4.1.8 向量的模 75 4.2 求和符号 76 4.2.1 带求和符号的数学式的变形 77 4.2.2 通过内积求和 79 4.3 累乘符号 79 4.4 导数 80 4.4.1 多项式的导数 80 4.4.2 带导数符号的数学式的变形 82 4.4.3 复合函数的导数 83 4.4.4 复合函数的导数:链式法则 84 4.5 偏导数 85 4.5.1 什么是偏导数 85 4.5.2 偏导数的图形 87 4.5.3 绘制梯度的图形 89 4.5.4 多变量的复合函数的偏导数 91 4.5.5 交换求和与求导的顺序 93 4.6 矩阵 95 4.6.1 什么是矩阵 95 4.6.2 矩阵的加法和减法 97 4.6.3 标量积 99 4.6.4 矩阵的乘积 100 4.6.5 单位矩阵 103 4.6.6 逆矩阵 105 4.6.7 转置 107 4.6.8 矩阵和联立方程式 109 4.6.9 矩阵和映射 111 4.7 指数函数和对数函数 113 4.7.1 指数 113 4.7.2 对数 115 4.7.3 指数函数的导数 118 4.7.4 对数函数的导数 120 4.7.5 Sigmoid函数 121 4.7.6 Softmax函数 123 4.7.7 Softmax函数和Sigmoid函数 127 4.7.8 高斯函数 128 4.7.9 二维高斯函数 129 第5章 有监督学习:回归  135 5.1 一维输入的直线模型 136 5.1.1 直线模型 138 5.1.2 平方误差函数 139 5.1.3 求参数(梯度法) 142 5.1.4 直线模型参数的解析解 148 5.2 二维输入的平面模型 152 5.2.1 数据的表示方法 154 5.2.2 平面模型 155 5.2.3 平面模型参数的解析解 157 5.3 D维线性回归模型 159 5.3.1 D维线性回归模型 160 5.3.2 参数的解析解 160 5.3.3 扩展到不通过原点的平面 164 5.4 线性基底函数模型 165 5.5 过拟合问题 171 5.6 新模型的生成 181 5.7 模型的选择 185 5.8 小结 186 第6章 有监督学习:分类  189 6.1 一维输入的二元分类 190 6.1.1 问题设置 190 6.1.2 使用概率表示类别分类 194 6.1.3 最大似然估计 196 6.1.4 逻辑回归模型 199 6.1.5 交叉熵误差 201 6.1.6 学习法则的推导 205 6.1.7 通过梯度法求解 209 6.2 二维输入的二元分类 210 6.2.1 问题设置 210 6.2.2 逻辑回归模型 214 6.3 二维输入的三元分类 219 6.3.1 三元分类逻辑回归模型 219 6.3.2 交叉熵误差 222 6.3.3 通过梯度法求解 223 第7章 神经网络与深度学习  227 7.1 神经元模型 229 7.1.1 神经细胞 229 7.1.2 神经元模型 230 7.2 神经网络模型 234 7.2.1 二层前馈神经网络 234 7.2.2 二层前馈神经网络的实现 237 7.2.3 数值导数法 242 7.2.4 通过数值导数法应用梯度法 246 7.2.5 误差反向传播法 251 7.2.6 求.E / .vkj 252 7.2.7 求.E / .wji 256 7.2.8 误差反向传播法的实现 262 7.2.9 学习后的神经元的特性 268 7.3 使用Keras实现神经网络模型 270 7.3.1 二层前馈神经网络 271 7.3.2 Keras的使用流程 273 第8章 神经网络与深度学习的应用(手写数字识别)  277 8.1 MINST数据集 278 8.2 二层前馈神经网络模型 279 8.3 ReLU激活函数 286 8.4 空间过滤器 291 8.5 卷积神经网络 295 8.6 池化 300 8.7 Dropout 301 8.8 融合了各种特性的MNIST识别网络模型 302 第9章 无监督学习  307 9.1 二维输入数据 308 9.2 K-means算法 310 9.2.1 K-means算法的概要 310 9.2.2 步骤0:准备变量与初始化 311 9.2.3 步骤1:更新R 313 9.2.4 步骤2:更新μ 315 9.2.5 失真度量 318 9.3 混合高斯模型 320 9.3.1 基于概率的聚类 320 9.3.2 混合高斯模型 323 9.3.3 EM算法的概要 328 9.3.4 步骤0:准备变量与初始化 329 9.3.5 步骤1(步骤E):更新γ 330 9.3.6 步骤2(步骤M):更新π、μ和Σ 332 9.3.7 似然 336 第10章 本书小结  339 后记  349
pdf
Python渗透测试编程技术 方法与实践
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-04-02
简介:本书是资深网络安全教师多年工作经验的结晶。书中系统且深入地将 Python应用实例与网络安全相结合进行讲解,不仅讲述 Python的实际应用方法,而且从网络安全原理的角度分析 Python实现网络安全编程技术,真正做到理论与实践相结合。 全书共分为 16章。 第1章 概述·············································1 1.1 网络安全渗透测试······················1 1.2 开展网络安全渗透测试················3 1.2.1 前期与客户的交流··································4 1.2.2 收集情报······························································5 1.2.3 威胁建模······························································5 1.2.4 漏洞分析······························································6 1.2.5 漏洞利用······························································6 1.2.6 后渗透攻击·························································································6 1.2.7 报告··································································································7 1.3 网络安全渗透测试需要掌握的技能·················································7 1.4 小结········································8 第2章 Kali Linux 2使用基础··············9 2.1 简介········································9 2.2 安装Kali Linux 2······················10 2.2.1 在VMware虚拟机中安装Kali Linux 2···············10 2.2.2 在树莓派中安装Kali Linux 2···12 2.3 Kali Linux 2的常用操作·············15 2.3.1 文件系统····························17 2.3.2 常用命令····························19 2.3.3 对Kali Linux 2的网络进行配置·················21 2.3.4 在Kali Linux 2中安装第三方应用程序·················25 2.3.5 对Kali Linux 2网络进行SSH远程控制····················25 2.3.6 Kali Linux 2的更新操作········29 2.4 VMware的高级操作··················29 2.4.1 在VMware中安装其他操作系统···············29 2.4.2 VMware中的网络连接··········30 2.4.3 VMware中的快照与克隆功能···················32 2.5 小结······································33 第3章 Python语言基础部分·············34 3.1 Python语言基础·······················35 3.2 在Kali Linux 2系统中安装Python编程环境 ································ 35 3.3 编写第一个 Python程序 ············· 43 3.4 选择结构 ································ 44 3.5 循环结构 ································ 45 3.6 数字和字符串 ·························· 47 3.7 列表、元组和字典 ···················· 49 3.7.1 列表 ·································· 49 3.7.2 元组 ·································· 50 3.7.3 字典 ·································· 50 3.8 函数与模块 ····························· 51 3.9 文件处理 ································ 53 3.10 小结 ····································· 54 第 4章 安全渗透测试的常见模块·······55 4.1 Socket模块文件 ······················· 55 4.1.1 简介 ·································· 56 4.1.2 基本用法 ···························· 57 4.2 python-nmap模块文件 ················ 60 4.2.1 简介 ·································· 61 4.2.2 基本用法 ···························· 62 4.3 Scapy模块文件 ························ 66 4.3.1 简介 ·································· 66 4.3.2 基本用法 ···························· 67 4.4 小结 ······································ 76 第 5章 信息收集···································77 5.1 信息收集基础 ·························· 78 5.2 主机状态扫描 ·························· 79 5.2.1 基于 ARP的活跃主机发现技术 ·································· 80 5.2.2 基于 ICMP的活跃主机发现技术 ·································· 85 5.2.3 基于 TCP的活跃主机发现技术 ·································· 90 5.2.4 基于 UDP的活跃主机发现技术 ·································· 93 5.3 端口扫描 ································ 94 5.3.1 基于 TCP全开的端口扫描技术 ·································· 95 5.3.2 基于 TCP半开的端口扫描技术 ·································· 98 5.4 服务扫描 ·······························101 5.5 操作系统扫描 ·························105 5.6 小结 ·····································108 第 6章 对漏洞进行渗透(基础部分)······························110 6.1 测试软件的溢出漏洞 ················ 110 6.2 计算软件溢出的偏移地址 ·········· 114 6.3 查找JMP ESP指令··················· 117 6.4 编写渗透程序 ·························120 6.5 坏字符的确定 ·························123 6.6 使用Metasploit生成 shellcode ·····126 6.7 小结·····································130 第 7章 对漏洞进行渗透(高级部分) ······························131 7.1 SEH溢出简介 ·························132 7.2 编写基于 SEH溢出渗透模块的要点······································134 7.2.1 计算到 catch位置的偏移量····135 7.2.2 查找 POP/POP/RET地址·······141 7.3 编写渗透模块 ·························142 7.4 小结 ·····································145 [2] 第8章 网络嗅探与欺骗 ··············· 146 8.1 网络数据嗅探 ·························147 8.1.1 编写一个网络嗅探工具 ·········147 8.1.2 调用 Wireshark 查看数据包 ······························150 8.2 ARP的原理与缺陷 ···················152 8.3 ARP欺骗的原理 ······················153 8.4 中间人欺骗 ····························156 8.5 小结 ·····································164 第9章 拒绝服务攻击 ·················· 165 9.1 数据链路层的拒绝服务攻击 ·······166 9.2 网络层的拒绝服务攻击 ·············169 9.3 传输层的拒绝服务攻击 ·············171 9.4 基于应用层的拒绝服务攻击 ·······173 9.5 小结 ·····································179 第10章 身份认证攻击 ················ 181 10.1 简单网络服务认证的攻击 ·········182 10.2 编写破解密码字典 ··················183 10.3 FTP暴力破解模块 ··················187 10.4 SSH暴力破解模块 ··················191 10.5 Web暴力破解模块 ··················194 10.6 使用BurpSuite对网络认证服务的攻击 ····································201 10.6.1 基于表单的暴力破解 ··········202 10.6.2 绕过验证码(客户端) ·········212 10.6.3 绕过验证码(服务器端) ······214 10.7 小结 ····································215 第11章 编写远程控制工具 ·········· 216 11.1 远程控制工具简介 ··················216 11.2 远程控制程序的服务器端和客户端 ·································217 11.2.1 执行系统命令(subprocess模块) ···············217 11.2.2 远程控制的服务器端与客户端(socket模块实现) ···············221 11.3 将 Python 脚本转换为exe 文件 ·······························224 11.4 小结 ····································226 第12章 无线网络渗透(基础部分) ···················· 227 12.1 无线网络基础 ························228 12.2 Kali Linux 2 中的无线功能 ········229 12.2.1 无线网络嗅探的硬件需求和软件设置 ·························229 12.2.2 无线网络渗透使用的库文件 ····························231 12.3 AP扫描器 ····························231 12.4 无线网络数据嗅探器 ···············233 12.5 无线网络的客户端扫描器 ·········234 12.6 扫描隐藏的 SSID ····················235 12.7 绕过目标的 MAC 过滤机制 ······236 12.8 捕获加密的数据包 ··················238 12.8.1 捕获 WEP 数据包 ··············238 12.8.2 捕获 WPA 类型数据包 ········239 12.9 小结 ····································240 第13章 无线网络渗透(高级部分) ···················· 241 13.1 模拟无线客户端的连接过程 ······241 13.2 模拟 AP 的连接行为················245 13.3 编写 Deauth 攻击程序 ··············247 13.4 无线网络入侵检测 ··················248 13.5 小结 ····································248 第14章 对 Web 应用进行渗透测试 ······················ 249 14.1 渗透测试所需模块 ··················251 14.1.1 requests 库的使用 ··············252 14.1.2 其他常用模块文件 ·············253 14.2 处理 HTTP 头部 ·····················254 14.3 处理 Cookie ··························254 14.4 捕获 HTTP 基本认证数据包 ·································256 14.5 编写 Web 服务器扫描程序 ········257 14.6 暴力扫描出目标服务器上的所有页面 ······························259 14.7 验证码安全 ···························260 14.8 小结 ····································266 第15章 生成渗透测试报告 ·········· 267 15.1 渗透测试报告的相关理论 ·········268 15.1.1 目的 ·······························268 15.1.2 内容摘要 ·························268 15.1.3 包含的范围 ······················268 15.1.4 安全地交付渗透测试报告 ····269 15.1.5 渗透测试报告应包含的内容 ································269 15.2 处理 XML 文件 ······················269 15.3 生成 Excel 格式的渗透报告·······271 15.4 小结 ····································278 第16章 Python 取证相关模块 ······ 279 16.1 MD5值的计算 ·······················279 16.1.1 MD5的相关知识 ···············279 16.1.2 在Python中计算MD5 ········280 16.1.3 为文件计算MD5 ···············280 16.2 对IP地址进行地理定位 ···········281 16.3 时间取证 ······························282 16.4 注册表取证 ···························283 16.5 图像取证 ······························284 16.6 小结 ····································285
pdf
Python数据分析实战_2016版
标签:python
积分:1 类型:技术文档上传者:太白金星上传时间:2021-05-30
简介:本书由pandas项目创始人Wes McKinney亲笔撰写,详细介绍利用Python进行操作、处理、清洗和规整数据等方面的具体细节和基本要点。第2版针对Python 3.6进行全面修订和更新,涵盖新版的pandas、NumPy、IPython和Jupyter,并增加大量实际案例,可以帮助你高效解决一系列数据分析问题。 第2版中的主要更新包括: • 所有的代码,包括把Python的教程更新到了Python 3.6版本(第1版中使用的是Python 2.7) • 更新了Python第三方发布版Anaconda和其他所需Python包的安装指引 • 更新pandas库到2017年的新版 • 新增一章,关于更多高级pandas工具和一些使用提示 • 新增statsmodels和scikit-learn的简明使用介绍
pdf
跟着迪哥学Python数据分析与机器学习实战
标签:python
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2024-01-01
简介:本书结合了机器学习、数据分析和Python语言,通过案例以通俗易懂的方式讲解了如何将算法应用到实际任务。 全书共20章,大致分为4个部分。第1部分介绍了Python必备的工具包,包括科学计算库Numpy、数据分析库Pandas、可视化库Matplotlib;第2部分讲解了机器学习中的经典算法,例如回归算法、决策树、集成算法、支持向量机、聚类算法等;第3部分介绍了深度学习中的常用算法,包括神经网格、卷积神经网络、递归神经网络;第4部分是项目实战,基于真实数据集,将算法模型应用到实际业务中。 本书适合对人工智能、机器学习、数据分析等方向感兴趣的初学者和爱好者。 内容提要 前言 第1章 人工智能入门指南 1.1 AI时代首选Python 1.2 人工智能的核心——机器学习 1.3 环境配置 本章总结 第2章 科学计算库(Numpy) 2.1 Numpy的基本操作 2.2 索引与切片 2.3 数据类型与数值计算 2.4 常用功能模块 本章总结 第3章 数据分析处理库(Pandas) 3.1 数据预处理 3.2 数据分析 3.3 常用函数操作 3.4 大数据处理技巧 本章总结 第4章 数据可视化库(Matplotlib) 4.1 常规绘图方法 4.2 常用图表绘制 本章总结 第5章 回归算法 5.1 线性回归算法 5.2 梯度下降算法 5.3 逻辑回归算法 本章总结 第6章 逻辑回归项目实战——信用卡欺诈检测 6.1 数据分析与预处理 6.2 下采样方案 6.3 逻辑回归模型 6.4 过采样方案 项目总结 第7章 决策树 7.1 决策树原理 7.2 决策树剪枝策略 本章总结 第8章 集成算法 8.1 bagging算法 8.2 boosting算法 8.3 stacking模型 本章总结 第9章 随机森林项目实战——气温预测 9.1 随机森林建模 9.2 数据与特征对结果影响分析 9.3 模型调参 项目总结 第10章 特征工程 10.1 数值特征 10.2 文本特征 10.3 论文与benchmark 本章总结 第11章 贝叶斯算法项目实战——新闻分类 11.1 贝叶斯算法 11.2 新闻分类任务 项目总结 第12章 支持向量机 12.1 支持向量机工作原理 12.2 支持向量的作用 12.3 支持向量机涉及参数 12.4 案例:参数对结果的影响 本章总结 第13章 推荐系统 13.1 推荐系统的应用 13.2 协同过滤算法 13.3 隐语义模型 本章总结 第14章 推荐系统项目实战——打造音乐推荐系统 14.1 数据集清洗 14.2 基于相似度的推荐 14.3 基于矩阵分解的推荐 项目总结 第15章 降维算法 15.1 线性判别分析 15.2 主成分分析 本章总结 第16章 聚类算法 16.1 K-means算法 16.2 DBSCAN聚类算法 16.3 聚类实例 本章总结 第17章 神经网络 17.1 神经网络必备基础 17.2 神经网络整体架构 17.3 网络调优细节 本章总结 第18章 TensorFlow实战 18.1 TensorFlow基本操作 18.2 搭建神经网络进行手写字体识别 本章总结 第19章 卷积神经网络 19.1 卷积操作原理 19.2 经典网络架构 19.3 TensorFlow实战卷积神经网络 本章总结 第20章 神经网络项目实战——影评情感分析 20.1 递归神经网络 20.2 影评数据特征工程 20.3 构建RNN模型 项目总结
pdf
贝叶斯思维统计建模的Python学习法
标签:python
积分:1 类型:技术文档上传者:太白金星上传时间:2021-05-30
简介:这本书帮助那些希望用数学工具解决实际问题的人们,仅有的要求可能就是懂一点概率知识和程序设计。而贝叶斯方法是一种常见的利用概率学知识去解决不确定性问题的数学方法,对于一个计算机专业的人士,应当熟悉其应用在诸如机器翻译,语音识别,垃圾邮件检测等常见的计算机问题领域。 可是本书实际上会远远扩大你的视野,即使不是一个计算机专业的人士,你也可以看到在战争环境下(二战德军坦克问题),法律问题上(肾肿瘤的假设验证),体育博彩领域(棕熊队和加人队NFL比赛问题)贝叶斯方法的威力。怎么从有限的信息判断德军装甲部队的规模,你所支持的球队有多大可能赢得冠军,在《龙与地下城》勇士中,你应当对游戏角色属性的最大值有什么样的期望,甚至在普通的彩弹射击游戏中,拥有一些贝叶斯思维也能帮助到你提高游戏水平。 除此以外,本书在共计15章的篇幅中讨论了怎样解决十几个现实生活中的实际问题。在这些问题的解决过程中,作者还潜移默化的帮助读者形成了建模决策的方法论,建模误差和数值误差怎么取舍,怎样为具体问题建立数学模型,如何抓住问题中的主要矛盾(模型中的关键参数),再一步一步的优化或者验证模型的有效性或者局限性。在这个意义上,这本书又是一本关于数学建模的成功样本。
pdf
Python机器学习:数据分析与评分卡建模
标签:python人工智能机器学习
积分:1 类型:技术文档上传者:抛砖引玉上传时间:2023-04-02
简介:本书从零基础入门,内含丰富项目案例实战演练,详细讲解了Python的环境搭建、基本语法结构、趣味应用、分析与建模以及完整的项目案例。 第1章Python开发环境搭建 1.1利器1: Notepad编辑器 1.2利器2: Anaconda 1.3利器3: Miniconda 1.4利器4: PyCharm IDE工具 1.5利器5: Spyder 1.6利器6: Jupyter Notebook 1.7小结 第2章Python数据类型用法讲解 2.1变量 2.2字符串 2.3列表list 2.3.1增(append、insert、extend) 2.3.2删(pop、remove、del) 2.3.3改、查 2.3.4列表的循环遍历 2.3.5排序(sort,reverse) 2.3.6列表的其他操作符 2.4集合set 2.4.1创建集合 2.4.2集合的增、删 2.4.3集合的交、并、补等操作 2.5字典dictionary 2.5.1字典的查找操作 2.5.2字典的增、改操作 2.5.3字典的删操作 2.5.4字典的常用方法 2.5.5有序字典 2.6函数 2.7小结 第3章Python下的实际应用 3.1Python连接MySQL数据库 3.2Python连接MongoDB数据库 3.3结巴分词和词云图 3.4简单社交网络 3.5JSON解析 3.6OCR文字识别 3.7pyecharts 3.8stats简单统计分析 3.9小结 第4章异常样本识别 4.1逻辑回归、交叉验证与欠采样 4.2基于分布的异常样本识别 4.3小结 第5章自然语言处理案例——电商评论 5.1数据加载与预处理 5.2数据可视化 5.3文本分析 5.4情感分析 5.5文本分类 5.6小结 第6章模型融合 6.1分类模型的融合方法 6.2回归模型的融合方法 6.3小结 第7章创建金融申请评分卡 7.1变量选择 7.2各变量按照ln(odds)进行分箱 7.3计算WOE与IV值 7.4逻辑回归建模 7.5创建评分卡 7.6申请评分卡的评价、使用与监控 7.7小结 第8章社交网络分析与反欺诈 8.1Neo4j的下载与安装 8.2图形界面介绍 8.3Cypher语言 8.4Neo4j案例1——《天龙八部》的人物关系分析 8.5Neo4j案例2——金融场景中的社交网络分析 8.6Py2neo 8.7小结 参考文献 附录APyCharm安装步骤 附录BMySQL安装步骤 附录CMongoDB安装步骤 附录DNeo4j安装步骤 附录Ejdk安装步骤 附录F第三方包安装步骤
pdf
数据科学入门
标签:大数据
积分:1 类型:技术文档上传者:sigma上传时间:2022-09-18
简介:数据科学是一个蓬勃发展、前途无限的行业,有人将数据科学家称为“21世纪头号性感职业”。本书从零开始讲解数据科学工作,教授数据科学工作所必需的黑客技能,并带领读者熟悉数据科学的核心知识——数学和统计学。 作者选择了功能强大、简单易学的Python语言环境,亲手搭建工具和实现算法,并精心挑选了注释良好、简洁易读的实现范例。书中涵盖的所有代码和数据都可以在GitHub上下载。 通过阅读本书,你可以: 学到一堂Python速成课; 学习线性代数、统计和概率论的基本方法,了解它们是怎样应用在数据科学中的; 掌握如何收集、探索、清理、转换和操作数据; 深入理解机器学习的基础; 运用k-近邻、朴素贝叶斯、线性回归和逻辑回归、决策树、神经网络和聚类等各种数据模型; 探索推荐系统、自然语言处理、网络分析、MapReduce和数据库。 前言  xiii 第1章 导论  1 1.1 数据的威力  1 1.2 什么是数据科学  1 1.3 激励假设:DataSciencester  2 1.3.1 寻找关键联系人  3 1.3.2 你可能知道的数据科学家  5 1.3.3 工资与工作年限  8 1.3.4 付费账户  10 1.3.5 兴趣主题  11 1.4 展望  12 第2章 Python速成  13 2.1 基础内容  13 2.1.1 Python获取  13 2.1.2 Python之禅  14 2.1.3 空白形式  14 2.1.4 模块  15 2.1.5 算法  16 2.1.6 函数  16 2.1.7 字符串  17 2.1.8 异常  18 2.1.9 列表  18 2.1.10 元组  19 2.1.11 字典  20 2.1.12 集合  22 2.1.13 控制流  23 2.1.14 真和假  24 2.2 进阶内容  25 2.2.1 排序  25 2.2.2 列表解析  25 2.2.3 生成器和迭代器  26 2.2.4 随机性  27 2.2.5 正则表达式  28 2.2.6 面向对象的编程  28 2.2.7 函数式工具  29 2.2.8 枚举  31 2.2.9 压缩和参数拆分  31 2.2.10 args 和kwargs  32 2.2.11 欢迎来到DataSciencester  33 2.3 延伸学习  33 第3章 可视化数据  34 3.1 matplotlib  34 3.2 条形图  36 3.3 线图  40 3.4 散点图  41 3.5 延伸学习  44 第4章 线性代数  45 4.1 向量  45 4.2 矩阵  49 4.3 延伸学习  51 第5章 统计学  53 5.1 描述单个数据集  53 5.1.1 中心倾向  55 5.1.2 离散度  56 5.2 相关  58 5.3 辛普森悖论  60 5.4 相关系数其他注意事项  61 5.5 相关和因果  62 5.6 延伸学习  63 第6章 概率  64 6.1 不独立和独立  64 6.2 条件概率  65 6.3 贝叶斯定理  66 6.4 随机变量  68 6.5 连续分布  68 6.6 正态分布  69 6.7 中心极限定理  72 6.8 延伸学习  74 第7章 假设与推断  75 7.1 统计假设检验  75 7.2 案例:掷硬币  75 7.3 置信区间  79 7.4 P-hacking  80 7.5 案例:运行A/B测试  81 7.6 贝叶斯推断  82 7.7 延伸学习  85 第8章 梯度下降  86 8.1 梯度下降的思想  86 8.2 估算梯度  87 8.3 使用梯度  90 8.4 选择正确步长  90 8.5 综合  91 8.6 随机梯度下降法  92 8.7 延伸学习  93 第9章 获取数据  94 9.1 stdin和stdout  94 9.2 读取文件  96 9.2.1 文本文件基础  96 9.2.2 限制的文件  97 9.3 网络抓取  99 9.3.1 HTML 和解析方法  99 9.3.2 案例:关于数据的O\'Reilly图书  101 9.4 使用API  105 9.4.1 JSON(和XML)  105 9.4.2 使用无验证的API  106 9.4.3 寻找API  107 9.5 案例:使用Twitter API  108 9.6 延伸学习  111 第10章 数据工作  112 10.1 探索你的数据  112 10.1.1 探索一维数据  112 10.1.2 二维数据  114 10.1.3 多维数据  116 10.2 清理与修改  117 10.3 数据处理  119 10.4 数据调整  122 10.5 降维  123 10.6 延伸学习  129 第11章 机器学习  130 11.1 建模  130 11.2 什么是机器学习  131 11.3 过拟合和欠拟合  131 11.4 正确性  134 11.5 偏倚- 方差权衡  136 11.6 特征提取和选择  137 11.7 延伸学习  138 第12章 k近邻法  139 12.1 模型  139 12.2 案例:最喜欢的编程语言  141 12.3 维数灾难  146 12.4 延伸学习  151 第13章 朴素贝叶斯算法  152 13.1 一个简易的垃圾邮件过滤器  152 13.2 一个复杂的垃圾邮件过滤器  153 13.3 算法的实现  154 13.4 测试模型  156 13.5 延伸学习  158 第14章 简单线性回归  159 14.1 模型  159 14.2 利用梯度下降法  162 14.3 最大似然估计  162 14.4 延伸学习  163 第15章 多重回归分析  164 15.1 模型  164 15.2 最小二乘模型的进一步假设  165 15.3 拟合模型  166 15.4 解释模型  167 15.5 拟合优度  167 15.6 题外话:Bootstrap  168 15.7 回归系数的标准误差  169 15.8 正则化  170 15.9 延伸学习  172 第16章 逻辑回归  173 16.1 问题  173 16.2 Logistic函数  176 16.3 应用模型  178 16.4 拟合优度  179 16.5 支持向量机  180 16.6 延伸学习  184 第17章 决策树  185 17.1 什么是决策树  185 17.2 熵  187 17.3 分割之熵  189 17.4 创建决策树  190 17.5 综合运用  192 17.6 随机森林  194 17.7 延伸学习  195 第18章 神经网络  196 18.1 感知器  196 18.2 前馈神经网络  198 18.3 反向传播  201 18.4 实例:战胜CAPTCHA  202 18.5 延伸学习  206 第19章 聚类分析  208 19.1 原理  208 19.2 模型  209 19.3 示例:聚会  210 19.4 选择聚类数目k  213 19.5 示例:对色彩进行聚类  214 19.6 自下而上的分层聚类  216 19.7 延伸学习  221 第20章 自然语言处理  222 20.1 词云  222 20.2 n-grams模型   224 20.3 语法  227 20.4 题外话:吉布斯采样  229 20.5 主题建模  231 20.6 延伸学习  236 第21章 网络分析  237 21.1 中介中心度  237 21.2 特征向量中心度  242 21.2.1 矩阵乘法  242 21.2.2 中心度  244 21.3 有向图与PageRank  246 21.4 延伸学习  248 第22章 推荐系统  249 22.1 手工甄筛  250 22.2 推荐流行事物  250 22.3 基于用户的协同过滤方法  251 22.4 基于物品的协同过滤算法  254 22.5 延伸学习  256 第23章 数据库与SQL  257 23.1 CREATE TABLE与INSERT  257 23.2 UPDATE  259 23.3 DELETE  260 23.4 SELECT  260 23.5 GROUP BY  262 23.6 ORDER BY  264 23.7 JOIN  264 23.8 子查询  267 23.9 索引  267 23.10 查询优化  268 23.11 NoSQL  268 23.12 延伸学习  269 第24章 MapReduce  270 24.1 案例:单词计数  270 24.2 为什么是MapReduce  272 24.3 更加一般化的MapReduce  272 24.4 案例:分析状态更新  273 24.5 案例:矩阵计算  275 24.6 题外话:组合器  276 24.7 延伸学习  277 第25章 数据科学前瞻  278 25.1 IPython  278 25.2 数学  279 25.3 不从零开始  279 25.3.1 NumPy  279 25.3.2 pandas  280 25.3.3 scikit-learn  280 25.3.4 可视化  280 25.3.5 R  281 25.4 寻找数据  281 25.5 从事数据科学  281 25.5.1 Hacker News  282 25.5.2 消防车  282 25.5.3 T 恤  282 25.5.4 你呢?  283 作者简介  284 关于封面  284
pdf
PYTHON自然语言处理中文翻译 NLTK 中文版
标签:python
积分:1 类型:技术文档上传者:太白金星上传时间:2021-05-30
简介:NLTK是自然语言处理领域中非常受欢迎和广泛使用的Python库。NLTK的优点在于其简单性,其中大多数复杂的自然语言处理任务使用几行代码即可完成。本书旨在讲述如何用Python和NLTK解决各种自然语言处理任务并开发机器学习方面的应用。本书介绍了NLTK的基本模块,讲述了采用NLTK实现自然语言处理的大量技巧,讨论了一些文本处理方法和语言处理技术,展示了使用Python实现NLP项目的大量实践经验。本书主要内容包括文本挖掘/NLP任务中所需的所有预处理步骤,如何使用Python 3的NLTK 3进行文本处理,如何通过Python开展NLP项目。 本书适合NLP和机器学习领域的爱好者、Python程序员以及机器学习领域的研究人员阅读。

评论

登录/注册

意见反馈

求资源

回顶部

最新下载

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
×

已收藏到:个人中心—我的下载—收藏