热搜关键词: 模拟电路单片机编程FPGARISC-V

pdf

统计学习方法(第2版) (李航)

  • 1星
  • 2022-12-13
  • 91.93MB
  • 需要1积分
  • 2次下载
  • favicon收藏
  • rep举报
  • free评论
标签: 人工智能

人工智能

机器学习

机器学习

本书全面系统地介绍了统计学习的主要方法,共分两篇。第一篇系统介绍监督学习的各种重要方法,包括决策树、感知机、支持向量机、最大熵模型与逻辑斯谛回归、推进法、多类分类法、EM算法、隐马尔科夫模型和条件随机场等;第二篇介绍无监督学习,包括聚类、奇异值、主成分分析、潜在语义分析等。两篇中,除概论和总结外,每章介绍一或二种方法。

第1篇监督学习

第  1章统计学习及监督学习概论  .  3

1.1统计学习  .  3

1.2统计学习的分类  .  5

1.2.1基本分类  .  6

1.2.2按模型分类  11

1.2.3按算法分类  13

1.2.4按技巧分类  13

1.3统计学习方法三要素  15

1.3.1模型  15

1.3.2策略  16

1.3.3算法  19

1.4模型评估与模型选择  19

1.4.1训练误差与测试误差  19

1.4.2过拟合与模型选择  20

1.5正则化与交叉验证  23

1.5.1正则化  23

1.5.2交叉验证  .  24

1.6泛化能力  .  24

1.6.1泛化误差  .  24

1.6.2泛化误差上界  25

1.7生成模型与判别模型  27

1.8监督学习应用  28

1.8.1分类问题  .  28

1.8.2标注问题  .  30

1.8.3回归问题  .  32

本章概要  33

继续阅读  33

习题  33

参考文献  34

第  2章感知机  35

2.1感知机模型  35

2.2感知机学习策略  .  36

2.2.1数据集的线性可分性  36

2.2.2感知机学习策略  .  37

2.3感知机学习算法  .  38

2.3.1感知机学习算法的原始形式  38

2.3.2算法的收敛性  41  ...

2.3.3感知机学习算法的对偶形式43

本章概要46

继续阅读46

习题46

参考文献47

第3章k近邻法49

3.1k近邻算法49

3.2k近邻模型50

3.2.1模型50

3.2.2距离度量.50

3.2.3k值的选择52

3.2.4分类决策规则52

3.3k近邻法的实现:kd树.53

3.3.1构造kd树.53

3.3.2搜索kd树.55

本章概要57

继续阅读57

习题58

参考文献58

第4章朴素贝叶斯法59

4.1朴素贝叶斯法的学习与分类59

4.1.1基本方法.59

4.1.2后验概率最大化的含义.61

4.2朴素贝叶斯法的参数估计62

4.2.1极大似然估计62

4.2.2学习与分类算法.62

4.2.3贝叶斯估计64

本章概要65

继续阅读66

习题66

参考文献66

第5章决策树67

5.1决策树模型与学习67

5.1.1决策树模型67

5.1.2决策树与if-then规则.68

5.1.3决策树与条件概率分布.68

5.1.4决策树学习69

5.2特征选择.71

5.2.1特征选择问题71

5.2.2信息增益.72

5.2.3信息增益比76

5.3决策树的生成76

5.3.1ID3算法.76

5.3.2C4.5的生成算法78

5.4决策树的剪枝78

5.5CART算法.80

5.5.1CART生成.81

5.5.2CART剪枝.85

本章概要87

继续阅读88

习题89

参考文献89

第6章逻辑斯谛回归与最大熵模型91

6.1逻辑斯谛回归模型91

6.1.1逻辑斯谛分布91

6.1.2二项逻辑斯谛回归模型.92

6.1.3模型参数估计93

6.1.4多项逻辑斯谛回归94

6.2最大熵模型94

6.2.1最大熵原理94

6.2.2最大熵模型的定义96

6.2.3最大熵模型的学习98

6.2.4极大似然估计.102

6.3模型学习的最优化算法103

6.3.1改进的迭代尺度法.103

6.3.2拟牛顿法107

本章概要.108

继续阅读.109

习题.109

参考文献.109

第7章支持向量机111

7.1线性可分支持向量机与硬间隔最大化112

7.1.1线性可分支持向量机.112

7.1.2函数间隔和几何间隔.113

7.1.3间隔最大化.115

7.1.4学习的对偶算法120

7.2线性支持向量机与软间隔最大化.125

7.2.1线性支持向量机125

7.2.2学习的对偶算法127

7.2.3支持向量130

7.2.4合页损失函数.131

7.3非线性支持向量机与核函数.133

7.3.1核技巧.133

7.3.2正定核.136

7.3.3常用核函数.140

7.3.4非线性支持向量分类机141

7.4序列最小最优化算法.142

7.4.1两个变量二次规划的求解方法143

7.4.2变量的选择方法147

7.4.3SMO算法149

本章概要.149

继续阅读.152

习题.152

参考文献.153

第8章提升方法155

8.1提升方法AdaBoost算法.155

8.1.1提升方法的基本思路.155

8.1.2AdaBoost算法.156

8.1.3AdaBoost的例子158

8.2AdaBoost算法的训练误差分析160

8.3AdaBoost算法的解释.162

8.3.1前向分步算法.162

8.3.2前向分步算法与AdaBoost.164

8.4提升树.166

8.4.1提升树模型.166

8.4.2提升树算法.166

8.4.3梯度提升170

本章概要.172

继续阅读.172

习题.173

参考文献.173

第9章EM算法及其推广.175

9.1EM算法的引入175

9.1.1EM算法175

9.1.2EM算法的导出179

9.1.3EM算法在无监督学习中的应用.181

9.2EM算法的收敛性.181

9.3EM算法在高斯混合模型学习中的应用.183

9.3.1高斯混合模型.183

9.3.2高斯混合模型参数估计的EM算法.183

9.4EM算法的推广187

9.4.1F函数的极大-极大算法.187

9.4.2GEM算法189

本章概要.191

继续阅读.192

习题.192

参考文献.192

第10章隐马尔可夫模型193

10.1隐马尔可夫模型的基本概念193

10.1.1隐马尔可夫模型的定义193

10.1.2观测序列的生成过程196

10.1.3隐马尔可夫模型的3个基本问题.196

10.2概率计算算法197

10.2.1直接计算法.197

10.2.2前向算法198

10.2.3后向算法201

10.2.4一些概率与期望值的计算.202

10.3学习算法203

10.3.1监督学习方法203

10.3.2Baum-Welch算法.204

10.3.3Baum-Welch模型参数估计公式.206

10.4预测算法207

10.4.1近似算法208

10.4.2维特比算法.208

本章概要.212

继续阅读.212

习题.213

参考文献.213

第11章条件随机场215

11.1概率无向图模型215

11.1.1模型定义215

11.1.2概率无向图模型的因子分解217

11.2条件随机场的定义与形式.218

11.2.1条件随机场的定义.218

11.2.2条件随机场的参数化形式.220

11.2.3条件随机场的简化形式221

11.2.4条件随机场的矩阵形式223

11.3条件随机场的概率计算问题224

11.3.1前向-后向算法.225

11.3.2概率计算225

11.3.3期望值的计算226

11.4条件随机场的学习算法227

11.4.1改进的迭代尺度法.227

11.4.2拟牛顿法230

11.5  条件随机场的预测算法231

本章概要.235  [2] 

继续阅读.235

习题.236

参考文献.236

第12章监督学习方法总结237

第2篇无监督学习

第13章无监督学习概论245

13.1无监督学习基本原理245

13.2基本问题246

13.3机器学习三要素249

13.4  无监督学习方法249

本章概要.253

继续阅读.254

参考文献.254

第14章聚类方法255

14.1聚类的基本概念255

14.1.1相似度或距离255

14.1.2类或簇258

14.1.3类与类之间的距离.260

14.2层次聚类261

14.3k均值聚类.263

14.3.1模型.263

14.3.2策略.263

14.3.3算法.264

14.3.4算法特性266

本章概要.267

继续阅读.268

习题.269

参考文献.269

第15章奇异值分解271

15.1奇异值分解的定义与性质.271

15.1.1定义与定理.271

15.1.2紧奇异值分解与截断奇异值分解.276

15.1.3几何解释279

15.1.4主要性质280

15.2奇异值分解的计算.282

15.3奇异值分解与矩阵近似286

15.3.1弗罗贝尼乌斯范数.286

15.3.2矩阵的最优近似287

15.3.3矩阵的外积展开式.290

本章概要.292

继续阅读.294

习题.294

参考文献.295

第16章主成分分析297

16.1总体主成分分析297

16.1.1基本想法297

16.1.2定义和导出.299

16.1.3主要性质301

16.1.4主成分的个数306

16.1.5规范化变量的总体主成分.309

16.2样本主成分分析310

16.2.1样本主成分的定义和性质.310

16.2.2相关矩阵的特征值分解算法312

16.2.3数据矩阵的奇异值分解算法315

本章概要.317

继续阅读.319

习题.320

参考文献.320

第17章潜在语义分析.321

17.1单词向量空间与话题向量空间321

17.1.1单词向量空间321

17.1.2话题向量空间324

17.2潜在语义分析算法.327

17.2.1矩阵奇异值分解算法327

17.2.2例子.329

17.3非负矩阵分解算法.331

17.3.1非负矩阵分解331

17.3.2潜在语义分析模型.332

17.3.3非负矩阵分解的形式化332

17.3.4算法.333

本章概要.335

继续阅读.337

习题.337

参考文献.337

第18章概率潜在语义分析339

18.1概率潜在语义分析模型339

18.1.1基本想法339

18.1.2生成模型340

18.1.3共现模型341

18.1.4模型性质342

18.2  概率潜在语义分析的算法.345

本章概要.347

继续阅读.348

习题.348

参考文献.349

第19章马尔可夫链蒙特卡罗法351

19.1蒙特卡罗法.351

19.1.1随机抽样351

19.1.2数学期望估计353

19.1.3积分计算353

19.2马尔可夫链.355

19.2.1基本定义355

19.2.2离散状态马尔可夫链356

19.2.3连续状态马尔可夫链362

19.2.4马尔可夫链的性质.363

19.3马尔可夫链蒙特卡罗法367

19.3.1基本想法367

19.3.2基本步骤369

19.3.3马尔可夫链蒙特卡罗法与统计学习369

19.4Metropolis-Hastings算法.370

19.4.1基本原理370

19.4.2Metropolis-Hastings算法.373

19.4.3单分量Metropolis-Hastings算法374

19.5吉布斯抽样.375

19.5.1基本原理376

19.5.2吉布斯抽样算法377

19.5.3抽样计算378

本章概要.379

继续阅读.381

习题.381

参考文献.383

第20章潜在狄利克雷分配385

20.1狄利克雷分布385

20.1.1分布定义385

20.1.2共轭先验389

20.2潜在狄利克雷分配模型390

20.2.1基本想法390

20.2.2模型定义391

20.2.3概率图模型.393

20.2.4随机变量序列的可交换性.394

20.2.5概率公式395

20.3LDA的吉布斯抽样算法.396

20.3.1基本想法396

20.3.2算法的主要部分397

20.3.3算法的后处理399

20.3.4算法.399

20.4LDA的变分EM算法401

20.4.1变分推理401

20.4.2变分EM算法.403

20.4.3算法推导404

20.4.4算法总结411

本章概要.411

继续阅读.413

习题.413

参考文献.413

第21章PageRank算法415

21.1PageRank的定义415

21.1.1基本想法415

21.1.2有向图和随机游走模型416

21.1.3PageRank的基本定义.418

21.1.4PageRank的一般定义.421

21.2PageRank的计算423

21.2.1迭代算法423

21.2.2幂法.425

21.2.3代数算法430

本章概要.430

继续阅读.432

习题.432

参考文献.432

第22章无监督学习方法总结.435

22.1无监督学习方法的关系和特点435

22.1.1各种方法之间的关系435

22.1.2无监督学习方法436

22.1.3基础机器学习方法.437

22.2  话题模型之间的关系和特点437

参考文献.438

附录A梯度下降法439

附录B牛顿法和拟牛顿法.441

附录C拉格朗日对偶性447

附录D矩阵的基本子空间451

附录EKL散度的定义和狄利克雷分布的性质.455

索引.457

推荐帖子 最新更新时间:2023-01-25 15:55

单片机串行通信的结构组成及工作原理解析
      串行通信方式是数据传输的一种方式。这种方式操作简单,连接少,传输距离远,因而在信息传送,尤其是在远距离的传送中得到了广泛的应用。目前常用的串行通信方式有RS -232 C,RS - 422 A,RS - 423 A及RS - 485 A等。RS - 232 C是通用串行接口,以电平形式传输信号,只需3根线就可在两个设备之间交换信息,最高传输速率为20 Kb/s,此时允许设备之间的最远距
火辣西米秀 微控制器 MCU
Wi-Fi&BLE SoC NANO主控板(WBRU)开发板 XANWE先未 评测01--摄影欣赏
Wi-Fi&BLE SoC NANO主控板(WBRU)开发板 XANWE先未 评测01--摄影欣赏 性能,价格,实用型,稳定性,颜值,哪个更重要? 对于芯片来说,当然是性能价格还有稳定性,是应用产品级的必选项,对于某些开发板来说,好比工程师手中的玩具,颜值和可玩性也会加分哦。有需求出产品,爱玩出情怀产品,你说呢? 拍摄原片,文末网盘链接奉上,需要的朋友留存。 我是XANWE
xanwe RF/无线
有奖活动|逛安富利人工智能云会展,解锁AI资料,赢好礼!
【活动详情】逛安富利人工智能云会展,解锁AI资料,赢好礼!   【活动时间】即日起——2021年6月19日   【参与方式】 Step1:点击>>"我要注册",进入安富利人工智能云会展后,点击页面右上角“ 登录|注册 ”按钮,注册云会展; Step2:进入>>活动详情页“解锁路线”区,根据路线提示,完成相应任务即可。   PS:活动结束后,我们将在完
EEWORLD社区 综合技术交流
基于FPGA的线阵CCD驱动时序电路设计
电荷耦合器CCD具有尺寸小、精度高、功耗低、寿命长、测量精度高等优点,在图像传感和非接触测量领域得到了广泛应用。由于CCD芯片的转换效率、信噪比等光电特性只有在合适的时序驱动下才能达到器件工艺设计所要求的最佳值,以及稳定的输出信号,因此驱动时序的设计是应用的关键问题之一。通用CCD驱动设计有4种实现方式:EPROM驱动法;IC驱动法;单片机驱动法以及可编程逻辑器件(PLD)驱动法。   基于FP
led2015 FPGA/CPLD
C语言设计TMS320C2X/C5X应用程序之函数调用规则
函数调用规则         定点C编译器也规定了一组严格的函数调用规则。除了特殊的运行支持函数外,任何调用C函数或被C函数所调用的函数都必须遵循这些规则,否则就会破坏C环境,造成不可预测的后果。        (一)参数传递         将参数传递给一个C函数时,必须遵循下列规则:         (1)函数调用前,将多数压入运行堆栈。。         (2)以逆序传递参数。也就
Aguilera DSP 与 ARM 处理器
基于MSP430FW427的无磁水表设计方案
1. MSP430FW42x单片机介绍  MSP430FW42x系列单片机是TI公司针对电子式流量与旋转运动检测最新开发的专用MCU芯片,它将超低功耗MCU、旋转扫描接口(SCAN IF)和液晶显示LCD驱动模块完美地结合在一起。该器件的超低功耗结构和流量检测模块不仅延长了电池的寿命,同时还提高了仪表的精度与性能。MSP430FW42x的典型应用包括热量仪表、热水和冷水仪表、气体仪表和工业流量计、
Aguilera 微控制器 MCU
【2022得捷电子创新设计大赛】家用智能仪表盘——ESP-IDF+VSCode 环境搭建
本帖最后由 pomin 于 2022-7-8 16:14 编辑 > 手动搭建 esp32 的 vscode 开发环境,虽然 vscode 有 esp-idf 的插件,但是有些卡顿,用起来没有终端灵活 > > ESP-IDF v4.4 官方文档:[https://docs.espressif.com/projects/esp-idf/zh_CN/v4.4](https://docs.espr
pomin Digi-Key得捷电子技术专区
各位请教了,STM32CUBEMX+SPI+DMA 方式始终发送不对,我的芯片STM32F103RC
SPI及DMA初始化都是STM32CUBEMX自动生成的。外部存储器是LY68L6400.我用HAL_SPI_Transmit(&hspi2,(uint8_t * )TX_data, 1020, 0xfffffff); 函数向存储器写数,然后用函数HAL_SPI_Receive(&hspi2, (uint8_t * )RX_data, 1024, 0XFFFFF); 读出来是对的,但是
ZHANGXUEJIE stm32/stm8

评论

G986
谢谢楼主的分享!
2023-01-25 15:58:04
登录/注册

意见反馈

求资源

回顶部
查找数据手册?

EEWorld Datasheet 技术支持

热门活动

相关视频

可能感兴趣器件

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版 版权声明

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2022 EEWORLD.com.cn, Inc. All rights reserved
×