深入浅出深度学习：原理剖析与Python实践

✍ Scribed by 黄安埠

• Publisher: 电子工业出版社
• Year: 2017
• Tongue: Chinese
• Leaves: 356
• Series: 博文视点AI系列
• Category: Library

✦ Synopsis

《深入浅出深度学习：原理剖析与Python实践》介绍了深度学习相关的原理与应用，全书共分为三大部分，第一部分主要回顾了深度学习的发展历史，以及Theano的使用；第二部分详细讲解了与深度学习相关的基础知识，包括线性代数、概率论、概率图模型、机器学习和最优化算法；在第三部分中，针对若干核心的深度学习模型，如自编码器、受限玻尔兹曼机、递归神经网络和卷积神经网络等进行详细的原理分析与讲解，并针对不同的模型给出相应的具体应用。

《深入浅出深度学习：原理剖析与Python实践》适合有一定高等数学、机器学习和Python编程基础的在校学生、高校研究者或在企业中从事深度学习的工程师使用，书中对模型的原理与难点进行了深入分析，在每一章的最后都提供了详细的参考文献，读者可以对相关的细节进行更深入的研究。最后，理论与实践相结合，《深入浅出深度学习：原理剖析与Python实践》针对常用的模型分别给出了相应的应用，读者也可以在Github中下载和查看《深入浅出深度学习：原理剖析与Python实践》的代码（https://github.com/innovation-cat/DeepLearningBook）。

✦ Table of Contents

扉页
版权页
推荐序1
推荐序2
前言
目录
第1部分 概要
1 绪论
𝟏.𝟏 人工智能、机器学习与深度学习的关系
𝟏.𝟏.𝟏 人工智能——机器推理
𝟏.𝟏.𝟐 机器学习——数据驱动的科学
𝟏.𝟏.𝟑 深度学习——大脑的仿真
𝟏.𝟐 深度学习的发展历程
𝟏.𝟑 深度学习技术概述
𝟏.𝟑.𝟏 从低层到高层的特征抽象
𝟏.𝟑.𝟐 让网络变得更深
𝟏.𝟑.𝟑 自动特征提取
𝟏.𝟒 深度学习框架
参考文献
2 Theano基础
𝟐.𝟏 符号变量
𝟐.𝟐 符号计算的抽象——符号计算图模型
𝟐.𝟑 函数
𝟐.𝟑.𝟏 函数的定义
𝟐.𝟑.𝟐 𝐋𝐨𝐠𝐢𝐬𝐭𝐢𝐜回归
𝟐.𝟑.𝟑 函数的复制
𝟐.𝟒 条件表达式
𝟐.𝟓 循环
𝟐.𝟔 共享变量
𝟐.𝟕 配置
𝟐.𝟕.𝟏 通过𝐓𝐇𝐄𝐀𝐍𝐎_𝐅𝐋𝐀𝐆𝐒配置
𝟐.𝟕.𝟐 通过.𝐭𝐡𝐞𝐚𝐧𝐨𝐫𝐜文件配置
𝟐.𝟖 常用的𝐃𝐞𝐛𝐮𝐠技巧
𝟐.𝟗 小结
第2部分 数学与机器学习基础篇
3 线性代数基础
𝟑.𝟏 标量、向量、矩阵和张量
𝟑.𝟐 矩阵初等变换
𝟑.𝟑 线性相关与向量空间
𝟑.𝟒 范数
𝟑.𝟒.𝟏 向量范数
𝟑.𝟒.𝟐 矩阵范数
𝟑.𝟓 特殊的矩阵与向量
𝟑.𝟔 特征值分解
𝟑.𝟕 奇异值分解
𝟑.𝟖 迹运算
𝟑.𝟗 样例：主成分分析
参考文献：
4 概率统计基础
𝟒.𝟏 样本空间与随机变量
𝟒.𝟐 概率分布与分布函数
𝟒.𝟑 一维随机变量
𝟒.𝟑.𝟏 离散型随机变量和分布律
𝟒.𝟑.𝟐 连续型随机变量和概率密度函数
𝟒.𝟒 多维随机变量
𝟒.𝟒.𝟏 离散型二维随机变量和联合分布律
𝟒.𝟒.𝟐 连续型二维随机变量和联合密度函数
𝟒.𝟓 边缘分布
𝟒.𝟔 条件分布与链式法则
𝟒.𝟔.𝟏 条件概率
𝟒.𝟔.𝟐 链式法则
𝟒.𝟕 多维随机变量的独立性分析
𝟒.𝟕.𝟏 边缘独立
𝟒.𝟕.𝟐 条件独立
𝟒.𝟖 数学期望、方差、协方差
𝟒.𝟖.𝟏 数学期望
𝟒.𝟖.𝟐 方差
𝟒.𝟖.𝟑 协方差
4.8.4 协方差矩阵
𝟒.𝟗 信息论基础
𝟒.𝟗.𝟏 信息熵
𝟒.𝟗.𝟐 条件熵
𝟒.𝟗.𝟑 互信息
𝟒.𝟗.𝟒 相对熵与交叉熵
参考文献：
5 概率图模型
𝟓.𝟏 生成模型与判别模型
𝟓.𝟐 图论基础
𝟓.𝟐.𝟏 图的结构
𝟓.𝟐.𝟐 子图
𝟓.𝟐.𝟑 路径、迹、环与拓扑排序
𝟓.𝟑 贝叶斯网络
𝟓.𝟑.𝟏 因子分解
𝟓.𝟑.𝟐 局部马尔科夫独立性断言
𝟓.𝟑.𝟑 𝐈-𝐌𝐚𝐩与因子分解
𝟓.𝟑.𝟒 有效迹
𝟓.𝟑.𝟓 𝐃-分离与全局马尔科夫独立性
𝟓.𝟒 马尔科夫网络
𝟓.𝟒.𝟏 势函数因子与参数化表示
𝟓.𝟒.𝟐 马尔科夫独立性
𝟓.𝟓 变量消除
𝟓.𝟔 信念传播
𝟓.𝟔.𝟏 聚类图
𝟓.𝟔.𝟐 团树
𝟓.𝟔.𝟑 由变量消除构建团树
5.7 MCMC采样原理
𝟓.𝟕.𝟏 随机采样
𝟓.𝟕.𝟐 随机过程与马尔科夫链
𝟓.𝟕.𝟑 𝐌𝐂𝐌𝐂采样
𝟓.𝟕.𝟒 𝐆𝐢𝐛𝐛𝐬采样
𝟓.𝟖 参数学习
𝟓.𝟖.𝟏 最大似然估计
𝟓.𝟖.𝟐 期望最大化算法
𝟓.𝟗 小结
参考文献：
6 机器学习基础
𝟔.𝟏 线性模型
𝟔.𝟏.𝟏 线性回归
𝟔.𝟏.𝟐 𝐋𝐨𝐠𝐢𝐬𝐭𝐢𝐜回归
𝟔.𝟏.𝟑 广义的线性模型
𝟔.𝟐 支持向量机
𝟔.𝟐.𝟏 最优间隔分类器
𝟔.𝟐.𝟐 对偶问题
𝟔.𝟐.𝟑 核函数
𝟔.𝟑 朴素贝叶斯
𝟔.𝟒 树模型
𝟔.𝟒.𝟏 特征选择
𝟔.𝟒.𝟐 剪枝策略
𝟔.𝟓 聚类
𝟔.𝟓.𝟏 距离度量
𝟔.𝟓.𝟐 层次聚类
𝟔.𝟓.𝟑 𝐊-𝐦𝐞𝐚𝐧𝐬聚类
𝟔.𝟓.𝟒 谱聚类
参考文献：
7 数值计算与最优化
𝟕.𝟏 无约束极小值的最优化条件
𝟕.𝟐 梯度下降
𝟕.𝟐.𝟏 传统更新策略
𝟕.𝟐.𝟐 动量更新策略
𝟕.𝟐.𝟑 改进的动量更新策略
𝟕.𝟐.𝟒 自适应梯度策略
𝟕.𝟑 共轭梯度
𝟕.𝟒 牛顿法
𝟕.𝟓 拟牛顿法
𝟕.𝟓.𝟏 拟牛顿条件
𝟕.𝟓.𝟐 𝐃𝐅𝐏算法
𝟕.𝟓.𝟑 𝐁𝐅𝐆𝐒算法
𝟕.𝟓.𝟒 𝐋-𝐁𝐅𝐆𝐒算法
𝟕.𝟔 约束最优化条件
参考文献：
第3部分 理论与应用篇
8 前馈神经网络
𝟖.𝟏 生物神经元结构
𝟖.𝟐 人工神经元结构
𝟖.𝟑 单层感知机
𝟖.𝟒 多层感知机
𝟖.𝟓 激活函数
𝟖.𝟓.𝟏 激活函数的作用
𝟖.𝟓.𝟐 常用的激活函数
参考文献：
9 反向传播与梯度消失
𝟗.𝟏 经验风险最小化
𝟗.𝟐 梯度计算
𝟗.𝟐.𝟏 输出层梯度
𝟗.𝟐.𝟐 隐藏层梯度
𝟗.𝟐.𝟑 参数梯度
𝟗.𝟑 反向传播
𝟗.𝟒 深度学习训练的难点
𝟗.𝟒.𝟏 欠拟合——梯度消失
𝟗.𝟒.𝟐 过拟合
参考文献：
10 自编码器及其相关模型
𝟏𝟎.𝟏 自编码器
𝟏𝟎.𝟐 降噪自编码器
𝟏𝟎.𝟑 栈式自编码器
𝟏𝟎.𝟒 稀疏编码器
𝟏𝟎.𝟓 应用：cifar10图像分类
参考文献：
11 玻尔兹曼机及其相关模型
𝟏𝟏.𝟏 玻尔兹曼机
𝟏𝟏.𝟐 能量模型
𝟏𝟏.𝟐.𝟏 能量函数
𝟏𝟏.𝟐.𝟐 从能量函数到势函数
𝟏𝟏.𝟐.𝟑 从势函数到概率分布
𝟏𝟏.𝟑 推断
𝟏𝟏.𝟑.𝟏 边缘分布
𝟏𝟏.𝟑.𝟐 条件分布
𝟏𝟏.𝟒 学习
𝟏𝟏.𝟒.𝟏 最大似然估计
𝟏𝟏.𝟒.𝟐 对比散度
𝟏𝟏.𝟓 应用：个性化推荐
𝟏𝟏.𝟓.𝟏 个性化推荐概述
𝟏𝟏.𝟓.𝟐 个性化推荐架构与算法
𝟏𝟏.𝟓.𝟑 𝐑𝐁𝐌与协同过滤
参考文献：
12 递归神经网络
𝟏𝟐.𝟏 𝐄𝐥𝐦𝐚𝐧递归神经网络
𝟏𝟐.𝟐 时间反向传播
𝟏𝟐.𝟑 长短时记忆网络
𝟏𝟐.𝟒 结构递归神经网络
𝟏𝟐.𝟓 应用：语言模型
𝟏𝟐.𝟓.𝟏 𝐍元统计模型
𝟏𝟐.𝟓.𝟐 基于LSTM构建语言模型
参考文献：
13 卷积神经网络
𝟏𝟑.𝟏 卷积运算
𝟏𝟑.𝟐 网络结构
𝟏𝟑.𝟑 卷积层
𝟏𝟑.𝟒 池化层
𝟏𝟑.𝟓 应用：文本分类
参考文献：