深度学习500问介绍

深度学习500问，以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需要的读者。
全书分为18个章节，近30万字。

1. 版权声明

请尊重作者的知识产权，版权所有，翻版必究。未经许可，严禁转发内容！
请大家一起维护自己的劳动成果，进行监督。未经许可，严禁转发内容！ 2018.6.27 TanJiyong

2. 概述

本项目是大家对AI的相关知识进行整合，集思广益, 以便形成内容充实，覆盖全面的文集。

3. 加入以及文档规范

1、寻求有愿意继续完善的朋友、编辑、写手；如有意合作，完善出书（成为共同作者）。
2、所有提交内容的贡献者，将会在文中体现贡献者个人信息（例: 大佬-西湖大学）
3、为了让内容更充实完善，集思广益，欢迎Fork该项目并参与编写。请在修改MD文件的同时（或直接留言）备注自己的姓名－单位（大佬－斯坦福大学），一经采纳，会在原文中显示贡献者的信息，谢谢！
4、推荐使用typora-Markdown阅读器：https://typora.io/

例子：

### 3.3.2 如何寻找超参数的最优值？（贡献者：大佬－斯坦福大学）

在使用机器学习算法时，总有一些难搞的超参数。例如权重衰减大小，高斯核宽度等等。算法不会设置这些参数，而是需要你去设置它们的值。设置的值对结果产生较大影响。常见设置超参数的做法有：

1. 猜测和检查：根据经验或直觉，选择参数，一直迭代。
2. 网格搜索：让计算机尝试在一定范围内均匀分布的一组值。
3. 随机搜索：让计算机随机挑选一组值。
4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的困难。
5. 在良好初始猜测的前提下进行局部优化：这就是 MITIE 的方法，它使用 BOBYQA 算法，并有一个精心选择的起始点。由于 BOBYQA 只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在 MITIE 的情下,我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。
6. 最新提出的 LIPO 的全局优化方法。这个方法没有参数，而且经验证比随机搜索方法好。

4. 贡献与项目概览

已提交MD版本章节：请查看MarkDown

深度学习500问官网

https://github.com/scutan90/DeepLearning-500-questions

深度学习500问

深度学习500问 介绍