机器学习之超参数
机器学习之超参数
http://blog.sina.com.cn/s/blog_cfa68e330102ze63.html
学习器模型中一般有两种参数：
-
一种参数是可以从学习中得到
-
一种无法靠数据里面得到，只能靠人的经验来设定，这类参数就叫做超参数
超参数定义
超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。
-
定义关于模型的更高层次的概念，如复杂性或学习能力。
-
不能直接从标准模型培训过程中的数据中学习，需要预先定义。
-
可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定
超参数示例：
-
聚类中类的个数
-
话题模型中话题的数量
-
模型的学习速率
-
深层神经网络隐藏层数
-
迭代次数
-
每层神经元的个数
-
学习率 η
-
正则化参数
-
神经网络的层数
-
学习的回合数Epoch
-
小批量数据 minibatch 的大小
-
代价函数的选择
-
权重初始化的方法
-
。。。
超参数调节方法
-
网格搜索
-
随机搜索
-
贝叶斯优化
-
基于梯度的优化
-
遗传算法的实践
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/29829936/viewspace-2284997/ ，如需转载，请注明出处，否则将追究法律责任。
最新文章
- 那些适用于跨境电商的 ERP 系统
- On the decline of SAP consulting industry
- Matters Needing Attention as A SAP Freelancer
- The development prospect of SAP consultants in China in the next decade
- SAP WM中阶下架策略A(Partial Pallet Quantity)
- SAP WM高阶之上架策略C(Open Storage)
- SAP WM高阶之上架策略B (Bulk Storage)
- SAP WM高阶之上架策略P(Storage Unit Type)
- SAP WM高阶之2-Step Picking
- SAP QM 高阶之Physical Sample Management
