当前位置: X-MOL 学术Eng. Optim. › 论文详情
An efficient modified Hyperband and trust-region-based mode-pursuing sampling hybrid method for hyperparameter optimization
Engineering Optimization ( IF 2.165 ) Pub Date : 2021-01-13
Jingliang Lin; Haiyan Li; Yunbao Huang; Jinghuan Chen; Pengcheng Huang; Zeying Huang

Although deep learning algorithms have been widely used, their performance depends heavily on a good set of hyperparameters. This article presents an efficient Hyperband and trust-region-based mode-pursuing sampling hybrid method for hyperparameter optimization. First, Hyperband is modified and used to select the optimum quickly from a large number of random sampling points to construct a trust region. Secondly, mode-pursuing sampling is performed in the trust region to generate more points systematically around the minimum, and the location or size of the trust region is dynamically adjusted to accelerate its convergence. Thirdly, the process of selection and sampling is repeated until a termination criterion is met. Numerical examples are presented to verify the effectiveness of the hybrid method, the results of which are compared with those of five well-known algorithms. Comparison results show that better optimal solutions are obtained through the hybrid method, with a higher efficiency.



中文翻译:

一种有效的基于超频带和信任区的改进的模式追求采样混合方法进行超参数优化

尽管深度学习算法已被广泛使用,但它们的性能在很大程度上取决于一组良好的超参数。本文提出了一种用于超参数优化的有效的基于超频带和信任区域的模式追求采样混合方法。首先,修改超频带并用于从大量随机采样点中快速选择最佳值,以构建信任区域。其次,在信任区域中进行模式追求采样以在最小值附近系统地生成更多点,并且动态调整信任区域的位置或大小以加速其收敛。第三,重复选择和采样的过程,直到满足终止标准为止。数值例子验证了混合方法的有效性,将其结果与五种著名算法的结果进行比较。比较结果表明,通过混合法可以获得更好的最优解,效率更高。

更新日期:2021-01-13
全部期刊列表>>
微生物研究
亚洲大洋洲地球科学
NPJ欢迎投稿
自然科研论文编辑
ERIS期刊投稿
欢迎阅读创刊号
自然职场,为您触达千万科研人才
spring&清华大学出版社
城市可持续发展前沿研究专辑
Springer 纳米技术权威期刊征稿
全球视野覆盖
施普林格·自然新
chemistry
物理学研究前沿热点精选期刊推荐
自然职位线上招聘会
欢迎报名注册2020量子在线大会
化学领域亟待解决的问题
材料学研究精选新
GIANT
ACS ES&T Engineering
ACS ES&T Water
屿渡论文,编辑服务
阿拉丁试剂right
上海中医药大学
浙江大学
清华大学
南科大
北京理工大学
清华
隐藏1h前已浏览文章
课题组网站
新版X-MOL期刊搜索和高级搜索功能介绍
ACS材料视界
清华大学-1
武汉大学
浙江大学
天合科研
x-mol收录
试剂库存
down
wechat
bug