Searching…
文章浏览阅读9.5k次，点赞14次，收藏56次。本文介绍了三种超参数优化算法：随机搜索、HyperBand及BOHB。首先，介绍了传统优化算法的局限性，随后重点讨论了HyperBand及其扩展BOHB算法。HyperBand通过在不同预算下执行连续减半方法来找到最佳配置，而BOHB则结合了贝叶斯优化和HyperBand的优势。
BOHB performs robust and efficient hyperparameter optimization at scale by combining the speed of Hyperband searches with the guidance and guarantees of convergence of Bayesian Optimization. Instead of sampling new co...
Jul 4, 2018 · View a PDF of the paper titled BOHB: Robust and Efficient Hyperparameter Optimization at Scale, by Stefan Falkner and 2 other authors
BOHB relies on HB to determine how many configurations to evaluate with which budget, but it replaces the random selection of configurations at the beginning of each HB it-eration by a model-based search.
Jul 26, 2018 · BOHB combines Bayesian optimization (BO) and Hyperband (HB) to combine both advantages into one, where the Bayesian optimization part is handled by a variant of the Tree Parzen Estimator (TPE; Bergstra ...
参考文献: Hyperband: Bandit-Based Configuration Evaluation for Hyperparameter Optimization I. 传统优化算法 机器学习中模型性能的好坏往往与超参数 (如batch size,filter size等)有密切的关系。最开始为了找到一个好的超参数，通常都是靠人工试错的方式找到"最优"超参数。但是这种方式效率太慢，所以相继提出了 网格 ...
使用 BOHB 运行 Tune 实验 # 在本教程中，我们将介绍 BOHB，同时运行一个简单的 Ray Tune 实验。 Tune 的搜索算法与 BOHB 集成，因此，您可以无缝扩展 BOHB 优化过程 — 而不会牺牲性能。 贝叶斯优化 HyperBand (BOHB) 结合了贝叶斯优化和基于赌博机的方法 (例如 HyperBand) 的 ...
