网格搜索与随机搜索在超参数优化中的优劣
请比较网格搜索(Grid Search)与随机搜索(Random Search)两种超参数优化方法的工作原理、优缺点及适用场景。
回答
我是大山
网格搜索：穷举所有指定参数组合，适合参数少、离散取值空间小的情况。优点是结果确定可复现；缺点是维度灾难——参数每增加一个维度，搜索次数呈指数增长。
随机搜索：在参数空间中随机采样指定数量的组合。Bergstra & Bengio(2012)证明，当只有少数参数对结果敏感时，随机搜索效率远高于网格搜索。它能在同样预算下探索更多有效维度。
实践建议：
- 参数维度≤3且取值少时用网格搜索
- 参数维度高或预算有限时用随机搜索
- 现代工作流常先随机搜索粗筛，再局部精调
替代方案：贝叶斯优化(Tree Parzen Estimator)利用历史评估结果指导下一组参数选择，收敛更快，但实现复杂度更高。