贝叶斯超参数优化原理与实现

贝叶斯优化的核心是用概率代理模型（通常是高斯过程GP或Tree Parzen Estimator）拟合目标函数（验证集性能），再通过采集函数（Acquisition Function）决定下一个评估点。

工作流程：

1. 用初始随机点评估目标函数
2. 更新代理模型的后验分布
3. 采集函数权衡」(Exploitation)与「探索」(Exploration)，推荐下一个参数
4. 评估该点，加入历史数据，重复2-4

常用采集函数：

• EI (Expected Improvement)：期望提升量，最常用
• UCB (Upper Confidence Bound)：上置信界，σ越大越倾向探索
• PI (Probability of Improvement)：提升概率

库实现：Optuna、Hyperopt、Scikit-Optimize均内置贝叶斯搜索。Optuna的TPE采样器在大规模调参任务中表现优异。相比网格/随机搜索，贝叶斯优化在高维、评估成本高的场景（如大模型训练）中可节省数倍时间。