高斯过程(GP)的核心思想与核函数选择
高斯过程（Gaussian Process）提供了一种非参数贝叶斯回归/分类框架。请解释GP的核心思想（函数空间视角）、协方差函数（核函数）的作用，以及常见的核函数选择。
回答
屠龙少年
高斯过程核心思想：
- GP定义一个函数的分布：f(x) ~ GP(m(x), k(x,x'))
- m(x)为均值函数（通常设为0）
- k(x,x')为协方差函数（核函数），定义函数的平滑性、周期性等先验
- 预测时，联合分布P(y, f*|X, x*)服从多元高斯分布
- 给定观测数据，预测分布为条件高斯分布：
μ* = K(x*,X)(K(X,X)+σ²I)⁻¹yσ²* = K(x*,x*) - K(x*,X)(K(X,X)+σ²I)⁻¹K(X,x*)
核函数的作用： 决定GP的先验假设——两个输入越相似（核值越大），其函数值相关性越强。
常见核函数：
-
RBF/SE核（径向基/平方指数）：
k(x,x') = σ²exp(-||x-x'||²/(2l²))平滑、无穷可微，最常用 -
Matérn核： 参数ν控制平滑性（ν=1/2为指数，ν=∞为RBF） 比RBF更实际（现实数据并非无穷可微）
-
周期核：
k(x,x') = exp(-2sin²(π|x-x'|/p)/l²)捕捉周期性模式 -
有理二次核：多个RBF尺度的叠加
局限：O(n³)计算复杂度，n>10000时需近似方法（如Sparse GP）。