了解高斯過程 (GP) 對于推理模型構建和泛化以及在各種應用中實現最先進的性能非常重要,包括主動學習和深度學習中的超參數調整。全科醫生無處不在,了解它們是什么以及我們如何使用它們符合我們的利益。
在本節中,我們介紹高斯過程先驗函數。在下一個筆記本中,我們將展示如何使用這些先驗進行后驗推理和做出預測。下一節可以被視為“GPs in a nutshell”,快速給出在實踐中應用高斯過程所需的內容。
18.2.1。定義
高斯過程被定義為隨機變量的集合,其中任何有限數量的隨機變量都服從聯合高斯分布。如果一個函數f(x)是一個高斯過程,具有均值函數 m(x)和協方差函數或內核 k(x,x′), f(x)~GP(m,k),然后在任何輸入點集合處查詢的任何函數值集合x(時間、空間位置、圖像像素等),具有均值向量的聯合多元高斯分布μ和協方差矩陣 K:f(x1),…,f(xn)~N(μ,K), 在哪里 μi=E[f(xi)]=m(xi)和 Kij=Cov(f(xi),f(xj))=k(xi,xj).
這個定義看似抽象且難以理解,但高斯過程實際上是非常簡單的對象。任何功能
和w從高斯(正態)分布中得出,和 ?是基函數的任何向量,例如 ?(x)=(1,x,x2,...,xd)?, 是一個高斯過程。此外,任何高斯過程f(x)都可以表示為方程(18.2.1)的形式。讓我們考慮一些具體的例子,開始熟悉高斯過程,然后我們才能體會到它們是多么簡單和有用。
18.2.2。一個簡單的高斯過程
認為f(x)=w0+w1x, 和 w0,w1~N(0,1), 和w0,w1,x都在一個維度上。我們可以把這個函數等價地寫成內積f(x)=(w0,w1)(1,x)?. 在 上面的(18.2.1)中,w=(w0,w1)?和 ?(x)=(1,x)?.
對于任何x,f(x)是兩個高斯隨機變量的總和。由于高斯在加法下是封閉的,f(x)也是任意的高斯隨機變量x. 事實上,我們可以計算任何特定的x那
評論
查看更多