admin管理员组文章数量:1609899
1. Bayesian approach
对于多项式拟合问题,我们可通过最小二乘(least squares)的方式计算得到模型的参数,最小二乘法又可视为最大似然(maximum likelihood)的一种特例,当模型选择过于复杂时,很容易在测试集上造成过拟合(over-fitting),因此,过拟合问题可被理解为最大似然普遍存在的一种性质。
过拟合的问题可通过贝叶斯方法得以避免。
2. 举例
由
N
个输入向量
p(t∣∣x,w,β)=N(t|y(x,w),β−1)
也即服从均值为 y(x,w) ,方差为 σ2=β−1 的高斯分布。
则对于全体样本的似然函数(连乘是基于样本之间彼此独立的基本假设)为:
p(t∣∣x,w,β)=∏n=1NN(tn|y(xn,w),β−1)
为方便计算,两边同时取对数,进一步简化为:
则可求得 β 的最大似然解 βML (上述等式求关于 β 的导数,并置 0):
1βML=1N∑n=1N{tn−y(xn,w)}2
1βML 表示的是高斯分布的方差。
本文标签: 概率方法Bayesian贝叶斯interpretation
版权声明:本文标题:贝叶斯方法(Bayesian approach) —— 一种概率解释(probabilistic interpretation) 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1728576345a1164514.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论