Category Archives: Phylosophy

To make a decision-Bayesian Optimization versas Bounded Rationality

今天课上,Corso情绪有点低落得介绍Bayesian Decision Theory。这个一度由于因为引入先验概率prior被认为有违唯物主义某些观点而被国内统计课程封杀的Bayes,如今却早已成长为数学,统计,计算机,经济,物理等N多学科竞相研究得宠儿。

看Bayes公式,讲的是后验概率怎么由先验概率计算得到,也就是说怎么预测没发生的事,想想确实有些唯心的意思,尽管事情也确实一直是这样发生的。比如今天Buffalo零下20度,半个月以后还在零下的可能性灰常灰常大,这个大的后验概率就是由先验概率在统计上得到的,尽管半个月的天气在科学上几乎预测不了。然而,也许这一切“事实”只是由于人类的历史太短,《三体》中引用一生二,二生三,三 生万物,说明世界的复杂。也许世界真的如此精妙,也可能一切只是随机,而Bayes的规律也只是随机中的短暂稳定。

Machine Learning是讲究统计的,Bayes Optimization也是计算不同权重因子的线性或者非线性组合,在科研上非常好使,因为能得到统计上的最小损失,正如Corso的PPT上写的“The Bayes Risk is the BEST we can do”。然而,果真如此吗?

Petersburg Paradox描述这样一局,我跟王然公平的掷1quarter硬币,如果是华盛顿,我给他一刀,连续两次都是华盛顿,两刀;三次,四刀;四次,八刀。。。直到华盛顿被搞崩溃不来了。问题是,他该花多少钱买这样一哥掷硬币的机会。从统计概率的角度,期望是2^(n-1)/2^n+2^(n-2)/2^n+2^(n-3)/2^(n-1)+…+1/2^2=(n+1)/4;由于王然理论上有一直投到华盛顿的机会,于是n->infinite,于是他应该付给我infinite的money,hiahiahia。。。

显然,他不会这么干,也就是说,实际我们经常用的是non-optimization,也就是梁文道同志总是说的,常识。无时无刻不在无意识用常识的我们,却不得不用概率统计来作machine learning,来得到一个所谓的optimal。

在经济学领域,也发生着类似的事情。上世纪流行的新古典经济学,注重边际效用分析,实际也是用了概率统计的思想;用边际效用代替古典经济学的劳动价值论,是从供给到需求的革命性转变,然而就如同从underfitting走到了overfitting,享受边际效用细腻组合的同时却不得不忍受那些“非主要矛盾”带来的麻烦。

于是,杨小凯从监狱走出不久,就提出新兴古典经济学,名字有点水,但是超边际效用这个概念如此美妙,从一味追求统计上的optimization里走出来,抓主要矛盾,抓重要决策,直接超越边际效用的线性或者非线性规划。

就如同把梯子架在某面墙上和爬梯子的速度之间的关系,很多事情没法用赋权重这样的trick来解决,因为本身就不在一个维度上。

Advertisements

留下评论

Filed under Phylosophy