데이터를 어떻게 보아야 하나?

데이터사이언티스트는 통계를 알아야 한다기에 통계책을 보았다.  그러고 보면 내가 공부하고 다뤘던 거의 모든 것이 데이터인데 그럼 데이터사이언티스트는 또 무엇인지 좀 헷갈리기는 하다.  

통계책을 보면서 어려웠던 것은 어떤 것들은 정말 납득이 그냥 안되는 것이었다.  수학적인 테크닉은 쉽다.  헌데, 가설이나 Null hypothesis를 세우고, p value나 그런 통계치를 계산하고, 그 수치가 의미가 있는 지 테스트를 하고, 우리가 얻은 데이터가 가설에 부응하냐 아닌가 따지고, 그런 것들이 정말 다가오지 않았다.  왜 가설이 필요한지, 그런 틀이 왜 있어야 하는지, 그런 틀에 왜 맞춰보아야 하는지, 작위적이란 생각이 들었다.  다른 사람들이 쓴다고 하기에 하지만 공부할 맛이 나지 않았다.

내가 배운 stochastic process, machine learning, 신호처리에서도 통계학과 같이 확률, estimation, 분포라는 단어를 똑같이 쓰는데 왜 이리 다른지? 

뒤늦게 그것이 통계학 사람들이 말하는 Bayesian 사고 방식때문이라는 것을 알았다.  맞아, 우린 패턴인식의 첫장부터 Bayes Classifier로 시작했다.  Neural Net, Decision Tree, Belief Net, KNN, SVM, Boosting, Random Forest, Machine Learning의 대부분 알고리즘들은 훈련을 통해 나아지는 것이고, Kalman 필터는 stochastic 신호를 관찰하면서 알고자 하는 변수를 더 확실히 estimation 하는 알고리즘이다.  다, Bayesian적 사고다.  그렇다면 다른 분야는 거의 다 Bayesian 사고를 따른다는 얘기다.  학습이라는 것 자체가 그런데...  그리고 이런 분야의 업적이 얼마나 방대한데.  쓰이는 기술도 교묘하고.  신호처리 없으면 현대문명도 없거든.   

당연한 인과관계 아닌가?  모든 생물들도 다 Bayesian한 것 같은데.  처음에는 뭘 모르지만 경험을 해 나가면서 깨우쳐 나가는 과정이?  이 과정에는 작위적 장치가 필요하지 않다.  prior가 0이면 그 어떤 자료를 들이대어도 원래 믿음이 바뀌지 않을 것이고, prior가 1이면 그냥 그 때 그 때 보이는 자료에 따라 휘까닥 믿음이 바뀌는 모양을 우리가 Bayesian Theory로 고등학교 때 배우지 않았나?  정석에만 있었나?  

통계학자이면서 random forest를 만든 Leo Breiman 교수님이 쓴 "Statistical Modeling: The Two Cultures" 글을 읽어 보아야 겠다.  나 역시 나도 모르게 한 쪽만 보고 살았을 지도.  같은 목표를 향해 나가는 우리들이기에. 

Thomas Bayes, 이 분 돌아가신 것도 250여 년이 되었네.  후배들이 잘 쓰고 있습니다.  이제는 좀 깊이 보면 곳곳에서볼 수 있습니다.  고맙습니다.  

Statistical Modeling - The Two Cultures, by Leo Breiman.pdf