신경망, Deep Learning의 깊이

두뇌, 

개구리 두뇌에 아무리 데이터를 많이 주어도 결코 사람 레벨의 지능을 발달시키지 못한다.

높은 수준의 인지 작용에 관여하는 대뇌 피질의 신경세포 수를 보니 사람이 200억이 넘어 다른 동물들보다 확실히 많다. 그런데 Long-finned pilot whale은 370억개로 사람보다 더 많다.  

흠...

인공지능, 머신러닝 관점에서,

해석성 또는 overfit 염려로 비슷한 성능이면, 아니면 좀 성능이 못해도 단순한 모델이 낫다고 생각하는 사람들이 많다. 뭐, 그렇다면. 

Neural Net을 보는 근본적인 차이가 있다. 어떤 사람들은 Neural Net을 포함하는 머신러닝을 인공지능을 만드는 수단으로, 또 다른 사람들은 데이터를 분석하기 위한 알고리즘으로 간주한다. 

이해하기, 해석하기 쉬운 단순한 모델로 사람 레벨의 학습, 인지 능력으로 발전시킬 가능성은 0 이다.  사람은 엄청나게 많은, 복잡한 classification, regression, unsupervised learning을 한다. 특정 정보에 customize된 estimator(신경세포군)도 무지 많고, 절묘하게 밸런스를 맞춘다.  패러미터들이 잘 세팅되어 있는 것이다.  그리고 사람은 쉬지 않고 환경에서 정보를 받아드린다. 

사람 두뇌는 지극히 크고, 복잡하고, 유연한 구조의 시도 때도 없이 주변으로부터 엄청나게 많은 데이터를 흡수하는 궁극적인 빅데이터 complex 학습 시스템이다. 이런 사람 두뇌는 overfit 되기에도 최적이다.  

그런데, 사람 두뇌는 overfit 하지 않고, 그 많고 복잡한 classification, regression들을 잘 한다.  그리고, 계획(planning)을 세운다. 어떻게 이런 일을 하지?  200억 되는 신경세포와 그 많은 연결들이 괜히 있는 것이 아님을 말한다.  Synaptic 연결의 생성/조절/소멸을 통해 엄청난 규모의 튜닝, regularization, feedback이 생긴다.  엄청난 양의 데이터가 노이즈를 학습함을 견제하고. 실제 세상에서 부딪이며 깨닫는 경험이 reinforcement learning으로 기존 방식의 개선, 개조를 끊임없이 요구하고. 학습의 본질이 이런 것일 것. 알고 있던 사실들이다. 우리 두뇌, 신경망은 이런 학습을 할만한 크기의 그릇이다. 

PDP (Parallel Distributed Processing) 가 막 나왔을 때 책과 함께 붙어온 플로피에 있던 C 함수를 갖고 연습하던 때가 생생하다.

신경망을 우리 두뇌와 같이 크고 복잡한 구조로 만들 수 있다면 어떻게 학습시켜야 하나? 

[신경망과 딥러닝의 간략한 역사]

[인공지능의 진짜 간략한 역사]

[인공지능을 추구하며]

[2030년 인공지능과 우리의 삶]