deep learning 3

신경망, Deep Learning의 깊이

두뇌, 개구리 두뇌에 아무리 데이터를 많이 주어도 결코 사람 레벨의 지능을 발달시키지 못한다.높은 수준의 인지 작용에 관여하는 대뇌 피질의 신경세포 수를 보니 사람이 200억이 넘어 다른 동물들보다 확실히 많다. 그런데 Long-finned pilot whale은 370억개로 사람보다 더 많다. 흠...인공지능, 머신러닝 관점에서,해석성 또는 overfit 염려로 비슷한 성능이면, 아니면 좀 성능이 못해도 단순한 모델이 낫다고 생각하는 사람들이 많다. 뭐, 그렇다면. Neural Net을 보는 근본적인 차이가 있다. 어떤 사람들은 Neural Net을 포함하는 머신러닝을 인공지능을 만드는 수단으로, 또 다른 사람들은 데이터를 분석하기 위한 알고리즘으로 간주한다. 이해하기, 해석하기 쉬운 단순한 모델로 사..

알파고 논문을 읽으면서 ... 생각나는 대로

바둑판 줄이 몇개인지 모르고, 인공지능 감은 잃었고, Deep Learning은 수박 겉핥기로 아는 나도 읽을 수 있게 해 주어 고마운 생각에. page 1)■ MCTS와 같이 Monte Carlo 기반의 game tree에서의 search는 (당연히) sampling/roll_out을 많이 하면 할 수록 바둑판의 유/불리 상황이나 다음 수로 어떤 것이 최적일까 추정하는 것이 정확해진다. 문제는, 바둑의 search space가 너무 크다. 바둑과 같이 막대한 크기의 search space를 갖는 Game Tree의 search space를 줄여보자. 1. Search Depth를 줄이자 : 게임을 끝까지 하지 않고도 현재 상태, 또는 현재 상태에서 어느 정도까지 depth를 내려 가면 누가 이길 지 결..

유튜브를 보고

인공지능 수업 들을 때, 지도교수의 옛날 얘기에서 레퍼토리 중 하나가 소프트웨어 모든 분야들이 실은 인공지능 하던 동료나 선배들의 연구 중 부산물로 나온 것들이라고. 나는 패턴에서 어떻게 기호가 출현하는지 궁금했다. 지금도 그렇다. 구글의 브린과 페이지가 쓴 초기 검색 논문을 보면 이 친구들 인공지능/기계학습 쪽 이라는 것이 보인다. Peter Russel이 "의식"이라는 좀 철학적인 주제에 관한 얘기를 한다. Einstein, Jung, Kant를 넘나들면서 space-time continuum, 빛 그리고 "경험"의 관계를 풀어나간다. "The hard question is not how does insentient matter ever give rise to experience, but how do..