85년 이래 인공지능을 했지만 지금처럼 정신없이 전진이 이루어지는 때를 본 적이 없다. 뭐니 뭐니 해도 가장 큰 놀라움은 Backprop에 바탕한 신경망에 적절한 구조, 크기, 데이터, 학습 방법이 결합하면 지금 우리가 보는 이런 모델들이 가능하다는 것. Backprop 말고 좀 더 쌈박한 학습 이론, 뭔가 새로운 구조 같은 것이 요구되지 않을까 했는데, 잘 못 생각한 것 같다. Backprop이 자연계의 진화에 사용되는 장치보다 비교 불가능하게 훨씬 효율적임을 알고는 있었지만, 이 정도로 universal한 방법인 것은 상상하기 어려웠다. ChatGPT만 해도 Turing test 급 능력은 아득히 넘어섰고, 실제 감각과 경험에 바탕한 World Model에 grounding 되지 않고 단지 글로 세상..
