Round Here

GPT-4의 아키텍쳐가 Mixture of Experts (MoE) 구조를 갖고 있다는 얘기가 퍼져 있었다. 여기 말대로 느슨한 (Loosely connected, 또는 Sparse) 한 전문가들의 연합으로 Monolithic 구조보다 더 나은, 더 효과적인 인공지능에 다가설 수 있을 것이라는 생각은 정말 오래 되었다. 내 대학원 당시에도 그랬다. 이는 지구에 있는 모든 고등 생명체의 지적 활동이 MoE 구조를 갖는 프로세서에 기반하는 사실에서도 감을 잡을 수 있었다. 문제는 늘, 어떤 전문가들이 어떤 경우에 필요하고, 이들을 어떻게 얻나 (개별 훈련, 함께 훈련)? 전문가들의 전문성/독립성 대비 compliance 특성을 어떻게 가져가야 하나? 이들을 어떻게 coordinate 해야 하나? 등등. 전혀..

강호 무림계에 여러 문파가 있듯 인공지능계도 그렇다. 한동안 기호문파, 베이지언 그래픽파 목소리가 크게 들렸는데 요즘은 신경망파에 찍 눌려있다. 페드로 도밍고스교수의 인공지능 다섯 지파 얘기 이후 인공지능 문파에 관한 여러 글이 보인다. 원래 인공지능의 문파는 이렇게 시작되었는데...We propose that a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New Hampshire. The study is to proceed on the basis of the conjecture that every aspect of learnin..

had this one stimulating talk with an old colleague and friend of mine last night that I feel urged to write it down before it vaporizes. It was after the presentation of the redwing, during the second phase of drinking between two of us over some house Czech style beer. Talk was about current inanimate web structure, and redwing with its purpose to bring about life to web through incorporating ..