Round Here

처음에 Attention .. 논문을 읽고 computation 흐름, 특히 행렬연산 흐름을 정리했던 내용. 이후에 나온 인터넷 자료들 (The Illustrated Transformer, The Annotated Transformer) 의 내용/그림을 추가해 작성. 오랜만에 다시 보니 영 .. 설명이 별로다. 만들 때는 나중에 다시 볼 때 금방 생각나도록 신경 써 했건만. 첨부:

GPT-4의 아키텍쳐가 Mixture of Experts (MoE) 구조를 갖고 있다는 얘기가 퍼져 있었다. 여기 말대로 느슨한 (Loosely connected, 또는 Sparse) 한 전문가들의 연합으로 Monolithic 구조보다 더 나은, 더 효과적인 인공지능에 다가설 수 있을 것이라는 생각은 정말 오래 되었다. 내 대학원 당시에도 그랬다. 이는 지구에 있는 모든 고등 생명체의 지적 활동이 MoE 구조를 갖는 프로세서에 기반하는 사실에서도 감을 잡을 수 있었다. 문제는 늘, 어떤 전문가들이 어떤 경우에 필요하고, 이들을 어떻게 얻나 (개별 훈련, 함께 훈련)? 전문가들의 전문성/독립성 대비 compliance 특성을 어떻게 가져가야 하나? 이들을 어떻게 coordinate 해야 하나? 등등. 전혀..

인공지능의 주요 한 축인 확률 - 베이지언 네트워크 - 그래픽 모델/Reasoning 을 잇는 Probabilistic Programming의 Probabilistic Programming for Advancing Machine Learning (PPAML) 진행이 어떻게 되는지 궁금하다. 금년까지인데. Judea Pearl 교수님의 근래 영상. 20분 즈음부터 김진형교수님과 함께 했던 Belief Propagation 얘기를 하신다. 강의말고 보통 때도 Pearl 교수님이 이렇게 유머스러운지 궁금하다. Pearl 교수님의 Causality는 철학의 형이상학/인식론에서 고전으로 읽힌다는데. 철학에서 받기만 했는데 줄 수 있어 기분 좋다. 훌륭한 전통을 지닌 이 분야가 세상을 깜짝 놀라게 해 주기를 기대한..

강호 무림계에 여러 문파가 있듯 인공지능계도 그렇다. 한동안 기호문파, 베이지언 그래픽파 목소리가 크게 들렸는데 요즘은 신경망파에 찍 눌려있다. 페드로 도밍고스교수의 인공지능 다섯 지파 얘기 이후 인공지능 문파에 관한 여러 글이 보인다. 원래 인공지능의 문파는 이렇게 시작되었는데...We propose that a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New Hampshire. The study is to proceed on the basis of the conjecture that every aspect of learnin..

학생때 지도교수님이 자신의 지도교수님, 그리고 한 때 같이 일했던 동료 얘기를 몇 번 했다. 위너, 핏츠, 샤논. 폰 노이만, 튜링 얘기도 조금. 체 게바라가 한 때 싸이버네틱스에 관심이 있었다고 교수님이 얘기한 것 같은데... 인공지능과 사람 얘기. 이런 것 필요하지 않나? 위너, 예측 안되는 진짜 천재로 그 양반이 어떤 분야이건 몇 년 몸 담으면 새로운 이론이 나올 것이라 사람들이 말했다고.도밍고스교수의 "The master algorithm" 책 강력 추천. 딥러닝 논문 몇 편 보는 것 보다 더 의미있고 앞으로 힘이 될 수 있는 그런 글이라 생각한다. 재미도 있다. 유머, 위트가 철철 넘치고. 인공지능하는 사람이 이렇게 (야한 단어가 들어가면서 내용있고) 재미있는 글을 쓸 수 있다는 것을 보여준다 ..

88년 서울올림픽 열릴 때 웨이브렛과 한창 씨름 중이었죠. 얼굴 인식에 feature extractor로 Gabor의 가능성을 보고선 당시 막 알게 된 S. Mallat의 orthogonal wavelet을 쓰면 더 정밀한 튜닝이 가능한 필터들을 만들 수 있을 것 같았죠. 이것들로 다양한 feature map들을 구해 backprop을 적용하자. 뭐 그런 것이었습니다. 한 달 걸렸나, Mallat의 길고 수학적인 technical report를 읽고 구현 시작했는데요, 하다가 잘 안되 이론을 제대로 이해했나 숱하게 다시 보았고요, 그래도 다 잘 해서 짜잔~~ 웨이브렛 필터 뱅크로부터 원래 이미지를 복원해보니 희미한 물결무늬 패턴이 보이겠죠. Aliasing 비스무리한 것이 이리 저리 해봐도 없어지지 않더..

사람 뇌의 뉴런 수 (glial cell 제외하고)를 1000억 (100 billion) 이라 흔히 얘기한다. 그런데, 위키는 그 수를 210억, 전체 신경계의 뉴런은 860억, 시냅스 1.5×1014 개 라고 한다. 읽지는 않았지만 참고 자료를 인용하니, 이게 더 정확하겠지 생각했는데, Bear의 Neuroscience 책은 850억 이라 한다. 무엇이 더 정확한거지?Glia의 개수는 더 헷갈린다. Bear의 Neuroscience에서는 Neuron과 glial cell의 개수가 대략 비슷하다하고, Purves에서는 glia가 뉴런보다 몇 배 더 많다한 것 같고, 그 외 여러 글에서 glia가 neuron 보다 더 많다고 보았다.Suzana Herculano-Houzel 박사 팀이 진행한 The hum..

알게될수록 사람의 두뇌작용은 로봇과 비슷하다. 분자생물학에 힘입어 유전자가 단백질과 조직을 만들고, 뉴런의 작동에서 Na+ 이온이 어떻게 뉴런안으로 밀려들어와 신경신호를 만드는 지를 세밀하게 안다. 이것들의 작동을 알게 될수록 뇌 메커니즘이 미세기계, 화학공장, 유압 밸브, 전기회로 같다. 이젠 미스터리라고 생각되던 의식에 대해서도 과학적 설명이 많이 이루어지고 있다. optogenetics 기술로 쥐 뇌 amygdala 뉴런의 작동을 조작해 쥐가 공격성을 나타내게 한다. 사람에게 적용해도 아마 감정을, 행동을 조정할 수 있을 것 같다. 생물체 뇌는 정보처리를 하기에 태생적으로 많이 불리하다. 생물체의 시작이 물에 녹은 화합물의 합성으로 시작되어서 뇌가 물려받았기에 뇌의 정보처리는 축축한 환경에서 단백질..

학교다닐 때 두뇌, 신경생물학 공부는 그져 지식을 머리에 넣기에 바빴다. 공부해야 할 것이 넘쳐 내용들을 제대로 음미할 여유가 없었다. 시간이 있는 지금, 신경과학의 발전을 제대로 즐기자. C.U.M. Smith의 Elements of Molecular Neurobiology, G.M. Shepherd의 Neurobiology, D.Purves의 Neuroscience 다 좋지만 M.F.Bear의 Neuroscience - Exploring the Brain을 중심으로 즐긴다. 참 쉽게 잘 쓴 책이다. 신경과학 전문 지식이 필요한 사람말고도, 사람을 진짜로 심각히 알고 싶은 모든 사람들이 읽어야 할 책이다. ---------Excitable Cell : action potential을 생성할 수 있는 세..

Theano, Caffe, Tensorflow를 함께 쓰려니 능력이 안된다. TensorFlow 1.0 이 얼마전 정식으로 나왔다. 진행이 빠르다. Android 같은 모바일 기기에도 적용하기 좋을 것이라 한다. TensorFlow로 신경망, Brain Simulation 하자.Ubuntu에 Tensorflow 1.0 gpu 버젼을 쓰고 있다. 윈도우즈엔 TensorFlow 0.12 cpu 버젼을 별도의 environment에서 Anaconda와 같이 쓰고 있다. 윈도우즈에 1.0 버젼을 설치하려고, Anaconda 3 64bit, python 3.6 최신 버젼을 새롭게 설치하고, 별도의 "tensorflow_1.0" environment를 만들어 거기에 anaconda를 역시 설치했다. Tensorfl..