Round Here

88년 서울올림픽 열릴 때 웨이브렛과 한창 씨름 중이었죠. 얼굴 인식에 feature extractor로 Gabor의 가능성을 보고선 당시 막 알게 된 S. Mallat의 orthogonal wavelet을 쓰면 더 정밀한 튜닝이 가능한 필터들을 만들 수 있을 것 같았죠. 이것들로 다양한 feature map들을 구해 backprop을 적용하자. 뭐 그런 것이었습니다. 한 달 걸렸나, Mallat의 길고 수학적인 technical report를 읽고 구현 시작했는데요, 하다가 잘 안되 이론을 제대로 이해했나 숱하게 다시 보았고요, 그래도 다 잘 해서 짜잔~~ 웨이브렛 필터 뱅크로부터 원래 이미지를 복원해보니 희미한 물결무늬 패턴이 보이겠죠. Aliasing 비스무리한 것이 이리 저리 해봐도 없어지지 않더..

사람 뇌의 뉴런 수 (glial cell 제외하고)를 1000억 (100 billion) 이라 흔히 얘기한다. 그런데, 위키는 그 수를 210억, 전체 신경계의 뉴런은 860억, 시냅스 1.5×1014 개 라고 한다. 읽지는 않았지만 참고 자료를 인용하니, 이게 더 정확하겠지 생각했는데, Bear의 Neuroscience 책은 850억 이라 한다. 무엇이 더 정확한거지?Glia의 개수는 더 헷갈린다. Bear의 Neuroscience에서는 Neuron과 glial cell의 개수가 대략 비슷하다하고, Purves에서는 glia가 뉴런보다 몇 배 더 많다한 것 같고, 그 외 여러 글에서 glia가 neuron 보다 더 많다고 보았다.Suzana Herculano-Houzel 박사 팀이 진행한 The hum..

알게될수록 사람의 두뇌작용은 로봇과 비슷하다. 분자생물학에 힘입어 유전자가 단백질과 조직을 만들고, 뉴런의 작동에서 Na+ 이온이 어떻게 뉴런안으로 밀려들어와 신경신호를 만드는 지를 세밀하게 안다. 이것들의 작동을 알게 될수록 뇌 메커니즘이 미세기계, 화학공장, 유압 밸브, 전기회로 같다. 이젠 미스터리라고 생각되던 의식에 대해서도 과학적 설명이 많이 이루어지고 있다. optogenetics 기술로 쥐 뇌 amygdala 뉴런의 작동을 조작해 쥐가 공격성을 나타내게 한다. 사람에게 적용해도 아마 감정을, 행동을 조정할 수 있을 것 같다. 생물체 뇌는 정보처리를 하기에 태생적으로 많이 불리하다. 생물체의 시작이 물에 녹은 화합물의 합성으로 시작되어서 뇌가 물려받았기에 뇌의 정보처리는 축축한 환경에서 단백질..

학교다닐 때 두뇌, 신경생물학 공부는 그져 지식을 머리에 넣기에 바빴다. 공부해야 할 것이 넘쳐 내용들을 제대로 음미할 여유가 없었다. 시간이 있는 지금, 신경과학의 발전을 제대로 즐기자. C.U.M. Smith의 Elements of Molecular Neurobiology, G.M. Shepherd의 Neurobiology, D.Purves의 Neuroscience 다 좋지만 M.F.Bear의 Neuroscience - Exploring the Brain을 중심으로 즐긴다. 참 쉽게 잘 쓴 책이다. 신경과학 전문 지식이 필요한 사람말고도, 사람을 진짜로 심각히 알고 싶은 모든 사람들이 읽어야 할 책이다. ---------Excitable Cell : action potential을 생성할 수 있는 세..

Theano, Caffe, Tensorflow를 함께 쓰려니 능력이 안된다. TensorFlow 1.0 이 얼마전 정식으로 나왔다. 진행이 빠르다. Android 같은 모바일 기기에도 적용하기 좋을 것이라 한다. TensorFlow로 신경망, Brain Simulation 하자.Ubuntu에 Tensorflow 1.0 gpu 버젼을 쓰고 있다. 윈도우즈엔 TensorFlow 0.12 cpu 버젼을 별도의 environment에서 Anaconda와 같이 쓰고 있다. 윈도우즈에 1.0 버젼을 설치하려고, Anaconda 3 64bit, python 3.6 최신 버젼을 새롭게 설치하고, 별도의 "tensorflow_1.0" environment를 만들어 거기에 anaconda를 역시 설치했다. Tensorfl..

“If we knew what it was we were doing, it would not be called research, would it?” 우리가 하는 일이 무엇인지 안다면 그 것을 연구라고 할 수 있나? - 아인슈타인 (여기를 읽다가) jupyter colab

두뇌, 개구리 두뇌에 아무리 데이터를 많이 주어도 결코 사람 레벨의 지능을 발달시키지 못한다.높은 수준의 인지 작용에 관여하는 대뇌 피질의 신경세포 수를 보니 사람이 200억이 넘어 다른 동물들보다 확실히 많다. 그런데 Long-finned pilot whale은 370억개로 사람보다 더 많다. 흠...인공지능, 머신러닝 관점에서,해석성 또는 overfit 염려로 비슷한 성능이면, 아니면 좀 성능이 못해도 단순한 모델이 낫다고 생각하는 사람들이 많다. 뭐, 그렇다면. Neural Net을 보는 근본적인 차이가 있다. 어떤 사람들은 Neural Net을 포함하는 머신러닝을 인공지능을 만드는 수단으로, 또 다른 사람들은 데이터를 분석하기 위한 알고리즘으로 간주한다. 이해하기, 해석하기 쉬운 단순한 모델로 사..

지난 1월에 인공지능계 거목 또 한 분이 돌아가셨다. 민스키교수님의 Society of Mind를 감명깊게 읽었었는데. 이 분의 근황과 관심사는 youtube에서 접했지만 최근 책이나 글은 알지 못했다. Minsky 교수님의 오래 전 글 Steps toward Artificial Intelligence를 다시 읽고 싶어져 찾아 보니 역시 있다. 1961년 글인데 인공지능 제반 field를 두루 다루고 있어 지금 읽어도 적절한 내용이다. 인공지능을 배우려는 사람들이 꼭 읽었으면 하는 글이다. 양이 많아 일부만 보았지만 인공지능 발전사를 다루고 있는 이 글 (The Quest for Artificial Intelligence)도 매우 좋은 글이다. 중요한 인물 얘기와 함께 인공지능 개념들을 설명하고 있어 일..

포크레인이 커다란 바위를 쑥 집더니, 이리 저리 돌리고 아귀를 맞쳐가며 옹벽을 쌓는다. 적당하게 경사를 주면서, 쌓고 난 것이 미적 감도 보인다. 땅을 긁으면서 평평하고 고르고, 거꾸러 바가지를 뒤집더니 툭툭 다지기까지 한다. 예술이다. 기사님의 솜씨도 한 몫 했겠지만 저 포크레인 한 녀석이 수십명 일을 불평도 않고 혼자 한다. 19세기 초 증기기계가 수십명의 사람들이 하던 일을 대체해 산업혁명과 함께 자기 노동력이 유일한 상품인 수많은 사람들에게 불행도 딸려 주었다. 이젠 기계와 같이 사는 데 익숙해졌다. 소프트웨어가 구글, 아마존, 이베이, 페이스북을 있게 해 세상을 변화했다. 우버, 에어비엔비, 카카오택시가 오프라인 세상를 흔든다. 그래도 이 것들은 앞으로 SW가 할 수 있는 것들에 비하면 새발의 ..

M. Arbib 박사님이 내 지도교수가 되어 주겠다고 하시면서 이런 말씀을 하셨다. "창의성이란, 99.999..% 다른 사람들 노고의 바탕위에 0.0001% 나의 기여를 더하는 것이다. 그런데, 그 0.00001 하는 것이 되게 어렵다. 그래서, 지금껏 우리 인류가 만들어낸 많은 지식을 공부해야 한다. 할 것 많지? 그런데 말야, 너가 앞의 그들을 겸손히 공부해 너의 것으로 삼으면 그들이 너의 강력한 빽이 되어 준다. 공자, 예수, 플라톤, 파스칼, 뉴턴, 그 모든 사람들이. 내가 그들의 직계 제자이듯이, 너 또한 그들의 직계 제자가 되는 것이다. 그러니, 얼마나 용기가 나겠나? 어떻게 실패할 수 있나?" 교수님은 나에게 mentor 라는 말을 알게 해 주셨다. 좋은 영어도 교수님에게 배웠다. 나의 경..