Round Here

처음에 Attention .. 논문을 읽고 computation 흐름, 특히 행렬연산 흐름을 정리했던 내용. 이후에 나온 인터넷 자료들 (The Illustrated Transformer, The Annotated Transformer) 의 내용/그림을 추가해 작성. 오랜만에 다시 보니 영 .. 설명이 별로다. 만들 때는 나중에 다시 볼 때 금방 생각나도록 신경 써 했건만. 첨부:

강호 무림계에 여러 문파가 있듯 인공지능계도 그렇다. 한동안 기호문파, 베이지언 그래픽파 목소리가 크게 들렸는데 요즘은 신경망파에 찍 눌려있다. 페드로 도밍고스교수의 인공지능 다섯 지파 얘기 이후 인공지능 문파에 관한 여러 글이 보인다. 원래 인공지능의 문파는 이렇게 시작되었는데...We propose that a 2 month, 10 man study of artificial intelligence be carried out during the summer of 1956 at Dartmouth College in Hanover, New Hampshire. The study is to proceed on the basis of the conjecture that every aspect of learnin..

88년 서울올림픽 열릴 때 웨이브렛과 한창 씨름 중이었죠. 얼굴 인식에 feature extractor로 Gabor의 가능성을 보고선 당시 막 알게 된 S. Mallat의 orthogonal wavelet을 쓰면 더 정밀한 튜닝이 가능한 필터들을 만들 수 있을 것 같았죠. 이것들로 다양한 feature map들을 구해 backprop을 적용하자. 뭐 그런 것이었습니다. 한 달 걸렸나, Mallat의 길고 수학적인 technical report를 읽고 구현 시작했는데요, 하다가 잘 안되 이론을 제대로 이해했나 숱하게 다시 보았고요, 그래도 다 잘 해서 짜잔~~ 웨이브렛 필터 뱅크로부터 원래 이미지를 복원해보니 희미한 물결무늬 패턴이 보이겠죠. Aliasing 비스무리한 것이 이리 저리 해봐도 없어지지 않더..

알게될수록 사람의 두뇌작용은 로봇과 비슷하다. 분자생물학에 힘입어 유전자가 단백질과 조직을 만들고, 뉴런의 작동에서 Na+ 이온이 어떻게 뉴런안으로 밀려들어와 신경신호를 만드는 지를 세밀하게 안다. 이것들의 작동을 알게 될수록 뇌 메커니즘이 미세기계, 화학공장, 유압 밸브, 전기회로 같다. 이젠 미스터리라고 생각되던 의식에 대해서도 과학적 설명이 많이 이루어지고 있다. optogenetics 기술로 쥐 뇌 amygdala 뉴런의 작동을 조작해 쥐가 공격성을 나타내게 한다. 사람에게 적용해도 아마 감정을, 행동을 조정할 수 있을 것 같다. 생물체 뇌는 정보처리를 하기에 태생적으로 많이 불리하다. 생물체의 시작이 물에 녹은 화합물의 합성으로 시작되어서 뇌가 물려받았기에 뇌의 정보처리는 축축한 환경에서 단백질..

지난 1월에 인공지능계 거목 또 한 분이 돌아가셨다. 민스키교수님의 Society of Mind를 감명깊게 읽었었는데. 이 분의 근황과 관심사는 youtube에서 접했지만 최근 책이나 글은 알지 못했다. Minsky 교수님의 오래 전 글 Steps toward Artificial Intelligence를 다시 읽고 싶어져 찾아 보니 역시 있다. 1961년 글인데 인공지능 제반 field를 두루 다루고 있어 지금 읽어도 적절한 내용이다. 인공지능을 배우려는 사람들이 꼭 읽었으면 하는 글이다. 양이 많아 일부만 보았지만 인공지능 발전사를 다루고 있는 이 글 (The Quest for Artificial Intelligence)도 매우 좋은 글이다. 중요한 인물 얘기와 함께 인공지능 개념들을 설명하고 있어 일..

SF 소설이나 영화에서 자의식이 생긴 무지 똑똑한 인공지능이 사람들에게 못된 일을 하는 것이 종종 묘사되곤 했다. 절대 우월한 AI가 인간을 해치게 된다면,AI가 인간에 대해서 특별한 이해충돌이나 원한을 가져서 그런 일을 하는 것이 아닐 수 있다. 우리가 발 밑에 개미나 옷에 있는 진드기를 뭐 특별히 증오해서 죽이는 것이 아니듯이 AI도 인간에 대해 그런 것이다. 그냥 별로 신경쓸 존재가 아닌 것이다이렇게 생각할 수 있다. 개미가 왜 인간이 자기 집을, 자기들을 짓 밟는지 이유를 모르듯이 우리 인간이 왜 AI가 우리에게 못되게 하는 지 그것들과 하도 격차가 커서 이해를 못하는 일이 생길 수 있을까? 흠... 이세돌과 알파고의 게임에 대해 인류와 인공지능 어쩌구 저쩌구... 언론 하는 것이 웃기지도 않는다..

어제, 오늘 알파고가 이세돌과 붙어 내리 이기고, 9시 뉴스에 인공지능 얘기가 첫 소식으로 등장한다. 살다보니 이런 일도 생긴다.바둑이 서로 상대 돌을 따 먹는 것이라고 알고 있었기에 이세돌-알파고 게임 실황 중계를 봐도 보는 재미는 없지만 해설자들의 얘기는 퍽 흥미로왔다. 이런 얘기를 한다."알파고에는 저런 데이터가 없을 텐데 어디서 저런 수가 나왔는지" "인공지능은 패턴에 따라 하는 것인데... ""알파고가 어제 했던 행태와 매우 다르다"이에 대한 얘기로, 알파고는;- ConvNN으로 된 환경(바둑판) Valuation Estimator, Policy Planner에 의지하죠. 취할 수 있는 잠재/valid action은 모든 빈자리고, environment/바둑판은 완전히 관찰할 수 있고요. Rus..

바둑판 줄이 몇개인지 모르고, 인공지능 감은 잃었고, Deep Learning은 수박 겉핥기로 아는 나도 읽을 수 있게 해 주어 고마운 생각에. page 1)■ MCTS와 같이 Monte Carlo 기반의 game tree에서의 search는 (당연히) sampling/roll_out을 많이 하면 할 수록 바둑판의 유/불리 상황이나 다음 수로 어떤 것이 최적일까 추정하는 것이 정확해진다. 문제는, 바둑의 search space가 너무 크다. 바둑과 같이 막대한 크기의 search space를 갖는 Game Tree의 search space를 줄여보자. 1. Search Depth를 줄이자 : 게임을 끝까지 하지 않고도 현재 상태, 또는 현재 상태에서 어느 정도까지 depth를 내려 가면 누가 이길 지 결..

포크레인이 커다란 바위를 쑥 집더니, 이리 저리 돌리고 아귀를 맞쳐가며 옹벽을 쌓는다. 적당하게 경사를 주면서, 쌓고 난 것이 미적 감도 보인다. 땅을 긁으면서 평평하고 고르고, 거꾸러 바가지를 뒤집더니 툭툭 다지기까지 한다. 예술이다. 기사님의 솜씨도 한 몫 했겠지만 저 포크레인 한 녀석이 수십명 일을 불평도 않고 혼자 한다. 19세기 초 증기기계가 수십명의 사람들이 하던 일을 대체해 산업혁명과 함께 자기 노동력이 유일한 상품인 수많은 사람들에게 불행도 딸려 주었다. 이젠 기계와 같이 사는 데 익숙해졌다. 소프트웨어가 구글, 아마존, 이베이, 페이스북을 있게 해 세상을 변화했다. 우버, 에어비엔비, 카카오택시가 오프라인 세상를 흔든다. 그래도 이 것들은 앞으로 SW가 할 수 있는 것들에 비하면 새발의 ..

금년들어 구글이 인수하는 회사들 성격이 보다 다양해 지고 있다. 전에는 그래도 인터넷 관련이 많았는데 이제는 로봇, 인공위성, 무인비행기 등 다채롭다. 금년 1월에는 스마트한 화재경보기와 온도조절기로 홈오토메이션 회사인 Nest Labs를 32억불로 사더니, 지난달에는 Nest Labs가 IP 카메라 회사인 Dropcam을 인수했고 (http://www.it.co.kr/news/mediaitNewsView.php?nSeq=2667431), 바로 그 전에는 홈 에너지관리 서비스를 제공하는 MyEnergy를 인수했었다. Nest Labs와 Dropcam은 퍽 알려졌었고 상품도 예뻣기에 구글이 좋아할만 했지만 MyEnergy는 몰랐는데 알고 보니 살 만 했다. 이들 회사의 공통점이 있다. 그것은 이들 상품이 ..