옛날 생각, 지금, 앞으로는...

88년 서울올림픽 열릴 때 웨이브렛과 한창 씨름 중이었죠.  얼굴 인식에 feature extractor로 Gabor의 가능성을 보고선 당시 막 알게 된 S. Mallat의 orthogonal wavelet을 쓰면 더 정밀한 튜닝이 가능한 필터들을 만들 수 있을 것 같았죠. 이것들로 다양한 feature map들을 구해 backprop을 적용하자. 뭐 그런 것이었습니다. 한 달 걸렸나, Mallat의 길고 수학적인 technical report를 읽고 구현 시작했는데요, 하다가 잘 안되 이론을 제대로 이해했나 숱하게 다시 보았고요, 그래도 다 잘 해서 짜잔~~ 웨이브렛 필터 뱅크로부터 원래 이미지를 복원해보니 희미한 물결무늬 패턴이 보이겠죠.  Aliasing 비스무리한 것이 이리 저리 해봐도 없어지지 않더라구요. 그래서, 지도교수에게 이는 이론의 물리적 구현에 따른 한계라고 열역학, 정보이론을 동원해 썰 풀었죠. 근데 당시 지도교수가 원래 물리학 출신이에요. 듣고선 다시 검토해 봐라 했죠. 우씨, 양자 열역학, 정보이론을 보기 시작했습니다.    

무슨 바람이었는지 모든 단계에서 numerical precision을 최대한 신경쓰니, 물결무늬가 사라졌어요. 멍청이. 결국은 Mallat의 wavelet filter들로 feature를 구해 backprop classification 얼굴인식은 별로였죠.  Gabor보다 못했어요. 내가 잘 못 구현했었는지도 모르죠.

내 경우엔 이론 이해보다 그 것을 구현하는데 훨씬 더 시간 들었습니다. 보편적인 필터, 머신러닝, 데이터 조작 operation을 쉽게 갖다 쓸 수 있으면 얼마나 좋을까 생각했죠.  

요즘 머신러닝은 30년 전 내 상상이 다 됩니다.   

vision_module = tf.contrib.keras.applications.InceptionV3(weights='imagenet', include_top=False, pooling='max') 같은 것은 사실 상상 못했고요. 곧

law_korean_speech_recognition = general.speech.recognition(language='korean', domain='law') 이나

self_driving_korea = navigation.land.self.driving(locale='korea') 같은 학습된 기성품을 갖다 쓰게 되겠죠. 이런 것들을 이용해 온 갖 재미볼 후배들이 부럽습니다. 참, 우리 머신러닝 사람들, SW 엔지니어들 대단합니다. 누가 이런 것 제일 잘 할까요? 뻔하죠. 뭐.

앞으론 어떻게 될까요?  인공지능 SW 만들기가 레고쌓기같이 쉬워진다 하지만, 이 쪽의 경쟁무대가 전세계적이지 않나요?  우리나라 사람이나 콩고사람 영상진단이 그리 다를 것 같지 않고요, 자율 운전도요.  통상적 구현이 쉬워진 지금, 정말 앞으로 더욱 필요한 사람은 세계적 표준에 따라 기본이 된 사람일 것 같습니다. 우리나라 바깥에서 발전하는 인공지능과 같이 가야 하니까요. 이런 사람 금방 압니다.   

참, 우리 뇌가 축축한 신경망으로 되어 있긴 하지만 특정 일을 하는 구조가 잘 발달되어 있어요, 정보이론에 따른 이 들간 대역폭이 얼마 정도인가도 알고 있죠. 별로 크지 않아요.  이 들간 매우 abstraction된 sequential (symbolic) 정보 처리가 진행되고 있어요. 지능엔 reasoning (induction, deduction, ..), 불확실한 환경에서 계획과 탐색, anticipation에 유리한 내부의 world 모델, 뭐 이런 것들 있는데 이를 다 인공 신경망으로 할 수 있다? 없다? Neuro_Cognitive 쪽에서도 많이 하는 Value_driven, Emotion, Attention, Exploration 이런 것들은 빼고서두요. 전에 내 동료 중 emotion에 빠진 친구가 있었죠. 뭐 하나?