빅데이터와 하둡 사이의 적정 거리는?

요즘 얘기되는 빅데이터는 하둡이 나오지 않았으면 가능하지 않았습니다. 전부터 필요성은 있었지만 이런 분산처리 구조를 만드는데 드는 "공구리 골조" 공사가 보통이 아닐뿐더러 성공사례도 찾기 힘들었을 터인데 구글이 이렇게 한다니닌까 불이 지펴진게 아니겠습니까? 앞으로 빅데이터를 하둡을 떼어놓고 생각할 수 있을까요?

거의 10년전 구글이 MapReduce를 막 발표했을 때 그 처리 스타일을 간단히 시뮬레이트 해 보는 프로그램을 만들었습니다. 많은 사람들이 그랬을 것입니다. 1주 정도 걸렸는데 색인에 필요한 태스크들은 Mapping과 Reducing 하기에 원천적으로 적절하지만 내가 관심있는 분석/Machine Learning을 해보려니 힘들 것 같았습니다. 지금도 그렇지 않을까 생각합니다. 빅데이터가 항상 필요로했고, 지금은 더 절실한 것이 어떤 application에서 진짜 효용성을 Life Cycle에 걸쳐 설득하는 것이라 생각합니다.

하둡이 빅데이터 붐을 만드는데 절대적이었지만 너무 그것에 종속되는 것이 아닌가 염려가 됩니다. 공동운명체가 때로 생존엔 좋지 않기에...