Yahoo와 Microsoft에서 하둡기반 분석 데이터의 중간크기가 14GByte?

재작년 얘기지만 당시 야후와 마소에서 하둡으로 진행하는 빅데이터 분석 데이터 크기의 중간값이 14G 이고 90% 이상이 100G 이하이었다고... 

하둡이 순환적인 알고리즘 처리엔 약하기 때문에 DAG로 접근한 제품들, 메모리기반 솔루션이 나온다.  배치와 함께 실시간/스트림 처리를 상식적으로 아우를 수 있는 기반이 나오면 좋겠다. 

Spark/Shark 가 충족해 줄까?  Stanford 옆동네에 Berkeley가 있다.  이런 일을 하고 있다.  계속 있었더라면 나도 관여하고 있었을 지도 모르겠다는 생각이 든다.