Big Data 분석 알기 쉽게 설명하기 (Easy to Understand Data Analytics with Cooking Recipe)

뜬금없지만 어제 카레 요리를 하다가 '빅데이터 분석'을 음식을 만드는 과정에 비유한 어느 글이 생각나 영감을 받아 씁니다. 🍳

---

Big Data 분석 프로세스는 크게 4가지로 나누어 질 수 있습니다.

1. Data Acquisition
2. Data Preprocessing
3. Deep Learning : Data Modeling & Trainning & Evaluating
4. Data Analytics or Visualization

이를 요리에 비유하면 다음과 같습니다.

0. 재료를 보관하기 위한 냉장고

: 음식을 보관하기 위해 좋은 냉장고가 필요한 것처럼, 데이터를 안전하게 보관하면서 빅 사이즈의 데이터 — 이하 빅데이터 — 를 보관하기 위해서는 좋은 data warehouse 구축이 필요합니다. 물론 냉장고 크기가 클 수록 더 많은 데이터를 담을 수 있겠죠?

Data Warehouse

1. 좋은 재료 구입하기

: 좋은 재료에서 좋은 맛이 나듯, 좋은 데이터에서 좋은 결과가 나옵니다. 처음 빅데이터를 다루는 기업에서는 보통 좋은 냉장고와 양질의 재료가 없어서 N년간 고생을 하곤 합니다.

Materials : onion, carrot, potato, pork, curry cube

2. 음식 재료 다듬기

: 재료를 잘 다듬고, 먹기 좋게 썰어야 좋은 요리가 나오는 것처럼, 데이터도 전처리가 얼마나 잘 됐냐가 데이터 분석 결과를 판가름하게 됩니다. 

Preprocessing : Chop the materials

3. 재료 넣고 끓이기

: 잘 손질된 재료를 냄비에 몽땅 넣고 오일에 볶은 후, 20분 정도 끓이면 맛있는 카레가 됩니다. 이 때 불을 어떻게 조절하느냐, 얼마나 오래 재료를 끓이느냐에 따라 맛은 천차만별이 되죠. 만약 야채가 거의 씹히지 않는 일본식 카레를 원한다면 20분 넘게 끓여도 좋습니다.
데이터도 똑같습니다. Batch size를 얼마로 조절하냐, 어떤 학습 모델을 선택하느냐, 얼마나 많은 layer를 두느냐에 따라 결과가 달라집니다. 또 사람마다 입맛이 다르듯, data에 따라 그 방법이 다릅니다.

Deep Learning : Fry and boil the materials

4. 요리 완성 후 플레이팅 하기

: 요리가 완성됐습니다! 하지만 냄비째로 먹을 순 없겠죠? 예쁜 그릇에 담고, 원한다면 로즈마리나 파슬리를 얹어서 예쁘게 먹어도 좋습니다. Data도 분석이 완료되었다고 바로 볼 수 없고, 사람이 볼 수 있는 그래프나 테이블로 표현해 주어야 이해할 수 있는 결과가 됩니다. 보기 좋은 떡이 먹기도 좋다고, 나아가 다양한 JS library나 visualization tool을 이용하여 결과를 한 눈에 표현할 수도 있어요.

Your curry (data) is completed!

---

References

• kakaobank.recruiter.co.kr/appsite/company/callSubPage?code1=4000&code2=4500
• www.pixtastock.com/illustration/62952901