빅데이터의 역사 및 활용

작성자 제주 도남초등학교 김승건

내용

2016년 3월 28일에 ‘비정상회담’이라는 프로그램에서 송영길 교수가 나왔습니다.

그때 송영길 교수께서 ‘비정상회담’프로그램에 나오는 인물들에게 빅데이터를 활용하시는 것을 보았습니다. 한사람의 인격 및 성향에 대해 분석해서 말씀해주시는 것을 보고 깜짝 놀랐습니다.

저는 그때 “빅데이터가 뭘까?”라는 생각을 하였습니다. 그래서 저는 지금 빅데이터를 조사하였습니다.

빅데이터란 ‘기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트를 의미한다’ 라고 합니다.

빅데이터는 유행하기 전부터 정보 분석에 대한 연구는 꾸준히 지속되어왔었고 1941년 빅데이터는 "정보 폭발" (information explosion)이라는 뜻으로 옥스포드 사전에 명명되어 있었습니다.

 

시대별 데이터를 살펴보면 첫째,

 

1944년

 

 

 

 

Wesleyan 대학교 사서인 Fremont Ride는 

"The Scholar and the Future of the Research Library"를 발간하였습니다.

내용에 따르면, 16년을 주기로 미국 대학교의 도서목록이

두 배씩 증가한다는 사실을 발견하였다라는 것을 알수가 있습니다.

이 연구에 따르면, 약 2040년 예일 대학교 책의 양은 무려

200,000,000권 이상일 것이라 예상하였습니다.

 

.

.

.

둘째, 2000년대에는

 

 

 

UC 버클리 Peter Lyman과 Hal R. Varian은 

"How Much Information?"을 출판한 책을 보면

처음으로 정보양에 대한 포괄적이고 종합적인

연구 결과를 내놓았습니다.

 

이것은1999년 종이, 영화, CDs, DVD 의 정보량은

전세계를 통틀어 무려 1.5 엑사바이트 양이였습니다.

이는 지구상에 있는 모든 남자, 여자, 아이들이

각각 250메가바이트를 생상한 것입니다.

 

 

 

다음 해인 2002년 또 다른 조사는

1년 동안 5 엑사바이트를 만들어냈습니다.

이렇게 방대한 정보량의 92%는 

컴퓨터의 하드디스크에 저장되어 있었습니다.

 

또한 Doug Laney는

"3D Data Management: Controlling Data Volume, Velocity, and Variety"라는

연구 결과는 내놓았습니다.

이 세 가지 조건은 빅 데이터를 정의내리는데

일반적으로 사용되었습니다.

 

 

이것은 2015년 인터넷 규모가 2006년과 비교했을 때

최소 50배 이상 커진다고 조사하였습니다.

 

빅데이터은 너무나도 빠르게 생활속으로 접근하고 있습니다.

예술분야, 심리분석, 선호도 조사, 모바이 앱사용, 온라인 쇼핑몰 등 우리들의 생활과

밀접하게 관련되어 있다라는 것을 느낄 수 있기 때문입니다.

‘빅데이터 적용이 답이다.’ 라는 책에서 보면 빅데이터는

비용절감, 시간절약, 이윤추구에 대해서도 이야기하고 있습니다.

이는 모든 분야를 걸쳐 빅데이터를 사용하고 있다라는 것을 우리는 알 수 있습니다.

 

전 세계는 지금

.

매 초마다 2백 90만개의 이메일을 주고 받습니다.

매일 가정에서 375메가의 데이터를 사용합니다.

매 초마다 20시간의 비디오가 유튜브에 업로드 됩니다.

매일 구글은 24페타바이트의 데이터를 관리합니다.

매일 5천만건의 트윗을 주고 받습니다.

매 초마다 아마존은 약 73개의 물품을 주문 받습니다.

 

 이런 점에서, 빅데이터에 관한 연구는 꾸준히 지속되고 있습니다.

많은 정보를 통한 미래 예측이 가능해졌습니다. 빅데이터의 긍정적인 면에서 보면

미래의 사회는 정확한 데이터를 가지고 계획을 세우지만 인간의 마음 속까지 들여다보면서 판단한다는 것은 무서운 일 일수도 있다고 생각이 듭니다.

 

 

[출처] 빅데이터 블로그, 네이버, 빅데이터 책 = 빅데이터 적용이 답이다. (이상옥 지음)