빅 데이터 프로세싱(Big data processing)이란 무엇인가?

안녕하세요 기형쌤입니다.

 

기분 좋은 주말이에요!

한 해를 마무리해가는 12월! 여러분은 잘 보내고 계신가요?

연말은 연말이라 바쁘고 연초는 연초라 바쁘고

바쁠일이 너무 많아 몸이 남아나질 않네요ㅠㅠ

 

오늘 제가 가져온 이야기는 빅데이터 프로세싱에 관한 이야기입니다.

 

빅데이터 프로세싱이란?

말 그대로 디지털 시대에서 폭증하는 너무나도 방대한 양의 정보(Big Data)를

관리하고 분석해서 유용한 정보로서 사용할 수 있게 만든는 기술을 지칭합니다.

 

과거에는 정보로서 기록되지 않았던 매우 사소한 정보까지도

디지털 정보로 기록되는 정보화 시대에서는 너무나도 정보의 양이 많아졌습니다.

 

내가 어디에 있는지에 대한 위치정보, 뭘 먹고 싶어서 검색했는지에 대한 정보,

어떤 음악을 플레이 했는지에 대한 정보, 운동을 위해 얼마나 달렸는지에 대한 정보까지

전부 데이터로서 기록이 되니 정보는 넘쳐날 수 밖에 없죠.

 

또한 거기에 더해 단순한 문자 데이터에서 벗어나

녹음, 사진, 동영상 등 데이터의 종류가 다양해지고 데이터의 용량 자체도 큰 폭으로 늘어났습니다.

이런 빅 데이터는 기존의 기술이나 도구로는 원활한 수집과 처리가 불가능할 정도로

성질이 달라졌으므로 빅 데이터에서 유용한 정보를 추합하거나 가치를 뽑아내기 위해서

고안된 기술이 바로 빅 데이터 프로세싱입니다.

 

빅데이터는 사람들의 마음 속을 어느 정도 계량화해서 데이터로 만들어 응용하는 것을

목적으로 만들어진 기술이기에 주요 대기업들 사이에서 독자적인 빅 데이터 응용 모델 만들기가 대유행 중입니다.

빅데이터를 활용할 수 있는 분야는?

그렇다면 이러한 빅데이터를 활용할 수 있는 분야는 어디일까요?

수많은 곳에서 빅데이터를 이용할 수 있지만 대표적으로 추천 엔진이 있습니다.

 

예를 들어 페이스북의 당신이 알 수도 있는 사람 이라던지

유튜브의 추천 영상 등에 활용되어 사용될 수 있습니다.

 

심리/동향 분석에도 사용되는데,

SNS 포스팅이나 인터넷 광고 클릭 성향 등을 통해 맞춤형으로 정보를 전달하는 등의 활용이 되고 있습니다.

 

인공지능의 구현에도 빅데이터가 기반이 되는 기술입니다.

대표적으로 알파고를 떠올리실 수 있습니다.

알파고 또한 과거 대국의 정보를 바탕으로 한 수 한 수에 대한 승률을 계산해 다음수를 착수하는 것 과 같이

아직은 스스로 생각할 수 없기에 과거의 빅데이터를 기반으로

가장 높은 확률로 정답인 것을 찾아가는 형태로 발전해나가고 있습니다.

 

기타 도시학 연구, 네트워크 모니터링, 인터넷 사기의 탐지 등 수많은 분야에 빅데이터는 사용될 수 있습니다.

 

국내의 빅데이터 분석기사 자격증?

2019년 국내에 빅데이터 분석기사 자격증이라는 것이 신설되었습니다.

기사급의 자격증으로 2020년 하반기 최초 시행되었습니다.

 

한국데이터산업진흥원에서 시행하는 빅데이터분석기사 시험에 합격하여 그 자격을 취득한 사람을 말합니다.

빅데이터분석기사 시험은 필기시험과 실기시험으로 이루어지며

필기시험은 객관식으로 100점을 만점으로하여 과목당 40점 이상, 전 과목 평균 60점 이상이면 합격이 인정됩니다.

실기시험은 실무 통합형 시험으로 100점을 만점으로 하여 평균 60점 이상이면 합격하게 됩니다.

 

아직 국내에서 시행된지 얼마 되지 않은 자격증이지만 수많은 사람들이 몰려

11월 사이트가 먹통이 되어 아무도 접수하지 못하고 일정이 늦춰졌습니다.

 

오는 12월 19일 첫 필기시험이 진행되어 아직 국내에 자격증 취득자는 없지만

워낙 유망한 직종인 빅데이터 관련 자격증이고

국가 자격증인지라 취득시 취업에 굉장히 유리해질 것으로 예측됩니다.

빅데이터 기술을 배우려면?

빅데이터 전문가가 되려면 기본적으로 Python언어를 알고있어야 합니다.

현재 프로그래밍 업계에서 가장 중요한 언어라고 한다면 단연 Python입니다.

쉬우면서도 범용성 넓은 Python은 제가 Python에 대해 설명해놓은 게시글이 있으니

그 글을 읽어보시면 이해하기 편하실겁니다.

kiihakjumcircle.tistory.com/entry/Python%ED%8C%8C%EC%9D%B4%EC%8D%AC%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%B4%EA%B3%A0-%EC%96%B4%EB%94%94%EC%84%9C-%EB%B0%B0%EC%9A%B8-%EC%88%98-%EC%9E%88%EB%82%98%EC%9A%94?category=909606

Python(파이썬)은 무엇이고 어디서 배울 수 있나요?

 

그리고 네트워크 기반의 기술이니 CCNA(네트워크 기초)정도도 알고 계시는게 좋겠죠?

또한 대용량 데이터를 분석, 처리할 수 있는 기술인 하둡 프로그래밍 또한 배우셔야 합니다.

 

배울게 너무 많죠?

 

그래서 빅데이터 전문가를 생각하시는 분들은 어느정도 프로그래밍에 대해

전반적인 기초 지식이 있어야 합니다.

하지만 걱정 마세요!

기초부터 차근차근 가르쳐드리는 전문가 과정을 소개해드리겠습니다.

 

아래의 네임카드를 클릭하시면 바로 상담해드릴 수 있으니 문의 주세요!

상담은 무료로 진행되니 부담없이 연락 남겨놔주시면

빠르게 전문가 과정으로 이끌어드리겠습니다▼

네임카드를 클릭해주시면 바로 상담 도와드리겠습니다!