190 likes | 304 Views
What is‘Big Data’?. - 빅 데이터에 대한 전반적인 이해. 네트워크 컴퓨팅 프로젝트. 60062340 김충현 60062378 이병권 60062408 홍수범. 서론 시대의 화두 빅 데이터 국내 · 외 빅 데이터 활용 현황 빅 데이터 분석 기법 빅 데이터 분석 인프라 기술 결 론. 1. 서론 - 양적 거대함. SNS. Social media. IT convergence. 데이터의 종류 와 양 의 급격한 증가.
E N D
What is‘Big Data’? - 빅 데이터에 대한 전반적인 이해 네트워크 컴퓨팅 프로젝트 60062340 김충현 60062378 이병권 60062408 홍수범
서론 시대의 화두 빅 데이터 국내·외 빅 데이터 활용 현황 빅 데이터 분석 기법 빅 데이터 분석 인프라 기술 결론
1. 서론 - 양적 거대함 SNS Social media IT convergence 데이터의 종류와 양의 급격한 증가
1. 서론 - 경제 변화의 핵심 자원 역할 산업 시대=철, 석탄 IT 시대=인터넷 빅 데이터! 모바일 스마트 시대= ?
2. 시대의 화두 빅 데이터 – 빅 데이터란? 의미 있는 결과 도출이 가능한 수십∼수천 TB에 달하는 거대 데이터 집합 • 페타(Peta : ) • 엑사(Exa : ) • 제타(Zeta : ) 3V 관련도구, 플랫폼, 분석기법까지 포괄하는 용어로 변화
2. 시대의 화두 빅 데이터 –어떻게 활용 할 수 있을까?
3. 국내·외 빅데이터 활용 현황 – 국가(U.S.A) • 수집된 빅 데이터를 통해 후천성 면역결핍증(HIV) 등 관리대상 주요 질병의 분포, 연도별 증가 등에 대한 통계치 확보 가능
3. 국내·외 빅데이터 활용 현황 – 국가(U.K , Singapore)
3. 국내·외 빅데이터 활용 현황 – 국내 • 데이터와 같은 데이터의 증가보다 인터넷 트래픽의 증가를 더 심각하게 생각 • 데이터의 활용이라는 측면의 연구는 상대적으로 부족 • 빅 데이터 활용 추진 방안
3. 국내·외 빅데이터 활용 현황 – 기업 • 사용자 정보처리를 통해 제안되는 ‘추천’ 시스템에서 전체 매출 30% 발생
4. 빅 데이터 분석 기법 – Text Mining • Text mining • 비·반정형 텍스트 데이터를 자연어 처리 기술에 • 기반하여 유용한 정보를 추출하여 가공 • 의미 있는 정보 추출 • 다른 정보와의 연계성을 파악 • 텍스트가 가진 카테고리를 검색 • 정보 검색 • 정보 재생산 • 텍스트 마이닝과정
4. 빅 데이터 분석 기법 – Opinion Mining • Opinion mining 웹사이트와 소셜 미디어에 나타난 여론과 의견을 분석하여 유용한 정보로 재가공하는 기술 • 특정 서비스 및 상품에 대한 시장 규모 예측, 소비자의 반응, 입소문 분석 등에 활용 • 공공분야의 경우 민원의 원인이나 문제점 등을 파악하는 것이 용이해 서비스를 개선 • 선호도를 나타내는 표현·단어 자원의 축적이 필요 • Opinion Mining 3단계
4. 빅 데이터 분석 기법 – Social Network Analytics • Social Network Analytics 페이스북, 트위터등의소셜 네트워크 서비스에서 생산되는 데이터를 분석,의미 있는 정보를 추출하는 기술 • 프라이버시 보호 등 부작용 대응을 위한 • 기술개발 및 산업육성 필요 • - Social Network Analytics 4단계 -
5. 빅 데이터 분석 인프라 기술 –Hadoop 오픈 소스 분산처리기술 프로젝트. 현재 정형/비정형 빅데이터 분석에서 가장 선호되는 솔루션 • Hadoop 개발자는 맵리듀스 프레임워크 기반의 자바 프로그램을 개발하고 하둡플랫폼에서 이를 실행해 대량의 데이터를 병렬로 처리 • - 하둡구조 & 대응하는 구글분산처리기술 -
5. 빅 데이터 분석 인프라 기술 – R 통계 계산 및 시각화를 위한 언어 및 개발환경. 모델링, 최신 데이터 마이닝기법까지 구현/개선이 가능 • R 시각화를 통해 데이터의 직관적인 분석과 이해 도움
5. 빅 데이터 분석 인프라 기술 – NoSQL(Not-only SQL) 전통적인 관계형 데이터베이스RDBMS와 다르게 설계된 비관계형 데이터베이스를 의미 • NoSQL • - 대표적인 NoSQL솔루션 -
6. 결론 – 기업의 입장에서 분석기술과 관리 능력에 초점을 맞춰 심층적인 개선에 주력해야 할 것! 빅 데이터를 활용해서 새로운 가치 창출과 이익 극대화를 위한 연구가 필요! 다양한 빅 데이터 관련 오픈소스 중 기업에 적당한 기술을 선택 해야 할 것!
Big Data 6. 결론 – 개발자의 입장에서