빅데이터 플랫폼
빅데이터 플랫폼은 대규모의 다양한 데이터를 수집, 저장, 처리, 분석, 시각화, 활용할 수 있도록 지원하는 기술적 기반이다.
빅데이터 플랫폼은 빅데이터를 처리하고 분석하기 위한 하드웨어, 소프트웨어, 네트워크, 데이터 저장소, 분석 도구, 운영 체계를 포함하는 통합 환경이다. 빅데이터는 규모가 크고 생성 속도가 빠르며 형식이 다양하기 때문에 일반적인 단일 데이터베이스나 단일 분석 도구만으로 처리하기 어렵다. 따라서 대용량 데이터를 안정적으로 저장하고, 분산 처리하며, 분석 결과를 활용할 수 있는 플랫폼이 필요하다.
빅데이터 플랫폼은 데이터 수집, 데이터 저장, 데이터 처리, 데이터 분석, 분석결과 시각화, 데이터 거버넌스를 연결하는 기반 역할을 한다. 데이터 분석 조직이나 데이터 분석 인력이 효과적으로 활동하려면 분석 목적에 맞는 플랫폼과 도구가 마련되어야 한다.
빅데이터 플랫폼은 빅데이터의 수집, 저장, 처리, 분석, 관리, 활용을 지원하는 통합 기술 환경이다. 여기에는 분산 파일 시스템, 분산 처리 프레임워크, 데이터베이스, 데이터 웨어하우스, 데이터 레이크, 스트리밍 처리 시스템, 분석 도구, 시각화 도구, 보안 및 관리 체계가 포함될 수 있다.
빅데이터 플랫폼은 단순히 데이터를 저장하는 공간이 아니라 데이터의 전체 흐름을 관리하는 기반이다. 데이터가 발생한 뒤 수집되고, 저장되며, 처리되고, 분석되어 의사결정이나 서비스에 활용되기까지의 과정을 지원한다.
빅데이터 플랫폼의 목적은 대량의 데이터를 효율적으로 처리하고 분석하여 가치 있는 정보를 얻는 데 있다. 플랫폼이 없으면 데이터가 여러 시스템에 흩어져 관리되거나, 분석에 필요한 데이터 처리 시간이 과도하게 길어질 수 있다.
주요 목적은 다음과 같다.
- 대용량 데이터의 안정적 저장
- 다양한 형식의 데이터 통합
- 빠른 데이터 처리와 분석
- 실시간 또는 준실시간 데이터 처리
- 분석 도구와 데이터 저장소의 연계
- 데이터 품질과 보안 관리
- 분석 결과의 업무 활용 지원
빅데이터 플랫폼은 여러 기술 요소로 구성된다. 각 요소는 데이터의 생애주기에서 서로 다른 역할을 수행한다.
| 구성 요소 | 설명 | 관련 개념 |
|---|---|---|
| 데이터 수집 계층 | 내부 시스템, 외부 데이터, 로그, 센서, 웹, 모바일 등에서 데이터를 수집한다. | 데이터 수집 |
| 데이터 저장 계층 | 수집한 데이터를 원본 또는 가공된 형태로 저장한다. | 데이터 저장, 데이터 레이크, 데이터 웨어하우스 |
| 데이터 처리 계층 | 데이터를 정제, 변환, 통합, 집계하여 분석 가능한 형태로 만든다. | 데이터 처리, ETL |
| 분석 계층 | 통계분석, 기계학습, 데이터 마이닝, 예측모형 구축을 수행한다. | 데이터 분석, 분석모형 |
| 시각화 계층 | 분석 결과를 그래프, 대시보드, 보고서 등으로 표현한다. | 분석결과 시각화 |
| 관리 계층 | 보안, 권한, 품질, 메타데이터, 모니터링을 관리한다. | 데이터 거버넌스, 메타데이터 |
데이터 수집 계층은 다양한 원천에서 데이터를 확보하는 부분이다. 빅데이터 환경에서는 데이터가 업무 시스템, 웹 로그, 모바일 앱, 센서, 소셜 미디어, 공공 데이터, 외부 데이터 제공 기관 등 여러 경로에서 발생한다.
데이터 수집 방식은 데이터의 성격에 따라 달라진다. 정형 데이터는 데이터베이스나 업무 시스템에서 수집할 수 있고, 반정형 데이터는 로그 파일이나 JSON, XML과 같은 형식으로 수집될 수 있으며, 비정형 데이터는 문서, 이미지, 음성, 동영상 등의 형태로 수집될 수 있다.
데이터 저장 계층은 수집한 데이터를 보관하는 영역이다. 빅데이터 플랫폼에서는 데이터의 양과 형식이 다양하기 때문에 여러 저장 기술이 함께 사용될 수 있다.
| 저장 방식 | 설명 | 특징 |
|---|---|---|
| 데이터베이스 | 구조화된 데이터를 체계적으로 저장하고 조회하는 시스템 | 정형 데이터 관리에 적합하다. |
| 데이터 웨어하우스 | 분석과 의사결정을 위해 주제 중심으로 통합된 데이터를 저장하는 시스템 | 정제된 분석용 데이터 저장에 적합하다. |
| 데이터 마트 | 특정 부서나 업무 영역을 위해 구성된 소규모 분석용 데이터 저장소 | 특정 목적의 분석에 적합하다. |
| 데이터 레이크 | 원천 데이터를 다양한 형식 그대로 저장하는 저장소 | 정형, 반정형, 비정형 데이터를 함께 저장할 수 있다. |
| 분산 파일 시스템 | 대용량 데이터를 여러 서버에 나누어 저장하는 파일 시스템 | 확장성과 장애 대응에 유리하다. |
데이터 처리 계층은 저장된 데이터를 분석 가능한 형태로 만드는 부분이다. 빅데이터 플랫폼에서는 대용량 데이터를 처리해야 하므로 분산 처리 기술이 중요하다.
데이터 처리에는 결측값 처리, 이상값 처리, 데이터 변환, 데이터 통합, 집계, 필터링, 표준화, 정규화 등이 포함된다. 또한 데이터 웨어하우스나 데이터 마트에 데이터를 적재하기 위해 ETL과 같은 처리 절차가 사용될 수 있다.
데이터 처리 방식은 일괄 처리와 실시간 처리로 나눌 수 있다.
| 처리 방식 | 설명 | 예시 |
|---|---|---|
| 일괄 처리 | 일정 기간 동안 모인 데이터를 한 번에 처리하는 방식 | 일별 매출 집계, 월별 고객 분석 |
| 실시간 처리 | 데이터가 발생하는 즉시 또는 짧은 지연 시간 안에 처리하는 방식 | 실시간 이상 탐지, 실시간 추천, 센서 데이터 모니터링 |
분석 계층은 데이터를 이용하여 패턴, 관계, 예측 결과, 규칙을 도출하는 영역이다. 빅데이터 플랫폼에서는 통계분석, 기계학습, 데이터 마이닝, 텍스트 분석, 시계열 분석, 딥러닝 등 다양한 분석기법이 사용될 수 있다.
분석 계층은 데이터 분석가와 데이터 과학자가 주로 활용하는 영역이다. 분석 목적에 따라 회귀분석, 로지스틱 회귀분석, 의사결정나무, 인공신경망, 서포트벡터머신, 군집분석, 연관성분석, 시계열 분석 등이 적용될 수 있다.
시각화 계층은 분석 결과를 이해하기 쉬운 형태로 표현하는 영역이다. 분석 결과는 표, 그래프, 지도, 대시보드, 인포그래픽 등의 형태로 제공될 수 있다.
시각화는 단순한 표현 도구가 아니라 분석 결과를 이해하고 의사결정에 활용하도록 돕는 수단이다. 빅데이터 플랫폼에서 시각화 기능은 경영진, 현업 담당자, 분석가가 같은 결과를 공유하고 해석하는 데 중요하다.
관리 계층은 빅데이터 플랫폼이 안정적으로 운영되도록 보안, 권한, 품질, 표준, 메타데이터, 모니터링을 관리하는 영역이다.
빅데이터 플랫폼은 다양한 데이터를 통합하여 활용하기 때문에 관리 체계가 약하면 데이터 품질 저하, 개인정보 유출, 중복 데이터 발생, 분석 결과 불일치 문제가 발생할 수 있다. 따라서 플랫폼 운영에는 데이터 거버넌스, 데이터 품질 검증, 개인정보 보호법, 데이터 비식별화에 대한 고려가 필요하다.
빅데이터 플랫폼은 구축 방식과 운영 환경에 따라 여러 유형으로 나눌 수 있다.
| 유형 | 설명 | 특징 |
|---|---|---|
| 온프레미스 플랫폼 | 조직 내부의 서버와 저장장치에 직접 구축하는 방식 | 통제력이 높지만 초기 구축 비용과 운영 부담이 크다. |
| 클라우드 플랫폼 | 클라우드 서비스 제공자의 인프라를 이용하는 방식 | 확장성과 유연성이 높고 초기 투자 부담이 낮을 수 있다. |
| 하이브리드 플랫폼 | 온프레미스와 클라우드를 함께 사용하는 방식 | 보안 요구와 확장성을 함께 고려할 수 있다. |
| 오픈소스 기반 플랫폼 | 오픈소스 기술을 조합하여 구축하는 방식 | 유연성이 높지만 운영 전문성이 필요하다. |
| 상용 솔루션 기반 플랫폼 | 상용 소프트웨어와 서비스를 이용하여 구축하는 방식 | 기술 지원과 안정성이 장점일 수 있다. |
빅데이터 플랫폼과 데이터 웨어하우스는 모두 데이터 분석을 지원하지만 범위와 목적이 다르다. 데이터 웨어하우스는 주로 정제되고 구조화된 데이터를 분석 목적으로 저장하는 시스템이다. 반면 빅데이터 플랫폼은 정형 데이터뿐 아니라 반정형 데이터와 비정형 데이터까지 포함하여 수집, 저장, 처리, 분석하는 더 넓은 환경이다.
| 구분 | 빅데이터 플랫폼 | 데이터 웨어하우스 |
|---|---|---|
| 주요 목적 | 다양한 대규모 데이터의 수집, 저장, 처리, 분석 | 통합된 분석용 데이터 저장과 조회 |
| 데이터 형식 | 정형, 반정형, 비정형 데이터 | 주로 정형 데이터 |
| 처리 방식 | 분산 처리, 실시간 처리, 대용량 처리 | 정형화된 질의와 분석 처리 |
| 활용 범위 | 기계학습, 로그 분석, 실시간 분석, 데이터 탐색 | 경영 분석, 보고, 의사결정 지원 |
데이터 레이크는 다양한 형식의 원천 데이터를 저장하는 저장소이다. 빅데이터 플랫폼은 데이터 레이크를 포함할 수 있지만, 데이터 레이크 자체가 빅데이터 플랫폼 전체를 의미하지는 않는다.
데이터 레이크는 정제 전 데이터를 유연하게 저장할 수 있다는 장점이 있지만, 관리 체계가 약하면 데이터의 의미와 품질을 파악하기 어려운 상태가 될 수 있다. 따라서 데이터 레이크를 활용할 때는 메타데이터 관리와 데이터 품질 관리가 중요하다.
빅데이터 플랫폼은 많은 데이터를 통합하여 처리하므로 데이터 거버넌스가 필요하다. 데이터 거버넌스는 데이터의 품질, 표준, 보안, 접근 권한, 책임을 관리하는 체계이다.
플랫폼이 기술적 기반이라면 데이터 거버넌스는 데이터를 올바르게 사용하도록 하는 관리 체계이다. 두 요소가 함께 작동해야 분석 결과의 신뢰성과 데이터 활용의 안정성을 확보할 수 있다.
빅데이터 플랫폼을 구축할 때는 기술 도입보다 분석 목적과 데이터 활용 계획을 먼저 정의해야 한다. 플랫폼은 조직의 분석 목적, 데이터 규모, 데이터 유형, 보안 요구, 운영 역량에 따라 설계되어야 한다.
| 단계 | 내용 |
|---|---|
| 목표 정의 | 플랫폼을 통해 해결하려는 업무 문제와 분석 목적을 정의한다. |
| 데이터 현황 파악 | 보유 데이터, 외부 데이터, 데이터 형식, 데이터 품질, 데이터 발생량을 확인한다. |
| 요구사항 분석 | 저장 용량, 처리 속도, 분석 도구, 보안, 확장성 요구사항을 정리한다. |
| 아키텍처 설계 | 수집, 저장, 처리, 분석, 시각화, 관리 계층의 구조를 설계한다. |
| 기술 선정 | 데이터베이스, 분산 처리 도구, 분석 도구, 시각화 도구 등을 선정한다. |
| 구축 및 연계 | 시스템을 구축하고 기존 업무 시스템, 데이터 소스, 분석 도구와 연계한다. |
| 운영 및 모니터링 | 성능, 장애, 보안, 품질, 사용 현황을 지속적으로 점검한다. |
| 개선 및 확장 | 데이터 증가와 분석 요구 변화에 맞게 플랫폼을 개선한다. |
빅데이터 플랫폼은 구축 이후에도 지속적인 운영과 개선이 필요하다. 데이터 규모가 증가하거나 분석 요구가 바뀌면 플랫폼 구조도 함께 조정되어야 한다.
주요 고려사항은 다음과 같다.
- 데이터 수집 경로의 안정성
- 데이터 저장 공간의 확장성
- 데이터 처리 성능
- 분석 도구와의 연계성
- 데이터 품질 관리
- 개인정보와 민감정보 보호
- 접근 권한 관리
- 장애 대응과 백업
- 운영 비용 관리
- 사용자 교육과 활용 체계
빅데이터분석기사에서는 빅데이터 플랫폼을 빅데이터 분석 기획 영역의 세세항목으로 다룬다.[1] 이 개념은 빅데이터 기술 및 제도 영역에서 인공지능, 개인정보 보호법, 데이터 비식별화와 함께 이해하는 것이 적절하다.
시험 관점에서는 빅데이터 플랫폼을 단순한 저장소로 이해하지 않고, 데이터 수집, 저장, 처리, 분석, 시각화, 관리가 결합된 통합 환경으로 이해해야 한다. 또한 데이터 웨어하우스, 데이터 마트, 데이터 레이크, ETL, ODS, EAI, CEP 등 데이터 처리와 연계되는 개념과의 차이를 구분하는 것이 중요하다.
| 개념 | 설명 | 구분 |
|---|---|---|
| 빅데이터 플랫폼 | 대규모 데이터를 수집, 저장, 처리, 분석, 활용하는 통합 기술 환경 | 빅데이터 처리와 분석을 위한 전체 기반이다. |
| 데이터 웨어하우스 | 분석과 의사결정을 위해 통합된 정형 데이터를 저장하는 시스템 | 정제된 분석용 데이터 저장소에 가깝다. |
| 데이터 마트 | 특정 부서나 업무 영역을 위한 소규모 분석용 데이터 저장소 | 데이터 웨어하우스보다 범위가 좁다. |
| 데이터 레이크 | 다양한 형식의 원천 데이터를 저장하는 저장소 | 저장소 개념이며 플랫폼 전체와는 다르다. |
| ETL | 데이터를 추출, 변환, 적재하는 절차 | 데이터 처리와 적재 과정에 해당한다. |
| ODS | 운영계 데이터를 통합하여 임시 또는 중간 단계로 저장하는 시스템 | 운영 데이터 통합과 분석 전 단계에 활용된다. |
| 데이터 거버넌스 | 데이터 품질, 표준, 보안, 권한, 책임을 관리하는 체계 | 플랫폼 운영의 관리 체계이다. |
- ↑ 한국데이터산업진흥원 데이터자격시험, "빅데이터분석기사 시험주요내용", https://www.dataq.or.kr/www/sub/a_07.do
