justdoit

[빅데이터 환경에서의 개인정보보호 ]

빅데이터 환경에서의 프라이버시가 쟁점이 되는 사례 를 살펴보면, 쿠키정보를 활용한 온라인 맞춤광고 사례,  구매정보를 활용한 고객 신분, 성향 분석 사례, SNS 및 위치정보를 활용한 맞춤형 광고 사례, 검색정보를 활용한  독감 트랜드 서비스 사례, 모바일 이용자 정보를 활용한 광고플랫폼 등의 사례가 있습니다.  그리고 빅데이터를 이용한 비즈니스 운영시스템 개선 사례, 의료 데이터를 활용한 질병 예측 사례,  범죄 데이터베이스를 이용한 범죄감시시스템 구축 사례, 제3자 쿠키차단 기능 무력화 논쟁 소위 쿠키 게이트 사례  등이 있습니다.

SNS 및 위치정보를 활용한 맞춤형 광고 사례와 범죄 데이터베이스를 이용한 범죄감시시스템 구축 사례와 관련하여,  개인의 위치정보와 프라이버시의 보호관계를 살펴보면, 개인의 위치정보는 개인이 존재하는 공간에 대한 정보로  이를 종합적으로 분석하면 어떤 특정인에 대한 일거수일투족을 파악할 수 있는 주요한 사적 영역의 개인정보에  해당합니다. 특히 핸드폰, 스마트폰 등 휴대용 통신장비가 보편화되어 있는 현대사회에서 개인의 위치정보의  노출 가능성은 그 어느 때보다 높지만 이것을 기존의 프라이버시보호의 법리를 적용하여 보호하는 것에  여러 가지 한계가 있습니다.  빅데이터의 비즈니스화에 따른 프라이버시 침해 사례를 유형화 하면, 개인정보가 악용된 사례, 제3의 사업자에게  노출된 사례, 불특정다수의 일반인에게 노출된 사례, 특정의 일반인에게 노출된 사례 등으로 나눌 수 있습니다.

빅데이터 환경 내 발생 가능한 개인정보 침해위협을 개인정보 생명주기에 따라 분류 해보겠습니다. 

먼저 수집단계의 침해유형에는 사용자가 인지하지 못하는 소프트웨어 등을 이용하여 개인정보를 수집하거나  개인정보가 포함된 콘텐츠를 크롤링하여 개인정보 수집하는 부적절한 개인 정보를 수집하는 유형,  개인정보 소유자의 접속정보를 지속적으로 수집 및 분석하거나 허가 없이 개인 위치 정보 수집하는 동의 없는  사생활 모니터링 유형, 상업적 목적 혹은 관리 편의성을 이유로 불필요한 개인정보 수집, 정당한 목적 없이  민감정보를 수집하는 불필요한 개인정보 수집과 같은 유형이 있습니다. 저장 및 관리 단계의 침해유형에는  개인정보가 저장된 데이터베이스/시스템의 관리 소홀로 인한 데이터베이스/시스템 미보호 유형, 시스템 불법침입  및 실수로 개인 정보 유출이나, 권한 오류로 개인정보 유출 및 노출하는 부주의로 인한 개인정보 노출과 같은  유형이 있습니다.

이용 및 제공 단계의 침해유형에는 사용자 동의 없이 구매내역 들을 분석하여 맞춤형 서비스에 이용하거나  사용자 이동경로를 분석하여 악의적 목적에 사용하는 부적절한 분석 유형, 사전동의를 거치지 않고  상품 광고나 광고성 정보를 제공하거나 사용자 동의 없는 개인정보 제3자 제공으로 광고성 스팸메일, SMS문자,  전화를 발송하는 동의 없는 광고성 정보 제공 유형이 있습니다.  그리고 마지막으로 파기 단계의 침해유형에는 보유기간 경과 후에도 개인정보 및 위치정보 파기 하지 않거나  개인정보가 저장된 하드디스크의 저장 정보를 삭제하지 않고 방치하는 보유기간 이후에도 미파기 유형,  파기 권한을 가지지 않은 자가 개인정보를 임의로 파기하거나 관리자의 실수로 개인정보를 파기하는  불법적 개인정보 파기 유형이 있습니다.

2. 개인정보보호 방법

프라이버시보호 를 위해 어떻게 해야 하는지 알아볼까요? 개인데이터의 안전하고 안심한 활용을 도모하기 위해서는  종래의 개인정보보호의 대책에 더하여 프라이버시보호를 위한 대책이 필요합니다. 개인정보를 포함한 데이터를  취급하는 경우, 우선 개인정보보호법을 준수하는 것이 필수적이며 기업 내에 구축한 개인정보보호 매니지먼트  시스템에 따라서 데이터를 취급해야 합니다. 또 이들 개인정보보호대책에 더하여 빅데이터 비즈니스에 있어서  프라이버시 보호를 견고한 것으로 하기 위하여 프라이버시 바이 디자인의 사고방식과 그것에 기초한 프라이버시  보호를 위한 대책을 철저히 하고, 데이터의 안전하고 안심한 활용을 위하여 노력을 기울여야 할 것입니다.

‘프라이버시 바이 디자인’이란 앤 카부키안에 의하여 주장된 개념으로서, 프라이버시 정보를 취급하는 모든  측면에 있어 프라이버시 정보가 적절하게 취급되는 환경을 ‘사전적(事前的)’으로 만드는 것을 의미합니다.   이 ‘프라이버시 바이 디자인’이란 개념은 정부나 기업은 설계 단계에서부터 기술적으로 프라이버시를 보호하는  구조의 구축을 추진해 가는 것이 필요하며 최초 단계에서부터 확실히 프라이버시를 보호하는 것이 요구됩니다.

프라이버시보호를 위한 조직과 체제를 구축할 필요가 있습니다. 이와 동시에 빅데이터 비즈니스에 있어서  프라이버시보호방침을 정하고 사원이 준수할 수 있도록 해야 합니다. 또한 프라이버시 보호방안에 관하여 기업의  고객에게 정보를 공개함과 동시에 계속적인 개선노력을 해야 합니다.  프라이버시보호를 위해 기업은 정보통신 시스템 및 스마트정보시스템 총괄본부 등과 같은 부서에서 프라이버시  보호책임자를 선임해야 하고 프라이버시 보호책임자의 감독아래 빅데이터 비즈니스에서 프라이버시 보호방침 즉  가이드라인을 설정해야 합니다. 그리고 프라이버시 보호방침을 시작으로 하는 프라이버시 보호에 관한  각종 시책, 각종결정은 프라이버시 보호책임자의 책임아래 빅데이터 비즈니스에 연계된 사원에게 철저하게  주지시키며 프라이버시 보호책임자는 적절하게 프라이버시 보호에 각종 시책이 실시되는 여부를 정기적으로  점검하고 또 운영의 개선책을 마련하기 위하여 노력해야 합니다. 사원은 각 개인이 프라이버시 보호방침을  준수해야 합니다.

[빅데이터 환경에서의 보안 ]

다양한 경로를 통해 생성, 수집되는 빅데이터들은 곧 다양한 경로의 보안위협을 의미합니다. 최근 장시간에 걸쳐  목적을 가지고 공격하는 지능형 지속 위협(APT, Advanced Persistent Threat) 등이 발생하면서 빅데이터 생성 및  수집 과정에서 데이터 신뢰성 및 무결성에 대한 우려가 높아지고 있습니다. 따라서 이를 해결하기 위해 다양한  연구가 진행되고 있으며, 전자서명, 다양한 필터링 기법, 스팸메일방지, 피싱방지 등의 기술들이 적용되고  있습니다.

빅데이터가 생성되어 저장, 분석되어 서비스로 제공되기까지의 일련의 과정 중 가장 보안에 주의해야 하는  구간이 바로 빅데이터의 저장 및 운영 구간입니다. 다양한 경로를 통해 생성, 수집된 데이터를 처리, 저장,  운영하는 구간은 외부로부터의 공격뿐 아니라 내부로부터의 위협에도 노출될 수 있기 때문입니다.

2. 보안 방법

다양한 사용자를 수용하는 클라우드 컴퓨팅을 활용하는 빅데이터는 다양한 공격자에게 노출될 수 있습니다.  따라서 인가된 사용자를 식별하기 위한 사용자 인증은 필수 보안 요소입니다. 그리고 최근에는 사용자 중심의  인증방식이 사용되고 있는데 이는 최근 클라우드 컴퓨팅 환경에서 각 시스템마다 반복적으로 인증을 실시하거나  인증을 위함입니다. SSO(Single Sign-On), SAML(Security Assertion Markup Languege) 등의 인증방식이 있습니다.

데이터 운영의 안정성을 보장하기 위해, 접근제어(AC) 및 침입차단시스템(IDS), 침임탐지시스템(IPS)  방화벽 등 네트워크 보안 및 웹 보안을 구축해야 합니다. 분산, 병렬 처리되는 클라우드 컴퓨팅의 특성상 주로  웹 기반 인터페이스를 통해 데이터가 전송되므로 SSL/TLS 기반의 https 등의 활용과 알려진 공격 이외의  공격까지 탐지하기 위해 애플리케이션 단위의 트래픽 탐지가 가능한 침입차단 시스템 또는 침입탐지시스템을  도입할 필요가 있습니다.

데이터의 기밀성을 확보하기 위해 데이터는 반드시 암호화해야 합니다. 고의적인 내부 공격이나 외부공격을 통해  데이터가 노출되더라도 암호를 해독하지 않는 이상 원본데이터를 얻을 수 없도록 하여 노출에 대한 위험을  낮출 수 있습니다. 하지만 모든 데이터의 암호화는 많은 시간과 자원을 요구하므로 기업에서 비효율적인 면이  없지 않습니다. 따라서 기업 내부의 보안 정책 및 데이터의 중요도에 따라 차별을 두어 적용하는 것이 좋습니다.   분산된 데이터의 무결성을 보장해야 합니다. 이는 빅데이터는 하둡과 같은 맵 리듀스분산처리 프레임워크를 통해  여러 개의 데이터로 분산처리되고 연산 효율을 위해 병렬 저장되며 이후 분산 저장된 데이터를 분석하여  2차 데이터를 생성할 때, 빅데이터로부터 생성된 2차 데이터에 대해 신뢰성을 제공하기 때문입니다.

데이터의 가용성 및 복구에 대한 대책이 있어야 합니다. 인가된 사용자는 언제든지 원하는 데이터에 접근할 수  있어야 하는데 이는 실시간으로 대량 생산되는 데이터를 처리하기 위해 분산된 시스템을 이용하는 빅데이터의   저장과 운영 때문입니다. 그리고 재해나 물리적 침입으로부터 안전하고 서비스가 지속될 수 있도록 백업 및  복구에 대한 물리적 보안도 제공되어야 합니다.  빅데이터 분석 과정은 중요한데 빅데이터를 산업별, 부서별 각 필요와 요구에 따라 분석하는 과정은 빅데이터  서비스를 위해 반드시 거쳐야 하는 절차입니다. 이 과정에서 이전의 암호화 등을 통해 데이터의 기밀성과  익명화 과정을 거쳤다고 해도 사용자가 원하는 데이터를 추출하기 위해 데이터의 복호화 등 데이터 복구 과정을  수행하여야 합니다. 

따라서 분석 및 2차 데이터에서도 프라이버시 침해 및 데이터의 기밀성이 노출될 위험이  있습니다. 즉, 2차 데이터 생성시 반드시 프라이버시 보호를 위해 익명화 및 암호화기법 등이 도입되어야 합니다.  기업의 입장에서 많은 데이터 분석을 위해 암호화 및 복호화 작업을 거치는 것은 비능률적이므로 이를 보다  효율적으로 처리하기 위해 최근 암호화된 상태에서 키워드를 통한 검색을 할 수 있는 키워드기반 검색기법  (Keyword Search), 프라이버시를 보호하면서 데이터를 분석하는 PPDM(Privacy Preserving Data Mining)기법 등이   연구되고 있습니다.

클라우드 형태로 분산, 병렬 운영되는 데이터 웨어하우스로부터 정책을 결정하거나 분석결과를 통해 서비스를  제공받는 사용자의 입장에서 데이터의 무결성 및 가용성은 반드시 고려되어야 하는 중요한 요소입니다.  따라서 빅데이터 자체에 대한 신뢰성 및 가용성 확보를 위해 산업별, 기업별 주요 데이터에 대한 별도의  보안기법 적용 및 위험관리가 필요합니다. 이 밖에도 분석 및 처리 과정을 통해 얻어진 2차 생성 데이터의  소유에 관한 이슈가 있습니다.

스웨덴의 자동차 제조회사인 볼보 역시 빅데이터를 분석하고 활용하고 있습니다. 볼보는 새로 출시된 자동차의  결함 여부를 차량에 부착된 센서 데이터를 분석하여 조기 감지하였습니다. 그래서 기존의 50만대 판매 시점에  발견할 수 있었던 결함을 1천대 판매 시점에 조기에 발견하여 불량발생을 사전에 예방할 수 있었습니다.  마지막으로 살펴볼 사례는 스페인의 패션 의류 유통업체인 ZARA입니다. ZARA는 수요와 관련한 빅데이터 기반의 재고  및 생산의 최적화를 달성하고 있습니다. 과잉생산 및 할인을 지양하고 분석적으로 재고를 관리하는 무재고 운영  정책을 원칙으로 하여 전 세계 매장의 판매 및 재고 데이터를 분석하여 최대 매출을 창출할 수 있는 재고 최적 분배  시스템을 개발했습니다. 최적의 분배시스템을 이용하여 제품별 수요예측, 매장별 판매추이분석, 진열된 상품수가  판매량에 미치는 영향을 분석하여 데이터 기반으로 의사결정을 내리며 82개국 5,572개 이상의 매장을 보유하고  일주일에 2번씩 연간 1만 5천 개 신상품을 출시하는 무재고 운영정책이 시스템의 사용을 통해 가능해졌습니다.

[의료 · 통신 산업에서의 빅데이터 활용과 사례연구 ]

최근 의료 산업에서 빅데이터의 필요성이 부각되고 있는 이유에 대해 살펴본 후 구체적인 의료 산업에서의  빅데이터 활용 사례에 대해 알아보겠습니다. 그리고 모빌리티의 확산으로 통신 빅데이터의 활용도가  높아짐으로써 통신 업계가 어떻게 빅데이터를 활용하고 있는지 사례를 통해 살펴 보도록 하겠습니다. 

의료 산업이 기존의 치료 중심에서 예방, 건강관리 중심으로 이행됨에 따라 질병발생 가능성 예측과  개인 맞춤형 의료 서비스의 중요성이 점차 증대되고 있습니다.  한편으로는 건강검진 자료, 질병 자료, 기존에 종이 차트에 기록했던 인적사항, 병력, 건강상태, 진찰,  입/퇴원기록 등 환자의 모든 정보를 전산화하여 입력, 관리, 저장하는 형태인 전지의무기록, 유전체 분석  데이터 등의 바이오 센싱, 의료 영상 등을 중심으로 데이터가 급증하고 있는 추세입니다.   높은 잠재력을 지닌 의료 산업의 빅데이터는 다양한 경로로 수집, 저장되고 있습니다. 또한 기본적인 의무  기록 뿐만 아니라 환자들의 병원 서비스 이용 데이터, 유전자 데이터 등과 같은 수많은 데이터가 모두 높은  활용 가치를 지닌 데이터로 볼 수 있습니다. 특히 생체 신호 감지 기술, 웨어러블 컴퓨터 기술의 상용화 등  의료-IT 융합 기술의 발전으로 인해 데이터의 축적 및 서비스 모델 개발이 가속화되고 있는 추세입니다.  특히 의료 산업에서 빅데이터를 활용함으로써 질병예방에 따른 의료비 절감, 의료기관의 운영비용 절감,  오류 및 부정에 따른 손실비용 절감 등의 경제적 효과를 기대할 수 있으며, 이로 인해 의료 산업에서의  빅데이터 활용이 활발히 진행되고 있습니다.

●  의료 산업의 빅데이터에 대한 니즈와 활용 방안

 인구고령화와 만성질환 유병률이 증가함에 따라 의료비 문제와 의료서비스의 접근성 및 질에 관한 문제가  제기되면서 많은 국가에서 IT와 의료기술을 접목한 헬스케어 서비스를 도입하고 있습니다.  이처럼 헬스케어 서비스를 통해 생산되는 건강정보 관련 빅데이터의 관리와 활용에 대한 논의가 활발하게  진행되고 있는 상황에서 일반인, 의료서비스 전문가, 연구자, 기업, 정책전문가의 보건 의료 빅데이터에 대한   니즈와 주요 관심, 관련 데이터, 활용방안은 어떠한지 살펴보겠습니다.

건강한 삶과 최적의 보건의료 서비스에 주된 관심을 갖는 일반인과 관련된 데이터는 건강검진자료와 개인건강기록 등이 있으며, 이러한 데이터는  전염 예방과 관리 및 맞춤형 의료 서비스 제공을 위한 보건 의료 빅데이터 서비스 개발에 활용될 수 있습니다.  의료 서비스의 질적 향상과 의료기관의 생산성 증대 및 비용 절감에 관심을 갖는 의료기관과 관련된 데이터로는  환자 임상 진료자료, 건강검진자료, 기관 의료 데이터 등이 있으며, 이러한 데이터들은 의료기관 간 데이터 및  서비스의 연계와 통합을 위해 활용될 수 있습니다. 질병의 원인 규명과 진단, 그리고 그 치료법의 개발과  맞춤형 의료 연구, 건강 서비스 장비 개발에 관심을 갖는 사업자 및 연구자의 경우 그 관련 데이터들은  환자임상진료데이터나 생체정보측정데이터 등이 되며, 이러한 데이터들은 유전체 데이터를 활용한 질병  예방·진단·처방·관리뿐만 아니라 빅데이터를 활용한 신약 개발을 지원하는데에 활용될 수 있습니다.  마지막으로 보건의료정책전문가의 주된 관심은 예방중심의 의료, 만성질환 관리, 치료 보장성 강화 등이며,  이들과 관련된 데이터는 지역사회 건강조사, 건강보험청구자료, 개인소득자료 등입니다. 이러한 데이터들을  활용하여 질병예방관리 시스템 개발을 지원할 수 있습니다.

2. 통신 산업에서의 빅데이터 활용과 사례연구

● 통신산업에서의 빅데이터 활용

모빌리티의 확산

스마트폰을 필두로 한 모빌리티의 확산은 이동 통신 업체들에게 새로운 자산을 제공하고 있습니다.  바로 스마트폰이 쏟아내는 방대한 정보들이 그것입니다. 오늘날 개개인들은 정부, 기업 등이 의도적으로  유도하지 않아도 자발적으로 스마트폰을 소지하고 다니며 위치정보 등 다양한 데이터들을 쏟아내고 있습니다.  이러한 데이터를 분석, 활용하면 개인 및 지자체의 삶과 질을 윤택하게 할 수 있는 서비스들을 개발하거나,  공공기관과 협력하여 빅데이터 프로젝트 수행 시 보다 합리적인 의사 결정을 내릴 수 있습니다. 통신 산업에서의 빅데이터 확산에 스마트폰과 소셜네트워크서비스(SNS)의 활성화가 상당한 기여를 했다고  볼 수 있습니다. 이를 통해 통신 산업의 빅데이터가 급속히 발달하였고 최근에는 관광 산업, 공공부문까지  통신 빅데이터의 활용도가 확장되고 있는 걸로 보아 통신 업계가 향후 빅데이터 시장을 선도할 수 있을지  주목되고 있습니다.

[공공부문에서의 빅데이터 활용과 사례연구 ]

빅데이터는 소규모 데이터가 발견하거나 예측하기 힘든 상황을 예측하는데 큰 도움을 줍니다. 예컨대,  공공부문에서 '흔하게 일어나지 않는' 사건이나 상황, 또는 낮은 분포를 갖는 인구집단이 겪게 되는 상황을  예측하는데 도움을 줄 수 있습니다. 뿐만 아니라 공공관리, 정책결정, 정보공개, 부패방지, 범죄예방,  군사 및 안보, 질병관리, 기상예측 등과 같은 다양한 분야에서 기본적인 공적 가치를 증진시키는 데에  기여할 수 있습니다.

향후 공공부문에서 빅데이터 활용 이 어떠한 방향으로 이루어져야 하는지 알아 봅시다. 첫째, 국민 삶의 질  향상을 위해 과거 및 현재의 데이터 분석을 통하여 국가 사회 전 분야의 미래 트렌드를 예상하고 이에 맞는  국가 정책 수립을 지원할 수 있어야 합니다. 또한, 다양한 데이터 분석을 통해 자연재해, 안보, 치안,  의료 산업 등에서 스마트한 대민 서비스 개발이 이루어질 수 있도록 활용되어야 합니다. 예를 들어,  검색 데이터를 통한 구글의 독감 이동 분석, 약 검색 데이터를 통해 질병의 분포 및 증가 현황 등을 분석하는  Pillbox 등은 빅데이터 분석을 통해 생각지 못한 대민 서비스 개발이 가능하다는 것을 보여주고 있습니다. 

즉, 향후 공공부문에서의 빅데이터 활용을 통해 기술 중심의 대민 서비스가 아닌, 데이터를 통한 국민이  중심이 되는 대민 서비스 개발이 가능해야 합니다.  셋째, 데이터에 기반한 과학적인 정책 방향제시를 통해 미래를 대비하는 선제적 국가정책 수립을 지원할 수  있어야 합니다. 마지막으로 국가안전을 위협하는 테러 등과 같은 글로벌 요인뿐만 아니라 전 지구적으로  발생하는 재난 재해 등을 예방할 수 있는 잠재된 정보까지 도출할 수 있어야 합니다. 

2. 활용사례 :  도로 안전 시설물의 효과 분석

도로 안전 시설물의 효과 분석을 위해,  시설물 설치 전과 설치 후의 1년치 사고 자료를 입수하여 데이터 마이닝 분석을 수행한 사례입니다.  이러한 분석을 하게 된 이유는 도로의 안전성에 대한 관심과 투자가 늘면서 도로안전시설물의 설치가  확대되었고 시설물 설치 타당성에 대한 근거를 마련하기 위한 시설물 설치효과 평가방법의 개발에 대한  필요성이 증가하고 있기 때문이었습니다. 그러나 지금까지의 시설물 설치 효과는 주로 설치 전과 후의  사고건수를 단순히 비교하여 제시되어 왔지만 한계가 있었습니다. 

따라서 개선지점의 교통환경적 특성, 교통안전 개선사업이 실행된 지역적 특성과 설치된 시설물 특성에 따라  사고 감소의 변화를 확인하고자 데이터 마이닝 분석을 수행하였습니다.  또한 1,044개 지점의 시설물 설치 전과 후의 1년 사고 자료를 입수하여, 지역 구분, 도로형태, 신호 유·무,  개선시설, 개선 전후의 사고율 변화 데이터를 산출하여 의사결정나무 분석인 CART 분석을 수행하였습니다.

분석결과, 수도권과 서울시는 안전사업 개선에 의한 효과(사고감소율)가 비슷한 동질성 지역으로 나타났으며,  6대 광역시는 사고감소율이 수도권과 서울시보다 크게 나타난 지역임을 확인하였습니다.  지역 내 도로형태에 따라 사고감소율이 다르게 나타났고 수도권의 경우에는 교차로의 형태에 따라 시설물  개선효과가 다르게 나타났습니다. 그리고 광역시의 경우에는 신호교차로, 비신호교차로에 따라 시설 개선  효과가 다르게 나타난 것을 확인하였습니다. 

●  유사사례 : 심야버스 노선 서울시 '이번엔 택시'

지난 해 빅데이터를 활용해 심야버스 노선 최적화에  성공한 서울시가 이번에는 빅데이터를 활용해 택시와 승객을 연결하는 시스템을 개발하고 있는 것으로  알려졌습니다. 택시 서비스의 낮은 품질은 서울시민의 가장 큰 불만 중 하나라는 판단 때문입니다.  서울시는 이 문제를 해결하기 위해 빅데이터를 활용하기로 했습니다. 택시에 승객이 많이 있는 위치를  안내해 공차율을 줄이고, 승차거부 등의 문제를 해결하겠다는 의지입니다. 승객에게는 택시가 많이 있는  위치를 안내해줍니다.  이를 위해 서울시는 모든 택시에 탑재돼 있는 운행기록계(Digital Telegragh, DTG) 데이터 분석을  시도했습니다. 연간 1300억건에 달하는 방대한 데이터다. 이를 날씨, 지역, 시간 등의 각종 변수와  종합 분석해 패턴을 찾아내는 목이 목표입니다. 분석이 성공하면 승객들은 조금 더 쉽게 택시를 타고, 택시기사는 공차율을 줄일 수 있을 것으로 서울시는 전망하고 있습니다.

[제조업에서의 빅데이터 활용과 사례연구 ]

 제조업의 특성 중 데이터의 방대한 양을 추구하는 측면에서 살펴보면 제조업은 다른 산업과 비교할 수 없을 정도로 상당한 데이터를  보유하고 있습니다. 2009년 미국 기업들의 데이터 보유현황을 산업별로 비교한 결과에 따르면, 가장 많은 데이터를  보유하고 있는 분야는 966페타바이트의 데이터를 보유한 단일품목제조 산업분야였습니다. 또한, 화학처리 등과  같은 제조 산업분야도 694페타바이트로 17개 비교 산업 군중 4번째로 많은 데이터를 보유하고 있었습니다.

제조업이 다른 산업보다 데이터 수집에서 더 앞설 수 있는 이유는 무엇일까요? 제조업은 설계∙생산 과정의 자동화  및 제조실행시스템을 도입하였습니다. 이를 통해 제조공정의 효율성을 높이기 위해 생성된 데이터를 분석하고,  그 결과를 활용하였기 때문에 데이터 수집에서 앞설 수 있었습니다. 또한, 많은 제조업체들이 데이터 수집을 위해  전사적 자원관리 시스템을 도입하는 등 많은 노력을 기울였고, 생산효율성을 파악하기 위해서 제조 영업데이터,  고객데이터 등을 바탕으로 제조요청일, 영업일수 등을 예측할 수 있도록 많은 데이터를 축적해왔습니다.  제조업의 특성 중 데이터의 다양화를 추구하는 측면에서 살펴보겠습니다.  데이터의 다양화에서 제조업은 다른  사업에 비해 우위에 있습니다. 제조업의 경우 제조공정, 물류, 판매, 사후관리 등의 수많은 과정에서 다양한  데이터들이 발생하게 됩니다. 이러한 데이터들을 각 과정에 맞게 사용할 수도 있지만, 이를 복합적으로 분석하고  결합하여 또 다른 새로운 정보를 파악할 수도 있게 됩니다.  제조업의 특성 중 빠른 데이터 수집 측면에서 살펴보겠습니다. 제조기업은 공정 및 물류상황 등을 실시간으로  모니터링 할 수 있는 장비들을 운영 개선하여 실시간으로 데이터를 수집 및 분석할 수 있는 시스템을  구축하였습니다. 이를 통해 과거에 비해 상당히 빠른 속도로 데이터를 수집할 수 있게 되어 활용이 용이해지고   활용도도 높아졌습니다.

제조장비 데이터

2. 사례 : 마이크론 테크놀로지

마이크론 테크놀로지는 세계적인 반도체 기업입니다. 이 기업은 제조 장비 빅데이터를 이용해 수백억 원대의  비용절감 효과를 거둔 사례가 있다고 합니다. 

먼저 반도체 생산 공정을 알아보겠습니다. 마이크론 테크놀로지의 반도체 생산공정은 복잡한데요. 25개의 웨이퍼가  담겨진 ‘랏’이 장비의 ‘로드포트’로 이송되면 ‘클러스터 로봇1’은 랏에 담긴 웨이퍼를 순차적으로 하나씩  꺼내어 ‘에어락’에 집어넣습니다. 에어락으로 이동된 웨이퍼는 다시 ‘클러스터 로봇2’에 의해 클러스터 챔버로  이송되어 작업됩니다. 장비에서 실제적인 작업이 이뤄지는 곳이 바로 클러스터 챔버인 것입니다. 이 챔버에서는  화학적 물질이 웨이퍼에 증착되거나 열처리가 이뤄지는 등 다양한 작업이 진행됩니다. 일반적으로 이러한 챔버  장비는 한 챔버에 하나의 웨이퍼가 할당돼 작업을 하는데 장비에 따라서 웨이퍼가 각각의 프로세스 챔버를  순차적으로 이동하며 작업이 이뤄지는 경우도 있고 각 장비 내 클러스터 챔버들이 동일한 프로세스로 이뤄져 여러  클러스터 챔버 중 하나의 챔버에서만 프로세스되는 경우도 있습니다. 프로세스를 마친 웨이퍼는 다시 에어락을  거쳐 로드포트으로 이동하고 25개 웨이퍼가 모두 작업을 마쳐 랏으로 되돌아오면 랏은 다시 다른 장비로  이송됩니다. 반도체 생산 공정을 알아보았는데요. 반도체 웨이퍼 프로세스의 경우 한 장비에서 다양한 작업이  이뤄지고 작업의 시간도 제품의 종류나 요구사항마다 다릅니다. 마이크론 테크놀로지는 이렇게 다양한 제품을  처리하는 과정에서 생성된 장비 데이터를 분석해 부품을 어떤 순서로 유입하는가에 따라 생산 시간이 불규칙하게  변화하는 것을 파악했습니다. 그리하여 처리시간을 최소화할 수 있는 부품 유입 순서를 조합해 최적화된 생산  공정을 도출해낼 수 있었습니다. 

데이터 분석 방법

마이크론 테크놀로지는 데이터를 분석할 때 전형적인 비정형 데이터 분석방법을 응용했습니다. 비정형 데이터  분석방법이란 텍스트로 구성된 반도체 장비에서 발생하는 로그 데이터를 분석해서 패턴을 찾는 방법으로  실시간으로 분석하는 것이 포인트입니다. 기존처럼 단지 기계고장이 있거나 문제가 발생된 후에 분석하지 않고,  실시간으로 장비가 효율적으로 작업을 진행하고 있는지 분석하는 것입니다. 이처럼 실시간으로 의사결정을  지원하기 위해 마이크론 테크놀로지는 애널리틱스 방식을 사용하였습니다. 애널리틱스는 의미 있는 데이터  포인트를 실시간으로 파악해 정형화한 다음 이를 수학적 알고리즘을 통해 실시간으로 의사결정을 지원하는  방식입니다. 

로그 분석 방법

반도체 장비에서 발생한 로그 데이터를 분석할 때 마이크론 테크놀로지는 프로세스 마이닝이란 방법을  사용하였습니다. 프로세스 마이닝이란 각 이벤트가 다른 이벤트와 순차적인 상관관계로 이뤄진 작업에서 작업이  일어난 시간과 형태를 로그로 분석하여 각 작업의 상관관계를 분석하는 로그 데이터 분석 방법입니다. 

그럼 각 작업의 상관관계는 어떻게 분석할까요? 프로세스 마이닝은 로그의 이벤트 정보를 바탕으로 사건과 사건의  관계를 파악합니다. 그리고 그러한 사건들의 상관관계를 바탕으로 하여 작업들이 어떤 순서로 이뤄지고 있는지를  수학적 알고리즘으로 유추하는 것입니다.

마이크론 테크놀로지에서는 실제 데이터로 유추한 작업서와 Petri Net으로 파악된 이론적 최적의 작업진행순서를   비교해서 클러스터 내 웨이퍼 작업과 로봇의 움직임을 모니터링하고 이를 바탕으로 장비들의 작업을 최적화하여  생산성을 향상할 수 있는 아이디어를 도출하였습니다.

Petri Net모델 은 서로 직렬-병렬 형태의 상관관계를 가지는 여러 작업을 논리적 모델로 구현한 방식입니다.  이를 통해 장비가 최적의 상황으로 운영될 것을 이론적으로 모델링하고, 실제 로그데이터를 실시간으로  분석하였습니다. 그리고 로봇의 이상적인 움직임과 실제 움직임의 차이를 분석함으로써 작업에서 장비가  최대효율을 낼 수 있도록 하였습니다.

[금융업에서의 빅데이터 활용과 사례연구 ]

많은 금융업체가 빅데이터 기술을 소비자 대출과 보험, 금융사기 방지 등 다양한 분야에서 활용하고 있습니다.  국내 금융권 가운데 카드, 보험사는 이미 신규 고객 개발, 마케팅 활용, 보험사기 방지 등 위험관리에 빅데이터를  적극 활용하고 있습니다. 국내 은행과 증권사들도 개인정보 보호와 IT보안 강화로 빅데이터 활용을 주저하다가  마케팅 분야에서 시범적으로 빅데이터 기술을 도입해 활용하기 시작했습니다.

기존 카드회사 들은 마케팅 목적에 맞추어서 고객을 발굴해 왔습니다. 하지만 최근에는 고객의 요구에 만족하는  ‘맞춤 마케팅’을 수행합니다. 맞춤 마케팅은 고객과 업종별 전체 결제정보에 기반을 둔 이용규모 변화, 카드사용,  패턴 등을 다양하게 담고 있는 빅데이터를 이용합니다. 이 빅데이터 자료를 바탕으로 매출정보에 대한 트렌드를  파악한 후 개인별 단기 이용성향 패턴을 찾아내어 수행하는 것입니다. 

보험사 에서도 빅데이터를 활용하고 있는데 국내 보험사의 경우 빅데이터를 이용하여 보험사기방지에 주로 이용하고,  국외 보험사의 경우 보험 상품혁신, 마케팅 활용 등 국내보다 좀 더 광범위한 분야에서 사용되고 있습니다.  대표적으로 ‘UBI(Usage Based Insurance : 운전습관 맞춤 보험)자동차보험’을 들 수 있습니다.

UBI (Usage Based Insurance : 운전습관 맞춤 보험)자동차보험은 자동차 운전자의 운전습관 및 행태에 따라 보험료를  차등 적용하는 보험입니다. 미국, 영국 등 주요국에서 사용하고 있는데요. 자동차 보험의 전통적인 요율 산정 기준  외에 차량에 부착된 ‘텔레매틱스(Telematics)' 라는 장치를 통해 보험가입자의 실제 주행거리를 포함하여 주행속도,  급 코너링, 급가속, 급제동, 주행시간대, 주행도로 종류 등 전반적인 운전습관 및 행태와 관련된 데이터를 종 합적으로 모니터링하고 이에 따라 보험료율을 책정합니다.

‘ 도코모 원타임 보험 ’은 일본의 NTT도코모와 도쿄해상이 공동으로 출시한 보험입니다. 이는 휴대전화에서 수집하는  위치 정보, SNS 데이터 등을 활용하여 빅데이터를 통해 일상생활 상황에 부합하는 보험 상품을 산출하고 이를  자동 이메일 시스템을 통해 각 고객에 맞게 판매하거나 권유하는 마케팅입니다.

 2. 사례 : 국내 자동차 보험사의 빅데이터 분석

2006년 지능정보연구에서 이제식 외 1명이 발표한 ‘다중모델을 이용한 자동차 보험 고객의 이탈예측에 대한 연구’  논문에 근거하여 고객이탈 예측을 위해 국내 자동차보험사가 고객 빅데이터를 분석한 사례를 살펴보겠습니다. 

국내 자동차보험사들은 금융과 보험간의 규제완화, 보험요율의 자율화, 외국 보험업체의 국내진출 등으로 인해  경쟁이 심화되었습니다. 결국 신규고객 확보에 대한 비용증가와 기업부담이 가중되었고 기존고객의 이탈문제가  보험업체의 중요한 이슈로 부각되었습니다. 이에 따라 국내 자동차 보험사들은 고객 예측모델 등을 통해 고객의  이탈방지를 위해 다양한 노력을 하고 있습니다.  고객 예측모델은 고객이탈 방지에 대한 노력을 더 효과적이고, 효율적으로 지원하는데요. 이 연구에서는 국내  자동차 보험사의 고객이탈 예측 문제를 다루고 있고, ‘보험가입 고객 중 보험만료일 시점으로부터 3개월 이내에  재가입을 하지 않은 고객’을 이탈고객으로 정의하였습니다. 

그리고 예측모델을 위해 실험데이터를 구축하였습니다. 110만 건의 고객데이터로부터 30,000건을 추출하여  학습데이터(Training Data), 검증데이터(Validation Data), 평가데이터(Test Data)로 분할한 것인데요. 모델의  학습과 검증을 위해 분할하였고 고객의 성별, 연령, 보험 가입 경력, 전계약사, 차량 연식, 납입 방법, 수납 형태,  고객 직업, 보험 종목, 차종 약칭, 보험기간 내 사고여부, 대인담보 가입여부, 이탈여부 등을 포함한 46개의  속성으로 구성되었습니다. 

데이터 구축 후 분석을 위해 다중 알고리즘을 사용하는 다중 모델을 적용하였는데요. 이 연구에서는 이탈고객  예측의 정확도 향상을 위해 단일 예측 알고리즘을 사용하지 않은 것입니다. 다중모델은 판별모델, 기본모델 그리고  지원모델로 명명된 3개의 단위모델로 구성되어있습니다. 판별모델은 새로운 입력사례가 주어졌을 때, 이 사례를  기본모델과 지원모델 중 어떤 모델을 사용해서 예측하는 것이 적합한지를 결정해 주는 모델로 하나의 입력사례에  대해서, 판별모델의 판별결과에 따라 예측을 수행할 모델이 결정됩니다. 기본모델은 해당 문제영역에 있어서  대부분의 문제들을 처리하기 위한 모델로 본 연구에서는 사전에 생성한 단일모델들 중 가장 좋은 성능을 보인  모델을 기본모델로 선정하였습니다. 마지막으로 지원모델은 기본모델이 잘못 예측하는 영역에 대해 예측을  수행하는 모델로 기본모델이 예측에 실패한 사례만을 가지고 만들었습니다.

이것은 자동차보험 가입고객 이탈예측을 위한 DyMos 다중모델의 흐름도인데요. 판별모델로 C5.0 의사결정나무  모델이 사용되었고, 기본모델로 사례기반추론 모델이 사용되었으며, 지원모델로 인공신경망 모델이 사용되었습니다.  평가데이터에 의하면 단일모델의 예측성능은 사례기반추론 모델이 65.6%로 가장 높았고 인공신경망 모델이 64.5%,  C5.0 의사결정나무 모델이 63.2%인 반면, 다중모델의 적중률은 71.7%로서, 단일모델에서 가장 좋은 성능을 보여준 사 례기반추론 모델의 적중률 보다 6.1% 포인트 높았습니다. 이는 이탈고객 예측의 정확도 향상을 위해 다중 모델을  적용하는 이유를 알 수 있는 결과값입니다. 

예측을 수행할 적합한 모델을 결정하는 판별모델은 어떤 기준으로 선택하는지 알아보겠습니다. 판별모델은  학습데이터(10,000건)와 검증데이터(10,000건)를 대상으로 예측을 수행한 예측 값과 실제 값을 비교하여 예측적중  여부 속성을 생성하고, 이를 목표속성으로 하여 결정됩니다. 이 기준에 따라 DyMos 다중모델의 흐름도에서는 C5.0  의사결정나무 모델이 사용되었습니다.

(출처: 알리바바 빅뱅 '빅데이터에 빠진 카드사' 데일리안 2014. 12. 09)

[소셜 네트워크 분석의 개념 ]

소셜 네트워크 분석 현황 에 대해서 살펴보겠습니다. 소셜 네트워크 분석 이론이 최근 각광을 받고  있는데요. 소셜 네트워크 분석 이론은 오랜 역사를 가진 분야로 IT 기술의 발전에 따라 관심을 받고  있습니다. 통신 및 온라인 소셜 미디어나 게임 및 유통업체에서 특히 관심을 보이고 있습니다.  소셜 네트워크 분석은 일반인도 익숙하게 접할 수 있습니다. 단적인 예로 Facebook 등에서 친구들의  관계를 그래프 형태로 보여주는 것을 생각하시면 되는데 일부 소셜 미디어 검색 및 관리 기능을 갖고  있는 솔루션이나 웹 페이지에서 이러한 기능을 보여주고 있습니다. 그리고 최근 한국에서는  정치권에서의 관심으로 많이 활용하려는 노력이 보이고 있습니다. 소셜 네트워크 분석은 어떻게  표현할까요? 일반적으로 사회 네트워크 분석에서는 분석하고자 하는 데이터를 행렬로 표현합니다.  행과 열이 만나는 셀에 특정 값을 입력하여 행과 열사이의 관계를 나타내는 것인데요. 개체와 개체간의  관계가 존재하면 1, 존재하지 않으면 0을 입력합니다. 다음 행렬을 한 번 보죠. A행과 C열이 만나는  셀에 1이 입력되어 있죠. 그러면 그래프가 다음과 같이 그려지는 것입니다. 이 방식은 매우 정밀한  결과를 제공할 수 있다는 장점이 있습니다.

연결성과 밀도

지금부터는 사회 네트워크 분석에 사용되는 방법에 대해서 살펴보겠습니다. 일반적으로 사용하는  방법은 연결성과 밀도입니다. 소셜 네트워크 분석은 특정 사람들이 네트워크 기능에 얼마나 중요한  역할을 하는지를 분석하고 네트워크의 전체적인 연결관계를 분석합니다. 그리고 네트워크의 고립관계도  분석하는 기법입니다. 이를 위해 사람간의 관계가 어떻게 맺어지는지를 파악하는 연결성과  전체 네트워크에서 사람들 사이의 연결된 정도를 나타내는 밀도를 사용합니다. 

연결성 분석 은 개인이 가지는 인기도, 사회적 성향, 고립도 등의 그룹 내에서 가지는  연결 성향을 파악할 수 있습니다. 이 분석 결과는 개인의 그룹 내 성향을 나타냅니다. 그래서 이 자료를  기반으로 교수자 또는 교회 리더자가 그룹 구성원 개인의 장점을 부각시킬 수 있고, 단점을 보완하여  전체 그룹을 이끌어가는 지표로써 사용할 수 있습니다. 다음은 밀도에 대하여 알아보겠습니다. 

밀도 는 네트워크에서 구성원들간에 얼마나 많은 관계를 맺고 있는가를 표현하는 개념으로 그룹 전체의 관점에서  구성원들이 얼마나 친밀한 관계를 유지하고 있는지, 그룹 내 고립인원이 있는지를 나타냅니다. 그래서  현재 그룹 전체의 친밀도를 파악하고, 그룹을 이끌어가는 방향성을 고려할 수 있게 됩니다. 그리고  밀도는 구체적으로 포괄성과 연결정도의 개념을 기반으로 측정되는데요. 포괄성은 네트워크에서 연결된  요소의 수를 의미하며 연결정도는 각 점들이 다른 점들과 얼마나 많이 연결되어있는가를 나타냅니다. 

연결성 분석을 위한 그래프 마이닝 기술 을 알아보겠습니다. 그래프 마이닝 기술은  페이스북이나 트위터와 같은 소셜 미디어의 데이터를 표현하는 방법으로 다양한 곳에 활용되는 매우  중요한 기술입니다. 빅데이터 중 가장 큰 빅데이터에 속합니다. 따라서 향후 빅데이터 중 가장 활용도가  높은 표현 형식 중 하나라고 할 수 있습니다. 그래프는 데이터 간의 관계를 표현할 때 사용하는  데이터 구조입니다. 참고로 그래프 마이닝은 데이터 마이닝 기술의 일종으로, 그래프에서 마이닝 기술을  적용하는 기술입니다. 일정 빈도수 이상의 특정 패턴을 찾아내는데요. 그러기 위해서 그래프 마이닝은  점과 선 또는 링크로 구성되었습니다. 점은 데이터 요소에 해당하는 정점으로 예를 들면 고객입니다.  선은 점간의 관계를 표시하는 간선이며 링크는 방향성의 유무를 표현하는 것으로 고객과 고객간의  관계를 나타내는 것입니다. 

2. 결과보기

이것은 사용자 간의 관계를 확인할 수 있습니다. 그리고 노드의  크기로부터 각 사용자의 Follower의 수를 유추할 수 있고 노드의 색으로부터는 트위터의 개수가 많고  적음을 유추할 수 있습니다. 

[오피니언 마이닝의 개념 ]

수행단계는 긍정, 부정, 중립을 표현하는  단어 정보를 추출하는 단계, 세부 평가 요소와 그것이 가리키는 오피니언의 연결 관계를 포함한 문장을  인식하는 단계, 긍정, 부정, 중립 표현의 수 및 유용한 문장을 추출하여 리뷰 요약을 생성하면  선호도를 분류하는 단계로 되어 있습니다. 이 점을 잘 기억하고 학습을 시작하세요. 

2. 수행단계

[텍스트 마이닝의 개념 ]

텍스트 마이닝의 응용분야 는 다양한데요. 어떤 경우에 응용하는지를 살펴보겠습니다. 과학논문 데이터베이스에서  특정 주제의 논문들을 찾을 경우 텍스트 마이닝을 응용합니다. 그리고 문서로부터 구조화된 정보를 추출하여  데이터베이스화 시키거나 규칙을 찾을 경우, 사용자가 웹 상에서 문서를 찾는 것을 도와줄 때 경우, 대량의  데이터베이스에서 문서의 분류 및 군집화할 경우, 문서 분류정보를 이용하여 문서를 재해석할 경우,  신문/논문/보고서를 요약할 경우, 문서를 번역할 경우, 스팸메일을 여과할 경우, 문서를 여과하거나 추천할 경우,  대표적 키워드나 토픽을 추출할 경우, 질의 응답시스템을 활용할 경우, 설문지 조사의 기타항목을 요약할  경우 등이 있습니다. 

데이터 마이닝과 텍스트 마이닝을 비교 하여 각 특징에 대하여 정리해보겠습니다. 

먼저 데이터마이닝과  텍스트 마이닝은 마이닝할 대상이 다른데요. 데이터마이닝이 수치 또는 범주화된 데이터를 대상으로 적용하는  반면, 텍스트 마이닝은 텍스트를 대상으로 적용합니다. 그리고 구조를 보면 데이터 마이닝이 관계형 데이터 구조를  가지는데 반하여 텍스트 마이닝은 비정형 또는 정형의 텍스트 데이터를 다룹니다. 이 둘은 목적도 다른데요.  데이터 마이닝이 미래 상황 결과의 예견 및 예측을 하는 목적을 가지는 반면, 텍스트 마이닝은 적합한 정보를  획득하고 의미를 정제하고 범주화하는 목적을 가집니다. 그리고 방법으로는 데이터 마이닝이 기계학습 방법을  사용합니다. 텍스트 마이닝은 기계학습 방법을 포함하고 인덱싱, 언어처리, 온톨로지 등의 방법도 적용합니다.  이 중 온톨로지가 낯설을 수 있는데요. 온톨로지는 사람들이 세상에 대하여 보고 듣고 느끼고 생각하는 것에  대하여 서로 간의 토론을 통하여 합의를 이룬 바를 개념적이고 컴퓨터에서 다룰 수 있는 형태로 표현한 모델로,  개념의 타입이나 사용상의 제약조건들을 명시적으로 정의한 기술입니다. 온톨로지는 일단 합의된 지식을 나타내므로  어느 개인에게 국한되는 것이 아니라 그룹 구성원이 모두 동의하는 개념임으로 프로그램이 이해할 수 있어야 하므로  여러 가지 정형화가 존재합니다. 

텍스트 마이닝의 문제점

텍스트 마이닝의 문제점은 크게 두 가지가 있습니다. 하나는 상당히 자연어에 영향을 많이 받는다는 것입니다.  자연어란 사람이 쓰는 말로 한국어, 일본어, 독일어, 영어 등을 의미하는데요. 자연어 중 한글이나 한국어 처리에서  문제가 있는 분야는 광학문자판독, 음성인식 그리고 감성분석 등이 있습니다. 또 하나의 문제점은 분석 결과물  자체로 어떤 성과를 보기 어렵다는 것입니다.이는 분석 결과물 자체를 그대로 비즈니스 모델에 적용해서 뭔가를  만들어 성과를 보기 어렵다는 의미인데요. 워드 클라우드란 단어를 기억하고 가셔야 합니다. 이는 자주 볼 수 있는  분석 결과물 시각화 방법으로 단어들이 둥둥 떠 있고 단어끼리 선을 연결하여 시각화하는 방법입니다.

텍스트 마이닝이 요구하는 기법

텍스트 마이닝은 데이터 마이닝 기법 외에도 자연어 처리 기술 과 문서 처리 기술 을 추가로 요구합니다. 텍스트로 된  정보원으로부터 필요한 지식을 추출하는데 사용되는 자연어 처리 기술과 문서 처리 기술에 대해서 살펴보겠습니다. 

[R을 활용한 텍스트 마이닝 수행 ]

2. 변형 및 결과보기

 term document matrix 작업

이번에는 term document matrix 작업하는 언어를 살펴 볼 텐데요. 문서 번호와 단어간의 사용여부 또는 빈도수를  이용하여 matrix를 만드는 작업을 term document matrix 작업이라고 합니다. 12번 박스에서 DocumentTermMatrix는   Reuter로 읽어 들이고 변환한 문서를 document term matrix로 dtm을 생성한다는 것입니다. findFreqTerms(dtm,10)는  10회 이상 사용된 단어를 찾는 방법입니다. 만약 findFreqTerms(dtm, 10, 15)로 지정하면 10에서 15회 사이로  사용된 단어가 출력되는 것입니다. 14번 박스에서 findAssocs(dtm,"oil",0.65)은 findAssocs에서 oil과 연관성이  0.65 이상인 단어들이 표시하는 것입니다. 즉, oil과 같이 사용될 확률로 계산이 되는데 이를 통해 무슨 내용이  많이 언급되는지를 알 수 있습니다. 다음을 볼까요? removeSparseTerms(x, sparse)에서 sparse는 최대  sparsity값으로 해당 값까지는 허용되는데요. 즉, removeSparseTerms(tdm, 0.2)라는 것은 0.2를 넘는 경우는  삭제된다는 것입니다. 

워드클라우드

마지막으로 결과를 시각화하기 위해 워드 클라우드를 실행할건데요. 단어의 사용 빈도를 시각적으로 보도록  하겠습니다. 16번 박스 안을 살펴보겠습니다. 워드 클라우드를 불러옵니다. 작업한 것을 m이라는 변수에  실행합니다. 그리고 단어의 빈도를 계산하고 빈도에 의해 내림차순으로 정렬합니다. 그리고 워드 클라우드에  텍스트 크기나 색깔에 관하여 효과를 주는데요. 참고로 +기호는 윗줄과 아랫줄을 연결한다는 의미입니다. 엔터를  눌러 워드 클라우드를 만듭니다. 그럼 단어가 다음과 같이 구름처럼 생깁니다. 단어의 사용 빈도가 가장 높은  것은 가장 큰 글씨인 data, r, mining 등입니다.

[비정형 데이터 마이닝의 개념]

1. 개요

비정형 데이터란 무엇일까요? 비정형 데이터란 그림이나 영상, 음성, 문서처럼 구조화되지 않은 데이터입니다. 일정한 규격이나 형태를 지닌 숫자 데이터와 달리 형태와 구조가 다른 데이터들을 말하는 것입니다. 비정형 데이터는 크게 두 가지 종류로 생각하시면 되는데요. 책, 잡지, 문서, 의료기록과 같은 텍스트 정보, 음성 정보, 영상 정보와 같은 전통적인 데이터 외에 이메일, 트위터, 블로그처럼 모바일 기기와 온라인에서 생성되는 데이터가 있습니다. 기존의 컴퓨터 시스템은 연산과 처리절차가 숫자 데이터 중심으로 설계되어 있기 때문에 이름이나 성별과 같은 문자변수는 숫자로 변환해 처리하는 방법을 주로 사용했습니다. 문자, 숫자, 도표, 그림 등이 포함된 비정형 데이터에 들어있는 정보는 숫자로 변환하는 방법 적용이 어렵습니다.  정보의 관점에서 보면 유형이 불규칙하고 의미를 파악하기 모호해서 기존의 컴퓨터 처리 방식을 적용하기 어려운데요. 그래서 트위터나 블로그처럼 모바일과 온라인에서 생성되는 비정형 데이터에 기존의 컴퓨터 처리 방식을 적용 것은 불가능합니다. 

2. 정형 데이터 마이닝과 비정형 데이터 마이닝

데이터 관리 및 분석과 의미 도출

데이터는 어떻게 관리할까요? 데이터는 사전에 정의된 규칙에 따라 편집되어 데이터베이스에 저장되는 방식으로  관리되어 왔습니다. 그리고 데이터 분석과 의미도출은 규격화된 데이터베이스에 입력된 정제된 데이터의 존재를  전제로 하였습니다. 그래서 비정형 데이터는 아직 규격화되지 않아 분석이 불가능하고 의미를 읽어낼 수 없는  데이터로 판단할 수 있습니다. 그래서 정형 데이터와 달리 비정형 데이터는 데이터의 의미를 분석하는 단계에서  실무자의 관점에서 맥락을 고려한 해석을 거쳐야 했습니다. 비정형 데이터는 저장하는 법도 정형 데이터와 달라  관리자가 다르게 관리해야 했습니다. 정형 데이터에 비해 데이터베이스 관리시스템에서 차지하는 저장 공간이  넓고, 각각의 비정형 데이터를 구분하기 위해서 별도의 태그 정보를 추가해야 했기 때문에 데이터 관리자  입장에서는 정형 데이터에 비해 비정형 데이터를 번거롭게 여겨왔습니다. 그러나 기업 데이터의 80% 이상이  비정형 데이터라는 조사 결과를 감안할 때, 기업 경영에 시사점을 줄 수 있는 주요한 사업 정보와 고객 정보 등이  그 동안 상당 수 제대로 활용되지 못하고 방치되어 왔다고 볼 수 있습니다. 

[비정형 데이터 마이닝의 유형]

1. 텍스트 마이닝(Text Mining)

개요

텍스트 마이닝(Text Mining)은 텍스트 형태로 이루어진 비정형  데이터들을 자연어 처리 방식을 이용하여 정보를 추출하는 기법입니다. 텍스트 마이닝(Text Mining)을 활용하면 비정형화된 문서에서 정보를 얻을 수 있다는 장점이 있는데요. 예를 들어 텍스트 정보에서 문맥을 파악하거나  텍스트 간 연계를 분석할 수 있습니다. 그리고 텍스트 마이닝(Text Mining)은 텍스트 프로세싱(Text-processing)  기술 및 처리 과정을 포함합니다. 이는 텍스트 기반의 데이터로부터 새로운 정보를 발견할 수 있도록 하며,  정보 검색, 추출, 체계화, 분석 과정을 모두 포함합니다. 

자연어 처리 (Natural Language Processing)

그럼 자연어 처리 방식이란 무엇일까요? 자연어란  우리가 하는 말과 같이 인간이 이해할 수 있는 언어입니다. 이를 기계가 이해할 수 있게 하는 기술을 자연어  처리라고 하는데요. 자연어 처리는 Natural Language Processing을 줄여 NLP라고도 합니다. 다음 그림은  음성인식 및 음성 발화와 연관된 자연어 처리 과정을 나타낸 것인데요. 우선 기계와 인간이 소리로 의사소통을  하기 위해 인간의 음성을 텍스트로 바꾸는 '음성 인식' 기술이 선행됩니다. 음성인식을 통해 인간의 음성을  텍스트로 변환하고 나면 입력된 텍스트를 여러 형태로 분석합니다. 그리고 인간의 음성이 무엇을 나타내는지,  어떠한 의도를 가지고 있는지를 분석한 뒤 사용자가 어떤 대상에 대해 질문을 한 것이라면 검색 등을 활용해  사용자가 원하는 대답을 찾습니다. 이 후 최종적으로 사용자 질문에 대한 답을 문장형태로 만드는  언어 생성과정을 거친 뒤 음성인식과 반대되는 발화기술을 통해 사용자에게 음성으로 전달 됩니다.  이것이 자연어 처리입니다. 

수행단계

텍스트 마이닝(Text Mining)의 수행단계를 알아보겠습니다. 크게 6단계 로 나누는데요. 첫번째는  텍스트 문서 선정 단계입니다. 텍스트 마이닝에서는 데이터베이스 콘텐츠 혹은 텍스트 기반의 문서들이  고려됩니다. 데이터베이스 콘텐츠란 텍스트 마이닝에 주로 사용되는 텍스트 문서를 말합니다. 두번째는 텍스트  전처리 단계입니다. 이 단계에서는 문서 내에 표현되어 있는 단어/구/절에 해당하는 내용을 언어 분석 처리 과정을  통해 가공할 수 있는 데이터로 표현합니다. 세 번째는 의미정보 변환 단계입니다. 이 단계에서는 전처리된  데이터 중 의미 있는 정보를 선별하여 저장합니다. 네 번째 의미정보 추출 단계에서는 복잡한 의미정보의 표현을  단순화하고, 도메인에 적합한 정보를 문서의 의미 데이터로 저장합니다. 다섯번째 단계는 패턴 및 경향 분석  단계입니다. 이 단계에서는 의미 데이터를 기반으로 문서를 자동으로 군집화하거나, 분류하는 등 정보를  재생산합니다. 마지막 여섯번째는 정보표현 및 평가단계입니다. 이 단계는 새롭게 생성된 정보를 사용자에게  시각화 툴로 효과적으로 표현하며, 평가과정을 통해 텍스트 마이닝의 처리과정 중 문제가 되는 부분을 수정 및  보완하여 품질 및 성능을 높이는데 활용됩니다. 

2. 오피니언 마이닝(Opinion Mining)

개요

오피니언 마이닝(Opinion Mining)은 텍스트 마이닝(Text Mining)에서 발전된 분석 기법입니다. 오피니언(Opinion)은  상품평이나 영화 감상평 또는 정치인에 대한 호감도와 같이 특정 주제나 대상에서 보인 사람들의 주관적이고  감정적인 의견인데요. 

오피니언 마이닝(Opinion Mining)은 이런 오피니언이 포함된 빅데이터에서 사용자가 게재한  의견과 감정을 나타내는 패턴을 이용하여 특정 주제에 보인 의견이 긍정(Positive) 인지, 부정(Negative)인지,  중립(Neutral)인지를 찾아냅니다. 이를 통해 선호도를 판별하는 기술이 오피니언 마이닝(Opinion Mining)입니다.

수행단계

일반적으로 오피니언 마이닝(Opinion Mining)은 특징 추출, 의견 분류, 요약 및 전달 3단계로 진행합니다.  특징 추출 단계에서는 데이터에서 의미 있는 요소나 정보로 판단되는 특징들을 추출합니다. 의견 분류 단계에서는  특징 추출 단계에서 추출된 특징과 의견을 표현하는 단어가 데이터에서 어떠한 의미로 사용되었는지를 분석합니다.  요약 및 전달 단계에서는 성향이나 선호도가 밝혀진 오피니언 정보들을 요약하여 사용자에게 전달합니다.  그럼 오피니언 마이닝(Opinion Mining)에서 긍정이나 부정 또는 중립의 의견을 분류하는 과정을 좀 더 구체적으로  살펴볼까요? 먼저 긍정, 부정, 중립을 표현하는 단어 정보를 추출합니다. 다음으로 세부 평가 요소와 그것이  가리키는  오피니언의 연결 관계를 포함한 문장을 인식합니다. 마지막으로 긍정, 부정, 중립 표현의 수 및 유용한  문장을 추출하여 리뷰 요약을 생성하면 선호도를 분류할 수있습니다. 

활용

오피니언 마이닝(Opinion Mining)은 여론 향방을 추적하는 데 사용되는 기술입니다. 주로 블로고스피어   (Blogosphere)나 소셜 네트워크 서비스(Social Network Service)의 데이터를 활용하는데요.  블로고스피어(Blogosphere)는 블로그를 통해 커뮤니티나 소셜 네트워크처럼 서로 연결되어 있는 모든 블로그들의  집합을 의미합니다. 인터넷에 형성된 가상 세계의 총칭하는 것입니다. 그리고 소셜 네트워크 서비스(Social Network  Service)는 웹상에서 이용자들이 인적 네트워크를 형성할 수 있게 해주는 서비스를 통칭합니다. 트위터, 페이스북  등이 대표적이죠. 이들에는 주제나 대상, 인물이 특정 부분에 국한되지 않고 다양하기 때문에 오피니언 마이닝  기술을 많이 활용합니다. 

텍스트 마이닝과 오피니언 마이닝

텍스트 마이닝이 특정단어와 문맥의 연관성을 분석하는데 비해, 오피니언 마이닝은 문맥과  연계된 감성분석(Sentiment Analysis)을 활용하여 특정 텍스트의 어조와 감정을 파악합니다. 그리고 신문 기사나  잡지처럼 어떤 사안이든지 객관적이고자 노력하는 것이 아니라 블로고스피어(Blogosphere)나 소셜 네트워크 서비스  (Social Network Service)의 텍스트는 특정 사안에 대해 감정적인 경우가 많습니다. 이 점에 착안하여 오피니언  마이닝(Opinion Mining)은 분석 대상인 키워드와 함께 나오는 긍정, 부정 등 감성적 언어의 빈도수를 추적하여  일반적인 여론의 향방을 추적합니다. 

 오피니언 마이닝(Opinion Mining)은 문맥과 연계된 감성분석(Sentiment Analysis)을 활용하여 특정 텍스트의 어조와  감정을 파악한다고 했는데요. 감성분석(Sentiment Analysis)이란 무엇인지 알아보겠습니다. 이는 소비자의 감성과  관련된 텍스트 정보를 자동으로 추출하는 텍스트 마이닝(Text Mining) 기술의 한 영역으로 문서를 작성한 사람의  감정을 추출해 내는 기술입니다. 문서의 주제보다 어떠한 감정을 가지고 있는가를 판단하여 분석하는데요. 예를 들면  온라인 쇼핑몰에서 사용자의 상품평에 대한 분석을 하는 것이 있습니다. 하나의 상품에 대해 사용자의 좋고 나쁨에  대한 감정을 분석하는 것이지요. 

오피니언 마이닝시 유의점

여론 추정의 근거가 되는  감성사전의 구축을 소홀히 하지 말아야 한다는 것입니다. 감성사전이 제대로 구축되지 않는다면 데이터 분석 결과에  오류가 발생할 수 있기 때문입니다. 그리고 단어의 맥락을 잘못 파악할 수 있다는 특정 단어는 맥락에 따라 긍정과  부정이 반어적으로 사용될 수 있기 때문입니다. 감성사전은 문서의 내용을 주제어와 속성, 긍정 · 부정도 등으로  분류하고 정밀한 언어처리 및 분석과정을 거쳐 주관적인 감정 표현의 정도를 계량화할 수 있도록 한 것입니다.  감성사전은 특정 주제에 대한 통합적인 속성을 도출하여 정확한 분석자료를 제공합니다. 

3. 웹 마이닝(Web Mining)