Data Science/개념과 용어

Machine Learning (ML) 은 무엇일까요?머신 러닝은 컴퓨터에게 우리의 데이터에 가장 잘 활용될 수 있는 분석 모델을 찾을 수 있도록 하는 알고리즘을 제작해주고, 컴퓨터의 모델을 활용하여 매우 정확한 예측을 할 수 있는 일련의 과정을 말합니다. 지난 포스트에서 살펴본 전통적 방법들과는 다르게, 우리는 컴퓨터에게 모델을 찾는 방법에 대한 정보는 주지 않습니다.(우리도 모르니까요)우리가 컴퓨터에게 주는 것은 모델을 찾기 위한 알고리즘입니다. 컴퓨터는 주어진 데이터를 학습하여 모델을 발전시킵니다.최적의 모델을 찾는 행위는 컴퓨터의 몫입니다.여기서 '최적'의 기준을 어떻게 정하냐에 따라서 학습 반복의 횟수가 변하겠죠? 머신 러닝의 과정을 쉽게 요약하면, Trial-and-Error 과정, 즉 시도와..

지난 포스트까지 살펴보았던 행위들, data와 big data의 처리와 business intelligence는 과거에 일어난 일들을 분석하기 위한 지향점을 가진 행위들이였습니다. 이번 포스트에서는 이를 통해 궁극적으로 우리가 다가가려고 하는 미래 분석 중, 전통적인 방법들에 대해서 소개하겠습니다. Traditional Methods는 다음과 같이 정의됩니다.A set of methods that are derived mainly from statistics and are adopted for business.Statistic, 즉 샘플 데이터에서 구한 통계적 값들으로부터 유추되고, 비즈니스들에 사용되는 방법들을 총칭합니다. 이러한 traditional methods는 미래의 퍼포먼스를 예측하는데 높은 ..

Business Intelligence (BI)는 무엇일까요?Business Intelligence, BI는 과거의 데이터를 분석, 이해, 설명 및 보고하는 과정에 포함된 모든 tool입니다.대상 비즈니스의 매출이 증가하였는지, 그리고 왜 증가하였는지를 분석한다고 생각하면 직관적입니다. 우리는 BI를 통해서 아이디어와 통찰력을 얻고, 미래의 결정에 도움을 주기를 원합니다. 실생활의 예시로는, 성수기에 (수요가 늘어나는 시기에) 호텔 가격을 올리는 price optimization이 있겠습니다.과거의 숙박객 데이터를 바탕으로 방의 가격을 최적화하여 수익을 최대화 시키는 행위가 되겠습니다. BI를 더욱 이해하기 위해, 몇가지 개념들을 소개하겠습니다.Observation (관찰): 수학적으로 다루어질 수 없는..

Big Data는 Traditional Data와 상반되는 데이터들로, 매우 큰 데이터들을 지칭합니다.빅 데이터는 구조화 된 상태일 수도, 조금 구조화된 상태일 수도, 혹은 전혀 구조화되지 않은 상태일 수도 있습니다.(= can be constructed, semi-constructed, or not constructed) 빅 데이터는 주로 여러개의 컴퓨터에 나누어져서 저장됩니다.우리가 평상시에 접하는 데이터의 규모와는 비교도 안되게 매우 큰 데이터로 인식하면 될 것 같습니다. 이런 빅 데이터에는 전처리가 매우 중요합니다.빅데이터의 전처리의 몇가지 종류는 다음과 같습니다. Types of Pre-processing:1. Class Labeling (number, text, digital image, di..