Channi Studies

Data Scientist가 하는 일을 더 잘 이해하기 위해서, Data 와 관련된 여러 직업들을 함께 알아보겠습니다. Data ArchitectData architect는 사용될 데이터셋을 처음부터 디자인해 나갑니다.데이터가 어떤 방식으로 탐색되고 사용되고 분석될지를 구상합니다. Data Engineer데이터 엔지니어는 획득된 데이터(raw data)를 처리(processing)하여 분석(analysis)에 사용될 수 있게끔 합니다.데이터 엔지니어가 처리를 마친 데이터셋은 데이터 분석과 관련된 업무를 맡는 사람들에게 넘겨집니다.깨끗하고 정리된 데이터셋을 만드는 것이 중요합니다. Data Administrator데이터 관리자는 데이터베이스의 데이터의 흐름 (추가와 제거)를 관리합니다.분석에 사용되는 데이..

데이터 사이언스 분야에서는 다양한 프로그래밍 언어와 소프트웨어들이 사용됩니다. Programming Languages프로그래밍 언어의 활용은 데이터 사이언티스트가 원하는 프로그램을 직접 구현할 수 있도록 도와줍니다.제가 블로그에서 데이터 사이언스 공부를 위해 사용하게 될 파이썬이 가장 대표적이라고 할 수 있겠네요. 현재 세계적으로 데이터 사이언스에서 가장 널리 사용되는 프로그래밍 언어는 Python과 R입니다.이 두가지 언어의 가장 큰 장점은 매우 유연하여 여러가지 상황에 대한 분석을 아우를 수 있다는 것 입니다.특히 수학적, 통계학적 연산에 뛰어납니다. 하지만, 반면 특정 문제들에 대해서는 분석할 수 없는 경우도 존재합니다.SQL은 relational database를 관리 시스템을 사용할 때 활용하도..

Machine Learning (ML) 은 무엇일까요?머신 러닝은 컴퓨터에게 우리의 데이터에 가장 잘 활용될 수 있는 분석 모델을 찾을 수 있도록 하는 알고리즘을 제작해주고, 컴퓨터의 모델을 활용하여 매우 정확한 예측을 할 수 있는 일련의 과정을 말합니다. 지난 포스트에서 살펴본 전통적 방법들과는 다르게, 우리는 컴퓨터에게 모델을 찾는 방법에 대한 정보는 주지 않습니다.(우리도 모르니까요)우리가 컴퓨터에게 주는 것은 모델을 찾기 위한 알고리즘입니다. 컴퓨터는 주어진 데이터를 학습하여 모델을 발전시킵니다.최적의 모델을 찾는 행위는 컴퓨터의 몫입니다.여기서 '최적'의 기준을 어떻게 정하냐에 따라서 학습 반복의 횟수가 변하겠죠? 머신 러닝의 과정을 쉽게 요약하면, Trial-and-Error 과정, 즉 시도와..

지난 포스트까지 살펴보았던 행위들, data와 big data의 처리와 business intelligence는 과거에 일어난 일들을 분석하기 위한 지향점을 가진 행위들이였습니다. 이번 포스트에서는 이를 통해 궁극적으로 우리가 다가가려고 하는 미래 분석 중, 전통적인 방법들에 대해서 소개하겠습니다. Traditional Methods는 다음과 같이 정의됩니다.A set of methods that are derived mainly from statistics and are adopted for business.Statistic, 즉 샘플 데이터에서 구한 통계적 값들으로부터 유추되고, 비즈니스들에 사용되는 방법들을 총칭합니다. 이러한 traditional methods는 미래의 퍼포먼스를 예측하는데 높은 ..