Data Science/개념과 용어

A/B testing is a type of experiment in Data Science that compare values of sampled individuals in Group A with values of sampled individuals in Group B.Q. Do the two sets of values come from the same underlying distribution?  예를 들어, 대한민국의 A 지역에서 샘플링을 통해 측정한 평균 신장이 165cm, B 지역에서는 170cm라고 해보겠습니다. (observed statistic)여기서, A와 B 지역의 평균 신장 차이가 same underlying distribution (대한민국 전체 신장 분포) 에서 비롯된 것으로 판단..

Data science에서는 population의 unknown parameter를 estimate 하는 것이 목표일 때가 많습니다. 예를 들어 전 국민의 소득을 estimate 하고 싶다고 해보겠습니다. 중위 소득을 구해서 이를 지표로 사용하려고 한다고 하겠습니다. 1. If you have a census: Just calculate the parameter from the census, and you're done. Population 데이터가 준비 완료 되었다면, 바로 계산만 하면 됩니다. 하지만, 이런 경우가 당연히 흔하지 않겠죠?  2. If you don't have a census: Take a random sample from the population. Usa a statistic as..

The main goal of data science is learning about the world from data using computational methods.There are 3 key parts of data science.  - ExplorationIdentifying patterns in dataUses visulizations - InferenceQuantifying whether those patterns are reliableUses randomization - PredictionMaking informed guesses about unobserved dataUses machine learning  There are two important concepts about the re..

이번 포스트에서는 선형 회귀 모델을 적용하기 위한 몇가지의 핵심 가정들을 알아보겠습니다.이 가정들이 사실이 아니라면, 최소제곱법을 적용하여 모델을 디자인 했을 때 무의미하고 부정확한 결과값이 도출될 것이므로 이 점들을 유의하는게 좋겠습니다. 1. Linearity (선형성)이름부터가 선형 회귀잖아요? 각 독립 변수는 고유한 계수가 곱해지고, 이를 다 합해서 종속변수를 도출합니다. 선형성을 판단하는 쉬운 방법은 무엇일까요? 독립 변수 중 하나(x1)를 뽑아서 종속 변수(y)에 대해서 scatter plot을 그려보세요. 그럼  얼추 방향성이 보일텐데, 이게 일차함수면 선형성이 있는 것이고, 곡선이 보이면 선형성이 부족한 데이터겠죠?그리고 그런 경우에는 선형 회귀가 아닌 다른 방법을 통해서 예측 모델을 디자..