studying data

문제의 본질을 꿰뚫어 해결책을 찾는 법을 공부합니다

2021/09 12

[통계 공부] 상호작용(interaction)

두 독립변수의 곱으로 이뤄진 항(xm)을 의미합니다. 상호작용은 다른 변수에 의해 기울기가 바뀌는 것을 뜻하죠. 예를 들어 영어를 잘 할 필요가 있는 직무라면 토익 점수와의 관계 그래프가 가파르게 나타날테지만 딱히 업무가 영어 사용과 관련이 없는 경우에는 기울기가 완만하게 나타날 수 있습니다. 상호작용은 쉽게 생각하면 독립변수 2가지를 곱하는 것과 같습니다. 그래서 관계식을 쓸 때는 : 을 사용합니다. 관계식에서 x*m은 x+m+x : m 으로 표현할 수 있습니다. 예를 들어 Learning Style이 있습니다. 언어형은 말로 풀어서 설명하는 것이고 시각형은 그림으로 풀어서 공부하는 것이에요. 사람에 따라 어떤 방법이 더 효과적인지는 다를 수도 있죠. 여기서 학습방법은 xm에 해당합니다. 그러면 후기에..

[AWS 멘토링] ETL(Extract, Transform, Load)을 활용하는 방법

ETL이란 Extract, Transform, Load의 줄임말입니다. 필요한 데이터를 만들기 위해 데이터를 사용자의 목적에 맞도록 가공하는 작업을 이야기합니다. 원하는 데이터를 가져와서 예측값을 보여줄 수 있도록 해주는 것입니다. 추출을 먼저 하고 모니터링 페이지에서 필요한 데이터를 크롤링합니다. 그러면 웹사이트로 되어있는 것 중 필요한 데이터를 딱 맞게 추출하고 원하는 데이터 형태로 변환(transform)합니다. 여기서 가져올 수 있는 데이터는 그 페이지에 맞춰서 데이터화되어있는 것을 가져오면 됩니다. OAD는 적재입니다. 이 과정에서 Airflow를 도입했습니다. 에어비앤비에서 개발한 워크플로우 관리 플랫폼입니다. ETL 툴은 DAG(Directed Acyclic Graph)입니다. 실행하고 싶은..