studying data

문제의 본질을 꿰뚫어 해결책을 찾는 법을 공부합니다

AWS멘토링 3

[AWS 멘토링] AWS x 걸스인텍 멘토링 후기

5주간의 멘토링이 막을 내렸습니다. 오래 자주 만난 것은 아니었지만, 부담없이 서로에게 지지와 응원이 되는 시간이었어요. 특히나 저는 IT업계 현장에서 일할 수 있는 분들과 이야기할 수 있는 기회라 굉장히 좋았습니다. 몇년 차에 어떤 고민을 하게 되는지 현실적인 경로를 그릴 수 있었거든요. 멘토 한 분에 멘티 3명이었지만, 저에겐 멘토 3명같은 느낌이었어요. 저희 팀의 메인멘토는 AWS에서 클라우드 교육을 담당하고 있는 지선님이셨어요. 국내 대기업에서 일하다가 외국계 대기업에서 일하는 경험의 전환이 어떤 의미를 가지는지, 일하는 분위기나 연봉계산방법 등 다양한 이야기를 들을 수 있었죠. 물론 이런 이야기들도 좋았지만, 지선님께서 고민했던 갈래들을 들을 수 있어서 저에겐 정말 큰 도움이 됐습니다. 이 멘토..

[AWS 멘토링] 불확실한 미래에 작은 불 하나 켜보자

직업을 고를 때 뭐가 중요할까요? 1. 금전적 보상: 고냥이 사료값을 벌기 위해서요.. 제 자식을 먹여살리고 좀 더 좋은 환경에서 지내게 해주고 싶어요. 충분히 넓은 공간의 집과 안전 보장이 저의 목표! 2. 하루 4시간은 내가 온전히 쓸 수 있을만한 여유시간 보장: 업무시간 외 집중할 수 있는 시간이 필요해요. 운동, 고양이와 함께 시간을 보낼 수 있는 여유가 충분히 보장되면 좋겠네요! 3. 성취감: 내가 이 일을 한다는 데에서 오는 작은 뿌듯함이 정기적으로 있으면 좋겠어요. 아주 작은 일이라고 하더라도 내가 충분히 멋진 일을 하고 있구나라고 느낄 수 있다면 참 좋아요! 커리어플랜 _ 양적연구방법론에도 능통한 연구자가 되어보자! 이번 하반기에 반드시 끝내야 할 것 석사학위 취득 완료! 석사논문 최종 제..

[AWS 멘토링] ETL(Extract, Transform, Load)을 활용하는 방법

ETL이란 Extract, Transform, Load의 줄임말입니다. 필요한 데이터를 만들기 위해 데이터를 사용자의 목적에 맞도록 가공하는 작업을 이야기합니다. 원하는 데이터를 가져와서 예측값을 보여줄 수 있도록 해주는 것입니다. 추출을 먼저 하고 모니터링 페이지에서 필요한 데이터를 크롤링합니다. 그러면 웹사이트로 되어있는 것 중 필요한 데이터를 딱 맞게 추출하고 원하는 데이터 형태로 변환(transform)합니다. 여기서 가져올 수 있는 데이터는 그 페이지에 맞춰서 데이터화되어있는 것을 가져오면 됩니다. OAD는 적재입니다. 이 과정에서 Airflow를 도입했습니다. 에어비앤비에서 개발한 워크플로우 관리 플랫폼입니다. ETL 툴은 DAG(Directed Acyclic Graph)입니다. 실행하고 싶은..