studying data

문제의 본질을 꿰뚫어 해결책을 찾는 법을 공부합니다

2021/09/09 4

[증권데이터] 판다스는 뉴욕 증권가에서 일하는 퀀트에 의해 개발됐다

판다스는 계량 경제에 도움을 주기 위해 만들어졌습니다. 우리가 금융 데이터를 연구할 때는 공통적인 task를 가지는데 통계적인 추정을 하는 일들을 공통적으로 하게 됩니다. 쉽게 쓸 수 있게 되기 때문에 어떤 기술을 사용할 것인지 광범위한 기술이 있습니다. Numpy는 중심적인 역할을 합니다. pandas도 numpy를 가지고 있고 여러 도구들을 가지고 있기 때문에 재사용이 가능한 API를 제공합니다. 그리고 파이썬은 접착제 언어라는 특징이 있습니다. 다른 언어와 호환성이 좋기 때문입니다. bridge performance gap이 있는데 API만 파이썬으로 개발하면 다른 빠른 언어의 장점과 파이썬의 쉽고 빠른 속도가 결합될 수 있습니다. 파이써니스타라고 부르는데 이들은 필요한 툴이 있으면 직접 만들거나 ..

[증권데이터] 신호와 소음 찾기 강의소개

수집과정 FinanceDataReader, requests로 원하는 정보를 수집하고 Beautifulsoup5으로 분석하고 복잡한 데이터의 경우 tqdm을 활용할 수 있습니다. 그리고 pandas를 통해서 다양한 테이블을 수집하고 크롬개발자도구를 이해하면 복잡한 데이터도 간단하게 수집할 수 있습니다. 전처리와 분석 판다스의 필터 기능을 이용해 여러 칼럼을 한번에 전처리하고 판다스의 melt를 통해 tidy data를 만들 수 있습니다. merge와 concat의 차이점과 활용방법을 알아보기도 합니다. 그리고 groupby와 pivot_table, crosstab, value_counts를 통한 통계적인 계산도 가능합니다. 시각화 시각화에서는 동적, 정적인 도구를 모두 사용합니다. Matplotlib, P..

[AWS 멘토링] AWS x 걸스인텍 멘토링 후기

5주간의 멘토링이 막을 내렸습니다. 오래 자주 만난 것은 아니었지만, 부담없이 서로에게 지지와 응원이 되는 시간이었어요. 특히나 저는 IT업계 현장에서 일할 수 있는 분들과 이야기할 수 있는 기회라 굉장히 좋았습니다. 몇년 차에 어떤 고민을 하게 되는지 현실적인 경로를 그릴 수 있었거든요. 멘토 한 분에 멘티 3명이었지만, 저에겐 멘토 3명같은 느낌이었어요. 저희 팀의 메인멘토는 AWS에서 클라우드 교육을 담당하고 있는 지선님이셨어요. 국내 대기업에서 일하다가 외국계 대기업에서 일하는 경험의 전환이 어떤 의미를 가지는지, 일하는 분위기나 연봉계산방법 등 다양한 이야기를 들을 수 있었죠. 물론 이런 이야기들도 좋았지만, 지선님께서 고민했던 갈래들을 들을 수 있어서 저에겐 정말 큰 도움이 됐습니다. 이 멘토..

[머신러닝 공부] Overview of Colaboratory Features, 머신러닝과 딥러닝 정의

Cells A notebook is a list of cells. cells contain either explanatory text or executable code and its output. 머신러닝의 정의 _ 톰 미첼(Tom Mitchell) 만약 어떤 작업 T에서 경험 E를 통해 성능측정방법인 P로 측정했을 때 성능이 향상된다면 이런 컴퓨터 프로그램은 학습을 한다. 어떤 게 정말 좋은 것인지 말할 수 있는 지에 대한 척도가 정말 좋아진다면 이것은 학습을 하고 있는 것이고 인공지능이라고 말할 수 있다고 봅니다. 예를 들어 어떤 선생님이 있다고 해볼까요? 10년간 열심히 초등학생들을 가르쳤다고 해봅시다. 아이들이 어떤 형태를 보이면 모범생에 속한다거나, 어떤 학생은 그림을 잘 그린다는 패턴이 있을것..