<aside> 💡 목차

1. 최종 결과물
2. Architecture
3. 코드 설명 </aside>

1. 최종 결과물

2. Architecture

• Architecture Overview

  

  1. “혁신의 숲(국내 투자자 데이터)” & “Mercury(해외 투자자 데이터)” 크롤링
     • Selenium
  2. [Cloud9 환경] 데이터 전처리
     • “최근”에 투자 할수록 가중치를 높여서 전처리 진행
     • [More] 전처리 기준 for each letter
  3. 정제된 데이터 → DynamoDB, Elastic 에 저장
  4. Slack에 연결하여 서비스 제공

3. 코드

1. 데이터 수집 & 데이터 저장

   [크롤링 코드 & 데이터 저장 리뷰] 결과1 & 결과2 는 같은 데이터를 사용함

2. MBTI 글자를 위한 데이터 전처리 후 DynamoDB,Elastic에 저장

   MBTI_1_3.py #[1st,3rd word]전처리 후 DynamoDB,Elastic에 저장

   MBTI_2_4.py #[2nd,4th word]전처리 후 DynamoDB,Elastic에 저장

3. Slack 연결

   search_all_slack.py #slack연결