상맹의 명상

from bs4.element import Stylesheet import requests from bs4 import BeautifulSoup import re import gettext from requests.api import delete import json import urllib.request as req # 링크, 사진, 숙박업소이름, 평점, 위치, 설명, 가격 def Callthedata(): uri = f''' https://www.goodchoice.kr/product/result?sel_date=2021-11-15&sel_date2=2021-11-16&keyword=%EC%95%A0%EA%B2%AC''' response = requests.get(uri) soup = Beautifu..

1. 파이썬 pip를 활용하여 numpy와 pandas 라이브러리를 설치한다. - pip install numpy (python -m pip install numpy) - pip install pandas - pip install sqlalchemy 2. 파이썬을 활용하여 fish csv 파일을 로드한다. bream_length = pd.read_csv("bream_length.csv").to_numpy().flatten() bream_weight = pd.read_csv("bream_weight.csv").to_numpy().flatten() smelt_length = pd.read_csv("smelt_length.csv").to_numpy().flatten() smelt_weight = pd.read..

서울시 권역별 실시간 대기환경 현황 https://data.seoul.go.kr/dataList/OA-2219/S/1/datasetView.do ① row 데이터 중에서 MSRDT(날짜), MSRSTE_NM(지역), PM10(미세먼지), IDEX_NM(상태) 4가지 데이터를 파이썬 list로 만들어서 콘솔에 출력하시오. ② row 데이터 중에서 MSRDT(날짜), MSRSTE_NM(지역), PM10(미세먼지), IDEX_NM(상태) 4가지 데이터를 DB에 저장하시오. (pandas로 변경해서 db에 저장하는 것을 추천) ③ 추가로 weather.csv 파일로 만드시오. (1) requests 모듈로 데이터 다운받기 import requests import sqlalchemy as db import pan..

1. 스프링부트 + 몽고DB 연결 2. 크롤링 (뉴스 데이터) 3. 몽고 저장 - 배치프로그램 (1분마다) 4. API 컨트롤러 구축 5. Flask 서버 만들어서 API 호출해서 시각화 1) application.yml 설정 application.properties → 파일명 'yml'로 변경 spring mongodb host → port → database 입력 spring: data: mongodb: host: localhost port: 27017 database: greendb 2) test 파일 만들어서 JUnit test public class NaverCrawTest { int aid = 1; @Test public void test1() { String aidStr = String.fo..