상맹의 명상

Numpy에 존재하는 다양한 함수들 NumPy 다양한 함수들 - Codetorial NumPy의 다양한 함수의 사용법에 대해 소개합니다. codetorial.net arange - 임의의 데이터를 만들 때 사용 # 넘파이가 가지고 있는 함수 import numpy as np arr1 = np.arange(10) print(arr1[:6]) print("="*50) arr2 = np.arange(5,10) print(arr2) print("="*50) arr3 = np.arange(1,10,2) print(arr3) print("="*50) arr4 = np.arange(1,11) print(arr4) print("="*50) arr5 = arr4.reshape((2,-1)) # 2차원 변환 print(a..

아래 코드를 Slicing을 사용하면 아주 간편하게 사용가능하다 p1 = [ [1.2], [3,4] ] p1[0][0] = 8 print(p1[0][0]) print("*"*50) row = 0 for i in p1: print(p1[row][0]) row = row + 1 * Slicing # 넘파이로 파이썬 리스트로 변환(타입) # 넘파이로 reshape (크기가 동일해야 한다) - vector -> matrix -> tensor # 2차원이든 3차원이든 전부다 1차원으로 변경하는 방법 = flatten # 넘파이 슬라이싱 [:,:], 스탭 [:,::2] import numpy as np temp1 = [ [1,2,3,4], [1,2,5,8] ] m1 = np.array(temp1) print(m1[..

1. dtype 종류 Data type objects (dtype) — NumPy v1.21 Manual The generic hierarchical type objects convert to corresponding type objects according to the associations: Deprecated since version 1.19: This conversion of generic scalar types is deprecated. This is because it can be unexpected in a context such as arr.a numpy.org [파이썬 numpy] 배열 데이터타입 종류/정의/확인 [파이썬 numpy] 배열 데이터타입 종류/정의/확인 numpy 데이터타입 ..

Mongo DB 7강 - 주기마다 데이터 수집 및 DB 저장 새 프로젝트 생성 NewsSaveAplication package com.cos.newssave; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.spri.. sangmaeng.tistory.com SpringBoot를 사용하여 DB에 저장한 데이터를 Python Flask를 활용하여 requests 모듈로 SpringBoot API서버를 호출하여 시각화 해보자 전송 받는 데이터의 형식 json { "code" : int, "msg" : string, "data..

시작하기전에 기존에 폴더가 있으면 안에 내용 다 삭제하고 시작 1. 폴더 생성 mongolab/shard1 mongolab/shard2 mongolab/shard3 mongolab/config1 mongolab/config2 mongolab/config3 2. CMD 창 3개 열어서 CS 서버 3개 실행 mongod --configsvr --replSet configSet --dbpath "C:\mongolab\config1" --port 50001 --bind_ip_all mongod --configsvr --replSet configSet --dbpath "C:\mongolab\config2" --port 50002 --bind_ip_all mongod --configsvr --replSet conf..

1. shard 폴더생성 - C:\mongolab 폴더 생성 2. config 서버 저장 폴더 생성 config1,2 폴더 생성(서버 뻗을시 나머지 하나로 서버 실행하기 위해 두개 생성) 3. 샤드 서버 설정 (1) 실행 mongod --shardsvr --dbpath "C:\mongolab\shard1" --port 30001 mongod --shardsvr --dbpath "C:\mongolab\shard2" --port 30002 mongod --shardsvr --dbpath "C:\mongolab\shard3" --port 30003 각 shard1,2,3 폴더별로 git bash 후 해당 명령어 실행 후 명령창 종료 하지 말고 대기 (2) 포트 확인 netstat -ano | grep 3000..

샤딩 데이터를 분산하여 저장하는 개념이다. 단 한 대의 서버에 빅데이터를 저장하게 되면 I/O가 한대에서 일어난다. 서버를 여러개를 두고 분산하여 저장한다면 I/O가 여러대에서 일어나기 때문에 효율이 좋아진다. config server에 indexing하여 목차를 들고있다 → 이를 "메타 데이터" 라 한다. 라우터는 바로 데이터를 찾으러 가지 않고 왜 메타데이터를 찾으러 갈까? → 메타데이터가 데이터를 찾기 위해 어디로 가야 하는 지 알고 있다. config server가 망가지면 시스템 자체가 돌지 않는다. 따라서 여러 개의 config server를 사용한다. 만일, 그림과 같은 구성에서 10을 저장한다고 할 때, 실패할 경우 이 "10"데이터는 사라지게 되며, 프로그램 쪽으로 실패한 응답을 받게 되..

새 프로젝트 생성 NewsSaveAplication package com.cos.newssave; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.scheduling.annotation.EnableScheduling; @EnableScheduling @SpringBootApplication public class NewsSaveApplication { public static void main(String[] args) { SpringApplication.run(NewsSaveApplicati..

1. 스프링부트 + 몽고DB 연결 2. 크롤링 (뉴스 데이터) 3. 몽고 저장 - 배치프로그램 (1분마다) 4. API 컨트롤러 구축 5. Flask 서버 만들어서 API 호출해서 시각화 1) application.yml 설정 application.properties → 파일명 'yml'로 변경 spring mongodb host → port → database 입력 spring: data: mongodb: host: localhost port: 27017 database: greendb 2) test 파일 만들어서 JUnit test public class NaverCrawTest { int aid = 1; @Test public void test1() { String aidStr = String.fo..

food 샘플 데이터 입력 db.food.insertOne({_id:1, fruit: ["apple", "banana", "peach"]}); db.food.insertOne({_id:2, fruit: ["apple", "kumquat", "orange"]}); db.food.insertOne({_id:3, fruit: ["cherry", "banana", "apple"]}); db.food.insertOne({_id:4, fruit: ["cherry", "raspberry", "peach"]}); 테스트 - 순서가 같아야 일치 MongoDB Enterprise > db.food.find({fruit: ["apple", "banana", "peach"]}); { "_id" : 1, "fruit" : [ ..