[스파르타코딩클럽] 💻 웹개발 종합 - 3주차

《 스파르타코딩클럽 웹개발 종합 ―1주차― 》

《 스파르타코딩클럽 웹개발 종합 ―2주차― 》

[ SQL vs NoSQL ]

👉 SQL(관계형 DB / RDBMS)

- 데이터를 행과 열로 구성된 정형화된 표 형태의 테이블로 저장

- 데이터의 종속성은 관계로 표현

- 열은 데이터의 속성에 대한 정보를 담고, 행은 열(데이터 속성)의 형식에 맞는 데이터가 담김

- 열의 구조와 데이터간의 관계가 테이블 스키마로 사전에 정의되어 사용

- 스키마를 수정하기가 어렵지만, 정형화 되어 있기 때문에 데이터의 분류, 정렬, 탐색 속도가 빠름

- 대표적인 RDBMS : MySQL, Oracle, MariaDB...

👉 NoSQL(비관계형 DB)

- 단어의 뜻은 "Not Only SQL"이며, 관계형 DB를 전혀 사용하는 것이 아닌 여러 유형의 DB를 사용

- 대부분이 오픈소스 형태이며, 스키마 없이 동작하고 구조에 대한 정의 변경 없이 자유롭게 필드 추가 가능

👉 Key-Value 모델

- 키(Key)와 값(value)으로 이루어진 딕셔너리 형태의 가장 단순한 NoSQL

- 수평적 확장에 용이하며 키-값 저장소는 데이터가 키와 값의 쌍으로 저장되어 있음

- 간단한 데이터 모델을 대상으로 데이터를 자주 불러오고 저장하는 경우에 적합

- 값은 이미지나 비디오 등 어떠한 형태라도 가능, 간단한 API를 제공하기에 질의 속도가 빠른 편임

- 대표적인 DBMS : Memcached, Redis, AWS Dynamo DB, LevelDB...

👉 Document 모델

- Key-Value 모델과 동일하게 데이터를 키와 값으로 이루어진 형태로 저장

- Key-Value 모델과 달리 Value가 계층적 형태의 문서(JSON, XML과 같은 표준 형식 이용)로 저장되며 이는 객체지향의 객체와 유사함

- Value는 하나의 단위로 취급되어 저장 하기 전에 별도로 스키마를 정의하지 않으며 문서 추가시 그것이 스키마가 됨

- 대표적인 DBMS : MongoDB, CouchDB, MarkLogic...

👉 Column Family 모델

- 위의 두 모델은 Key-Value 쌍에서 Value를 통해 필드를 결정했다면, Column Family 모델은 Key를 통해 필드 결정

- Key는 Row-Key와 Column-Family, Column-name을 가지며 연관된 데이터들은 Column-Family에 속해 있으며, 각자의 Column-name을 가짐

- 이렇게 저장된 데이터는 하나의 큰 테이블로 표현이 가능하며 질의는 Row->Column-Family->Column-Name을 통해 수행

- 대표적인 DBMS : HBase, Cassandra, Hypertable, GCP BigTable...

👉 Graph 모델

- 실제 세계의 데이터를 관계와 함께 표현하기 위해 고안된 모델

- 데이터는 연속적인 노드, 관계, 특성의 형태(그래프)로 저장

- 그래프 모델에서의 질의는 그래프 순회를 통해 이루어짐

[ MongoDB ]

- 공식 홈페이지 :https://www.mongodb.com/ko-kr

- NoSQL로 분류되는 크로스 플랫폼 Document 지향 DBMS

- MongoDB는 SQL DBMS들의 테이블과 같은 스키마가 고정된 구조를 사용하지 않음

- 대신 JSON 형태의 동적 스키마형 Document를 사용하고, 이를 BSON이라고 지칭

- 가장 기본적인 데이터를 Document(RDBMS의 row)라고 하고, 이들의 집합을 Collection(RDBMS의 Table)이라 함

[ Robo3T ]

- 공식 홈페이지 : https://robomongo.org/

- Robo 3T는 MongoDB 호스팅 배포를 위해 사용되는 그래픽 사용자 인터페이스임(GUI)

- 텍스트 기반 인터페이스 대신 시각 표시기를 통해 데이터와 상호 작용 가능

- 즉 MongoDB를 통해 DB를 저장할 때 이 DB 내부를 시각적으로 관리할 수 있는 프로그램

[ Requests 라이브러리 ]

- 공식 홈페이지 : https://requests.readthedocs.io/en/latest/

- Requests는 HTTP 요청을 간단하게 하기 위한 아파치 라이센스 2.0 python용 라이브러리임

- 손쉬운 HTTP/1.1 요청을 사용 가능, URL에 쿼리 문자열 수동 추가 및 POST 데이터 폼 인코딩 필요x

# 기본 예제
import requests

# 사이트에 접속 시 GET 헤더를 서버에 전송하지만 파이썬을 통해 HTTP 통신을 할 경우
# 다수의 헤더 정보가 누락될 수 있기에 필요시 헤더 수동 지정 가능
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
response = requests.get('https://www.naver.com/') # 해당 URL에 GET 방식의 HTTP 요청

print(response.status_code) # status_code == 200일 경우 정상적으로 요청이 된 것
print(response.encoding)    # 요청한 URL의 encoding 형식 확인
print(response.text)        # 요청한 URL의 HTML 소스 코드 전부를 출력

[ BeautifulSoup 라이브러리 ]

- 공식 홈페이지 : https://www.crummy.com/software/BeautifulSoup/bs4/doc/

- HTML 및 XML 파일에서 데이터를 추출하기 위한 python 라이브러리

- 선호하는 parser와 함께 작동하여 구문 분석 트리를 탐색, 검색 및 수정할 수 있는 관용적 방법을 제공

- 보통 request 라이브러리와 같은 HTTP 연결 라이브러리와 함께 사용됨

- 참고 : 2022.04.22 - [프로그래밍 언어/Python] - [Python] 데이터 분석 및 활용 (3)

# 기본 예제
from bs4 import BeautifulSoup

# 해당 html 소스 코드 객체를 html 문법규칙에 따른 문자열인 html parser로 변환
soup = BeautifulSoup(html_doc, 'html.parser') 

print(soup.prettify()) # html parser로 변환된 soup를 식별하기 용이한 형태로 출력

[ pymongo 라이브러리 ]

- 공식 홈페이지 : https://pymongo.readthedocs.io/en/stable/

- 파이썬에서 MongoDB와 연동하여 사용시 필요한 tool들을 제공하는 python 라이브러리

🔎 Making a Connection with MongoClient

from pymongo import MongoClient

# 접속할 클라이언트 주소 지정
client = MongoClient('localhost', 27017)  # mongoDB는 27017 포트로 돌아감
# client = MongoClient('mongodb://localhost:27017/')

🔎 Getting a Database

# 해당 클라이언트의 DB에 접근 (해당 DB가 존재하지 않을 경우 자동 생성됨)
db = client.moviesDB    # 'moviesDB' 명을 가진 DB에 접근 / 존재하지 않을 경우 생성
# db = client['moviesDB']

🔎 Getting a Collection

# DB의 Collection에 접근
collection = db.kor_movies  # moviesDB > kor_movies 콜렉션에 접근
# collection = db['kor_movies']

🔎 Documents

# 몽고DB의 데이터는 JSON 스타일의 문서를 사용하여 표시(저장)

movie_data = { 'title': '범죄도시2',
               'genre': '범죄, 액션',
               'nation': '한국',
               'director': '이상용',
               'release': '2022-05-18',
               'star_score': 9.07 }

🔎 Inserting a Document

# 데이터 삽입
collection.insert_one(movie_data)  # 특수키인 "_id"키가 없을 경우 자동으로 추가됨

🔎 Getting a Document

# 데이터 탐색

# find() : 조건에 부합하는 모든 데이터 추출
# find_one() : 조건에 부합하는 한가지 데이터만 추출

# {'_id': False}를 해주지 않으면 해당 데이터의 _id 값인 ObjectId까지 불러옴
print(collection.find_one({'title': '범죄도시2'}, {'_id': False})) # 'title'이 '범죄도시2'인 문서 출력

# 특정 콜렉션의 전체 데이터를 확인할 경우 빈 중괄호 이용
# print(list(db.users.find({}, {'_id': False})))

🔎 Update a Document

# 데이터 수정

# update_many() : 해당 조건을 부합하는 문서 모두의 수정 사항을 수행
# update_one() : 해당 조건에 부합하는 문서 한개의 수정 사항을 수행

# 'title'이 '범죄도시2'인 문서의 'Leading actor' 의 value를 '마동석'으로 변경 / 없을시 생성 후 삽입
collection.update_one({'title': '범죄도시2'}, {'$set': {'Leading actor': '마동석'}})
collection.update_one({'title': '범죄도시2'}, {'$set': {'Leading actor': '손석구'}})

🔎 Delete a Document

# 데이터 삭제

# delete_one() : 해당 조건에 부합 하는 문서 한개 삭제

collection.delete_one({'Leading actor': '손석구'})

[ 웹스크래핑(크롤링) 예제 ]

① 2020.03.03 기준 네이버 랭킹별(평점순/모든 영화) 영화 정보 출력

import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient

# -- requests settings --
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20200303',headers=headers)

# -- pymongo settings --
client = MongoClient('localhost', 27017)
db = client.dbsparta

# -- bs4 settings --
soup = BeautifulSoup(data.text, 'html.parser')
trs = soup.select('#old_content > table > tbody > tr')

for tr in trs:
    a_tag = tr.select_one('.title > .tit5 > a')
    if a_tag is not None:
        # ac 클래스가 두개 존재함 nth-child 문을 통해 식별
        movie_rating = tr.select_one('td:nth-child(1) > img')['alt']
        movie_score = tr.select_one('td.point').text
        movie_title = a_tag.text

        print("[" + movie_rating + "] " + movie_title + " ★ : " + movie_score)
        # doc = {'title': movie_title,
        #        'rating': movie_rating,
        #        'score': movie_score}
        # db.movies_02.insert_one(doc)

② 2020.04.03 기준 지니뮤직 1-50위 차트 크롤링 예제

import requests
from bs4 import BeautifulSoup

# -- requests settings --
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers)

# -- bs4 settings --
soup = BeautifulSoup(data.text, 'html.parser')
trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    rating = list(tr.select_one('td.number'))[0].text.strip()
    info = tr.select_one('td.info')
    title = info.select_one('a.title').text.strip()
    artist = info.select_one('a.artist').text
    print(rating + " " + title + " " + artist)

저작자표시 비영리 변경금지

《 스파르타코딩클럽 웹개발 종합 ―1주차― 》

《 스파르타코딩클럽 웹개발 종합 ―2주차― 》

티스토리툴바