[Python] 데이터 분석 및 활용 (2)

[공공데이터 포털 API를 활용한 웹 크롤링]

《 API 준비 》

① 공공데이터 포털(https://www.data.go.kr/)에 접속하여 회원가입을 한다.

② 필요한 데이터를 찾기 위해 키워드를 검색 후 오픈 API 활용을 신청한다.

③ 활용목적 및 상세기능정보를 선택 후 활용 승인이 되면 마이페이지를 통해 인증키 / 서비스 URL 확인 가능

④ 상세정보 및 활용가이드.doc를 통해 요청변수, 출력 결과 및 다양한 정보 등을 확인 가능

《 코드 작성 》

[함수의 실행 순서]

① main()
② getTourismStateService()
③ getTourismStateItem()
④ getRequestUrl()

[모듈 선언부]

import requests       # requests 모듈 : http / https 웹에 요청을 받기 위해 사용
import urllib.request # urllib.request 모듈 : URL이나 HTTP를 여는데 도움이 되는 함수와 클래스 제공
import json           # JSON 데이터 처리를 위한 모듈
import pandas as pd   # 데이터 정보를 저장하고 있는 배열을 데이터프레임화 시키고 csv 파일로 저장하기 위한 모듈
import datetime       # 현재 날짜/시간을 반환해주는 함수인 datetime.datetime.now() 함수 사용

[ ① main() ]

def main():
    result = []
    natName = ''
    print("《 국내 입국 외국인의 통계 데이터 수집 》")
    nat_cd = input("국가 코드를 입력하세요 (중국: 112 / 일본: 130 / 미국 275) :   ")
    nStartYear = int(input("데이터를 몇 년부터 수집할까요? :   "))
    nEndYear = int(input("데이터를 몇 년까지 수집할까요? :   "))
    ed_cd = "E"  #  E: 방한 입국 외국인, D : 해외 출국 외국인

    result, natName, ed, dataEND = getTourismStateService(nat_cd, ed_cd, nStartYear, nEndYear)

    if(natName == ''): # URL 요청은 성공하였으나 데이터 전달에 실패한 경우
        print("데이터가 정상적으로 전달되지 않았습니다. 공공데이터포털 서비스 상태를 확인하십시오")
    else:
        # csv형태로 파일 저장
        columns = ["입국 국가", "국가 코드", "입국 연월", "입국자 수"]
        result_df = pd.DataFrame(result, columns = columns) # pandas 라이브러리를 통해 데이터프레임 형변환
        result_df.to_csv("./%s_%s_%d_%s.csv"%(natName,ed, nStartYear, dataEND),
                         index=False, encoding="cp949")

[ ② getTourismStateService() ]

# getTourismStateService(국가 코드, 출/입국 여부, 시작일자, 종료일자) : 데이터 전처리(월 단위 포맷팅)
# 콘솔에 getTourismStateItem()을 통해 전달받은 Json 데이터 문자열 변환 출력,
# 국가명/코드, 연도, 방문객 수가 저장된 result 배열, 국가명, 출/입국 여부, 데이터의 끝 범위 반환
def getTourismStateService(nat_cd, ed_cd, nStartYear, nEndYear):
    result = []
    natName = ''
    # format() 함수 사용 dataEND 값의 범위 지정
    # {0}{1:0>2} -> 첫번째 {0}는 {"nEndYear"}, 두번쨰 {1:0>2}는 {"12"}
    # 이떄 {1:0>2} 는 빈 공간을 0으로채우고 오른쪽 정렬이라는 의미
    dataEND = "{0}{1:0>2}".format(str(nEndYear), str(12)) # 데이터 끝 범위 초기화
    isDataEnd = 0 # 데이터 끝 확인용 flag 초기화

    for year in range(nStartYear, nEndYear + 1):
        for month in range(1, 13):
            if(isDataEnd == 1): # dateEnd가 참일경우 break (데이터의 끝을 만난 경우)
                break
            yyyymm = "{0}{1:0>2}".format(str(year), str(month))
            # getTourismStateItem() 함수를 통해 전달받은 json 객체 정보 저장
            jsonData = getTourismStateItem(yyyymm, nat_cd, ed_cd)

            # jsonData 재검증 json 객체의 response.header.resultMSg == OK 인경우(정상 전달인 경우)
            if(jsonData["response"]["header"]["resultMsg"] == "OK"):
                # 입력된 범위까지 수집하지 않았지만, 더 이상 제공되는 데이터가 없는 마지막 항목일 경우
                if(jsonData["response"]["body"]["items"] == ""):
                    isDataEnd = 1 # isDataEnd 참으로 설정
                    dataEND = "{0}{1:0>2}".format(str(year), str(month-1))
                    print("데이터 없음....\n 제공되는 통계 데이터는 %s년 %s월까지입니다."%(str(year), str(month -1)))
                    break

                # jsonData를 JSON 문자열로 변환하여 출력
                # json.dumps(object, indent(들여쓰기 범위 지정), sort_keys(정렬 유무), ensure_ascii=False(문자 그대로 출력))
                print(json.dumps(jsonData, indent=4, sort_keys=True, ensure_ascii=False))
                natName = jsonData["response"]["body"]["items"]["item"]["natKorNm"]
                natName = natName.replace(' ', '') # replace()를 통해 공백 제거
                num = jsonData["response"]["body"]["items"]["item"]["num"] # 방문객 수
                ed = jsonData["response"]["body"]["items"]["item"]["ed"] # 출/입국 여부
                print("[ %s_%s : %s ]" %(natName, yyyymm, num))
                print("-----------------------------------------------------------")
                # result 배열에 국가명, 국가코드, 연도, 방문객 수 저장
                result.append([natName, nat_cd, yyyymm, num])
    # result배열, 국가명, 출/입국 여부, 데이터의 끝 범위 반환
    return(result, natName, ed, dataEND)

[ ③ getTourismStateItem() ]

# getTourismStateItem(기준연도, 국가코드, 출/입국 여부) : 전달받은 매개변수를 통해 url 생성 후
#                                                    getRequestUrl() 함수를 통해 전달받은 json 객체 반환
def getTourismStateItem(yyyymm, national_cd, ed_cd):
    # API 일반 인증키(Encoding)
    ServiceKey = 'SkDEhhMCcC0eh%2BRvAs9gCyxU2UQG%2BIEpQ9Elj8qQ7bF6aVfRFgjFHWly2r%2F2RtnFV%2BkSQ6O6woik9%2B%2B8cTEioA%3D%3D'
    # 서비스 url
    service_url = 'http://openapi.tour.go.kr/openapi/service/EdrcntTourismStatsService/getEdrcntTourismStatsList'
    parameters = f'?_type=json&serviceKey={ServiceKey}&YM={yyyymm}&NAT_CD={national_cd}&ED_CD={ed_cd}'
    # url에 service_url + 개인 인증키 + 얻고자 하는 정보의 범위 입력
    # f`http://openapi.tour.go.kr/openapi/service/EdrcntTourismStatsService/getEdrcntTourismStatsList
    # ?_type=json&serviceKey=${serviceKey}&YM=${yyyymm}&NAT_CD=${national_cd}&ED_CD={ed+cd}`
    url = service_url + parameters

    retData = getRequestUrl(url) # getRequestUrl() 함수 호출
    if (retData == None):
        return None
    else:
        return json.loads(retData)

[ ④ getRequestUrl() ]

# getRequestUrl(url) : 전달받은 url을 통해 json 형태의 응답 객체 반환
def getRequestUrl(url):
    # urllib.request.Request() : 데이터를 보낼 떄 인코딩하여 바이너리 형태로 보냄. 없는 페이지 요청시 에러
    req = urllib.request.Request(url)

    try:
        response = urllib.request.urlopen(req)		# 전달한 url을 통해 반환된 데이터 정보 저장
        if response.getcode()==200:					# code==200인 경우 : 정상 경로를 통해 전달받은 경우
            print("[%s] Url Request Success" %datetime.datetime.now())
            return response.read().decode('utf-8')	# 'utf-8' 형식으로 디코딩한 데이터 반환
    except Exception as e:							# 에러 출력 구문
        print(e)
        print("[%s] Error for URL : %s" %(datetime.datetime.now(), url))
        return None

《 최종 형태의 코드 》

import requests       # requests 모듈 : http / https 웹에 요청을 받기 위해 사용
import urllib.request # urllib.request 모듈 : URL이나 HTTP를 여는데 도움이 되는 함수와 클래스 제공
import json           # JSON 데이터 처리를 위한 모듈
import pandas as pd   # 데이터 정보를 저장하고 있는 배열을 데이터프레임화 시키고 csv 파일로 저장하기 위한 모듈
import datetime       # 현재 날짜/시간을 반환해주는 함수인 datetime.datetime.now() 함수 사용


def getTourismStateService(nat_cd, ed_cd, nStartYear, nEndYear):
    result = []
    natName = ''
    dataEND = "{0}{1:0>2}".format(str(nEndYear), str(12)) 
    isDataEnd = 0
    
    for year in range(nStartYear, nEndYear + 1):
        for month in range(1, 13):
            if(isDataEnd == 1): 
                break
            yyyymm = "{0}{1:0>2}".format(str(year), str(month))
            jsonData = getTourismStateItem(yyyymm, nat_cd, ed_cd)

            if(jsonData["response"]["header"]["resultMsg"] == "OK"):
                if(jsonData["response"]["body"]["items"] == ""):
                    isDataEnd = 1
                    dataEND = "{0}{1:0>2}".format(str(year), str(month-1))
                    print("데이터 없음....\n 제공되는 통계 데이터는 %s년 %s월까지입니다."%(str(year), str(month -1)))
                    break

                print(json.dumps(jsonData, indent=4, sort_keys=True, ensure_ascii=False))
                natName = jsonData["response"]["body"]["items"]["item"]["natKorNm"]
                natName = natName.replace(' ', '') 
                num = jsonData["response"]["body"]["items"]["item"]["num"] 
                ed = jsonData["response"]["body"]["items"]["item"]["ed"]
                print("[ %s_%s : %s ]" %(natName, yyyymm, num))
                print("-----------------------------------------------------------")
                result.append([natName, nat_cd, yyyymm, num])
                
    return(result, natName, ed, dataEND)



def getTourismStateItem(yyyymm, national_cd, ed_cd):
    ServiceKey = 'Input Your Encoding key'
    service_url = 'http://openapi.tour.go.kr/openapi/service/EdrcntTourismStatsService/getEdrcntTourismStatsList'
    parameters = f'?_type=json&serviceKey={ServiceKey}&YM={yyyymm}&NAT_CD={national_cd}&ED_CD={ed_cd}'
    url = service_url + parameters
    retData = getRequestUrl(url)
    
    if (retData == None):
        return None
    else:
        return json.loads(retData)



def getRequestUrl(url):
    req = urllib.request.Request(url)

    try:
        response = urllib.request.urlopen(req)
        if response.getcode()==200: 
            print("[%s] Url Request Success" %datetime.datetime.now())
            return response.read().decode('utf-8') 
    except Exception as e:  
        print(e)
        print("[%s] Error for URL : %s" %(datetime.datetime.now(), url))
        return None



def main():
    result = []
    natName = ''
    print("《 국내 입국 외국인의 통계 데이터 수집 》")
    nat_cd = input("국가 코드를 입력하세요 (중국: 112 / 일본: 130 / 미국 275) :   ")
    nStartYear = int(input("데이터를 몇 년부터 수집할까요? :   "))
    nEndYear = int(input("데이터를 몇 년까지 수집할까요? :   "))
    ed_cd = "E" 

    result, natName, ed, dataEND = getTourismStateService(nat_cd, ed_cd, nStartYear, nEndYear)

    if(natName == ''):
        print("데이터가 정상적으로 전달되지 않았습니다. 공공데이터포털 서비스 상태를 확인하십시오")
    else:
        columns = ["입국 국가", "국가 코드", "입국 연월", "입국자 수"]
        result_df = pd.DataFrame(result, columns = columns)
        result_df.to_csv("./%s_%s_%d_%s.csv"%(natName,ed, nStartYear, dataEND),
                         index=False, encoding="cp949")



if __name__ == '__main__':
    main()

《 실행 결과 》

저작자표시 비영리 변경금지 (새창열림)

[공공데이터 포털 API를 활용한 웹 크롤링]

티스토리툴바