[Python] YOLOv5를 활용한 객체 인식(Object Detection) (2)

이전 포스팅에서 이미지 라벨링 작업을 완료 했다면

라벨링 된 데이터를 YOLO 형식으로 전환 해주도록 하겠습니다.

 

《 데이터 셋 형식 변환 》

현재 CVAT을 통해 다운받은 데이터는 COCO형식의 json 파일입니다.

이를 Yolov5에서 사용하기 위해 convert2Yolo를 활용하도록 하겠습니다.

 

covert2Yolo 패키지와 yolov5의 경우 아래의 git 페이지에서

zip 형식을 통해 다운받아도 되고

콘솔 혹은 터미널을 통해 다운로드 받을 수도 있습니다.

 

 

[.zip 형식으로 직접 다운]

yolov5 깃허브 페이지

GitHub - ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite

 

convert2Yolo 깃허브 페이지

GitHub - ssaru/convert2Yolo: This project purpose is convert voc annotation xml file to yolo-darknet training file format

 

 

『콘솔 혹은 터미널을 통한 git clone 생성』

## git clone 할 위치에서 수행 [convert2Yolo]
git clone https://github.com/ssaru/convert2Yolo.git
cd convert2Yolo

## yolov5 수행을 위한 플러그인 설치
# pip install -r requirements.txt

## git clone 할 위치에서 수행 [yolov5]
git clone https://github.com/ultralytics/yolov5.git
cd yolov5
## yolov5 수행을 위한 플러그인 설치
# pip install -r requirements.txt

 

convert2Yolo, yolov5 패키지를 프로젝트 폴더 하위에 clone 하고

아래의 폴더 구조로 프로젝트를 관리해 줍니다.

 

# 프로젝트
# ├── yolov5

# └── convert2Yolo
# └── ship (데이터 셋을 담을 패키지)

#     └── class.names 

#     └── labels.json(CVAT을 통한 COCO 형식의 이미지 어노테이션 파일)

#     └── data

#         └── images (CVAT을 통해 라벨링할 때 사용되었던 이미지 파일을 담는 폴더)
#         └── labels (convert2Yolo를 통한 YOLO 어노테이션 파일을 담을 폴더)

 

 

이 때 class.names 파일의 경우 데이터셋의 클래스들를 구분하는 파일이므로

해당하는 클래스명들을 작성해줍니다.

## class.names
# CVAT을 통해 분류한 label명을 한 줄씩 기입
ship

 

 

이제 하나의 json 파일 이미지에 맞는 YOLO 어노테이션 파일(.txt)로 변환시켜야 합니다.

# convert2Yolo 폴더로 이동
cd convert2Yolo

# labels.json 파일 txt 변환
'''
python(python3, pip..) install example.py \
--datasets '변환 labels 포맷' \
--img_path '이미지 경로' \
--img_type '이미지 타입' \
--label 'label.json파일 경로' \
--convert_output_path '변환 txt 파일 저장 경로' \ 
--manifest_path '해당사항 없으나 옵션 제외 불가한 경우 기본값 ./로 작성' \
--cls_list_file 'class.names 파일 경로' \
'''

# 실제 실행 코드
python example.py \
--dataset COCO \
--label ../ship/labels.json \
--convert_output_path ../ship/data/labels \
--cls_list_file ../ship/class.names \
--img_path ../ship/data/images \
--img_type ".jpg" \
--manifest_path ./

 

해당 명령어를 통해 complete가 뜨면 변환이 성공적으로 완료된 것입니다.

convert_output_path로 지정한

../ship/data/labels 폴더에 변환한 txt 파일이 존재하는지 확인해보도록 합니다.

이미지의 갯수와 동일한 갯수, 이름의 .txt가 생성되었습니다.

 

#   └── data

#       └── images 
#       └── labels

#           └── ship1.txt

#           └── ship2.txt

#           └── ship3.txt...

 

 

이제 yaml 파일을 생성해주도록 합니다.

yaml 파일은 YOLO에 데이터 위치, 클래스 개수 등의 정보를 전달하는 파일입니다.

## custom.yaml

'''
path: 기본경로 지정
train: training 경로 지정
test : test 경로 지정
val: val 경로 지정

nc: 클래스 갯수 지정
names = 클래스명 지정
'''
 
 # 실제 작성 코드
 path: C:/Users/프로젝트명/ship/data
 train: images/train
 test : images/test
 val: images/val
 
 nc: 1
 names: ['ship']

 

이제 모델을 훈련할 환경이 되었으니 데이터 셋을 

train, val, test로 분류해주도록 합니다.

 

보통 데이터셋은 Train/Validation으로 나눌 때는 70/30 비율로,

Train/Validation/Test로 나눌 경우에는 70/20/10 비율로 나눈다고 합니다.

 

현재 제가 CVAT을 통해 라벨링한 이미지 파일은 100개이고

이를 통해 export한 labels.json 파일을 convert2Yolo를 사용하여 변환된

txt파일또한 동일하게 100개이므로

 

이제 해당 파일들을 70/20/10으로 나누어 주어야 하는데

이전에 파이썬 크롤링을 통해 다운받은 이미지의 명칭이

조금 상이하기 때문에 해당 이미지 파일과 txt파일 명칭을

분류하여 다시 각 폴더에 넣어주겠습니다.

 

이를 위해 images 폴더와 labels 폴더 하위에 각각 폴더들을 생성해줍니다.

 

# └── ship

#     └── data

#         └── images 

#             └── test (테스트를 수행할 20장의 이미지를 담는 폴더)

#             └── train (train을 수행할 70장의 이미지를 담는 폴더) 

#             └── val (val을 수행할 10장의 이미지를 담는 폴더)

#         └── labels

#             └── test (테스트를 수행할 20장의 텍스트를 담는 폴더)

#             └── train (train을 수행할 70장의 텍스트를 담는 폴더) 

#             └── val (val을 수행할 10장의 텍스트를 담는 폴더)

 

 

현재 실제 이미지와 어노테이션(txt) 파일들은 각각

/images 하위, 

/labels 하위에 각각 100개씩 존재하는 상태입니다.

 

이를 파이썬 코드로 작성된 convert_file.py 파일을 생성하여

이미지 파일과 텍스트 파일들을 분류해주겠습니다.

해당 파일에서 FILE_PATH와 FILE_EX 부분만 한번씩 변경해 실행하면 됩니다.

 

『이미지 및 어노테이션 파일 분류』

## /ship/data/convert_file.py
import os

FILE_PATH = "./labels/"     # 현재 수정할 폴더 경로: labels, images
FILE_EX = ".txt"            # 파일 타입 수정: images, txt
TRAIN_FILE_PATH = FILE_PATH + "train"
VAL_FILE_PATH = FILE_PATH + "val"
TEST_FILE_PATH = FILE_PATH + "test"

file_list = [file for file in os.listdir(FILE_PATH) if file.endswith(FILE_EX)]

train_cnt, val_cnt, test_cnt = 1, 1, 1

def convert_img_file(o_file_name, c_file_name, c_file_path):
    src = os.path.join(FILE_PATH, o_file_name)
    c_file_name = c_file_name + FILE_EX
    dst = os.path.join(c_file_path, c_file_name)
    os.rename(src, dst)

for i, file_name in enumerate(file_list):
    if i < 70:
        convert_img_file(file_name, f"train_{train_cnt}", TRAIN_FILE_PATH)
        train_cnt += 1
    elif i < 90:
        convert_img_file(file_name, f"val_{val_cnt}", VAL_FILE_PATH)
        val_cnt += 1
    elif i < 100:
        convert_img_file(file_name, f"test_{test_cnt}", TEST_FILE_PATH)
        test_cnt += 1

 

해당 코드를 통해 파일들의 분류가 정상적으로 완료되었다면

이제 해당 데이터셋을 YOLOv5 모델을 통해 훈련시키도록 하겠습니다.

 

 

《 데이터 셋을 통한 모델 학습 》

yolov5에서 제공하는 모델은 4가지이며 오른쪽의 모델일수록

정확도가 상승하지만 학습 시간이 오래걸리는 모델입니다. 

본인의 프로젝트에 맞춰서 알맞게 사용하면 될 것 같습니다.

 

저의 경우 YOLOv5m 모델을 사용했으며,

에포크 수와 배치는 따로 조정하지 않았습니다.

(에포크 수 미 지정 시 기본값 : 100)

 

『모델 Train』

## yolov5 경로 이동
cd ../yolov5

## 모델 Train 수행
'''
python train.py \
--img '이미지 사이즈' \
--batch '배치 사이즈' \
--data 'custom.yaml 파일 경로' \
--cfg '사용할 모델의 yaml 파일 경로' \
--weights '학습에 사용할 모델' \
--name '학습된 정보를 runs 폴더 안에 저장할 이름'
--project 'wandb에 저장할 프로젝트 명'
'''

## 실제 실행 코드
python train.py \
--data ../ship/custom.yaml \
--weights yolov5m.pt

 

Train 학습 결과는 yolov5/runs/train 경로에 최초에

/exp라는 폴더로 저장되게 됩니다.

학습을 반복하면 /train 하위 경로에 exp1, exp2, exp3...

형태로 폴더가 생성되며 학습 결과가 기록됩니다.

 

이 떄 학습 결과 폴더에서

val_batch_labels 파일은 각 이미지 별 정답 바운딩박스를 의미하고

val_batch_pred.jpg 파일은 예측된 바운딩박스값을 보여줍니다.

이를 통해 예측 정확도를 대략적으로 판별 가능합니다.

(좌) 정답 label     (우) 예측 pred

 

기본적으로 YOLOv5 모델을 통한 Train을 진행할 경우

Val도 같이 진행되어 학습 결과가 같이 저장됩니다.

만약 Val 진행을 확인하고 싶다면

아래의 해당 코드를 통해 확인 가능합니다.

 

이 후 Inference, Val, Test 학습 모두 Train을 통해

학습된 모델 중 가장 좋은 모델인 /exp/weights/best.pt를 이용합니다.

 

『 모델 Val 』

## yolov5 폴더 경로에서 진행
# 모델 Val 수행
python val.py \
--data ../ship/custom.yaml \
--weights 'runs/train/exp/weights/best.pt' \
--save-txt

--save-txt 파라미터를 통해 bounding box 데이터를

텍스트 파일로 확인 가능합니다.

 

또한 Test의 경우

val.py 실행 파라미터로 --task "test"를 전달할 경우 수행합니다.

 

『 모델 Test 』

## yolov5 폴더 경로에서 진행
# 모델 Test 수행
python val.py \
--task "test" \
--data ../ship/custom.yaml \
--weights 'runs/train/exp/weights/best.pt' \
--save-txt

Test 파일들의 경우 라벨링 과정에서 4개가 소실되어 6개의 파일들로 수행했습니다.

 

 

이제 학습 모델과 훈련 데이터를 통해

테스트 데이터를 넣어

Inference를 진행해 보겠습니다.

 

『테스트 데이터 Inference』

## yolov5 폴더 경로에서 진행

'''
python detect.py \
--source 테스트할 파일 경로 \
--weights 'runs/train/exp/weights/best.pt'
'''

# 실제 수행 코드
python detect.py \
--source './test_img.jgp' \
--weights 'runs/train/exp/weights/best.pt'

 

테스트 이미지 하나와 유튜브 링크를 통해 진행해보았습니다.

생각보다 정교하게 검증하지는 못하네요

 

글자를 선박으로 인식하는 등 아주 명확하게는 아니지만 
일정 부분 기능하고 있음을 확인할 수 있습니다.

https://youtu.be/lUqnxu4lbSs

 

 

---

참고

https://magicode.tistory.com/55#article-1--1--%EC%9D%B4%EB%AF%B8%EC%A7%80-%EC%A4%80%EB%B9%84
https://developnote-blog.tistory.com/161
https://minmiin.tistory.com/16