JADE's Repository

ps aux | grep python | awk '{print $2}' | xargs kill -9 중간 ( | ) 명령은 파이프로, 앞 명령의 실행 결과를 뒤 명령으로 전달 ps aux: 모든 실행중인 프로세스 정보 grep python: python 이란 이름을 가진 process 행만 추출 awk '{print $2}': pid를 의미하는 두번째 열만 추출 xargs kill -9: 최종 추출된 pid들을 모두 kill -9 명령으로 종료

read_csv로 csv파일을 불러올때 다음과 같은 에러가 뜬다. "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb4 in position 0: invalid start byte" 한글로 되어있을때 uft-8 인코딩이 안먹혀서 그런거 같다. 이럴때 encoding을 다음과 같이 지정해주면 된다. pd.read_csv('kcal.csv', encoding='cp949')

multi scale을 적용하기 위해 augmentation을 탐색 -> rotate, flip, crop, resize를 전체적으로 실행하는 방법을 사용 -> patch를 정의하여 patch 영역 내에 box가 잘리지 않고 있을때 추출해주는 방법이 적용됨 flip을 적용했을때 angle_loss가 높게 나옴 -> flip을 적용하지 않고 rotate도 0.5로 줄임 데이터셋은 annotation 실습 결과물 + MLT 데이터셋을 추가한 것으로 학습 multi scale을 적용하고 inference를 했더니 결과값이 아무것도 안나옴...

mlt 데이터셋과 vrt 데이터셋, annotation 작업 결과물을 추가하여 학습 -> vrt의 경우 1000장만 추가함 언어 비중이 english에 상당이 많이 때문에 vrt를 생각보다 적게 추가해야할 것 같음 제출 결과 낮은 점수가 나옴

테스트 데이터셋의 이미지들은 1500 사이즈를 넘어가지 않기때문에 ICDAR2019_ArT 데이터셋에서 1500 사이즈가 넘어가는 이미지는 제외 -> 언어는 영어, 중국어 두 종류가 있으며 영어만 뽑은 데이터셋과 중국어를 포함한 데이터셋으로 나누어 json 파일을 저장 -> 전체 이미지 중 1000장을 sampling하여 val set으로 저장 해당 대회는 문자를 인식하여 box를 그리는 것이므로 다양한 언어를 학습시키는게 좋을 거 같음 야외 촬영 이미지 데이터셋도 각 종류별로 50장씩 sampling하여 val set으로 저장 야외 촬영 이미지와 ICDAR2019_ArT를 추가하여 돌렸을 때 Loss가 잘 줄어들지 않음 -> 데이터 수가 많아서 금방 학습이 된것인가.... test set을 한 번 돌려..

팀원에게 부탁하여 학습된 모델을 제출 -> points 4개가 넘어가는 data를 삭제한 것과 별 차이가 없음 야외 촬영 이미지를 추가하여 학습 -> batch size는 16으로 변경 ICDAR2019_ArT 데이터셋에서 points 4개가 넘어가는 것들은 box 형태로 쪼갬 -> 학습에 transciption은 사용되지 않기 때문

서버 제출이 안되는 문제가 발생 -> 설치된 패키지의 용량이 커서 그렇다고 함 야외 촬영 이미지를 각 종류별로 300장을 뽑아서 image와 json 파일로 정리한 후 ufo 형식에 맞추어 수

autocad를 사용하여 labeling하는 것을 한 번 진행해봄 ICDAR2019_ArT 데이터셋을 다운받음 -> UFO 형식으로 변경하고 points 4개 짜리가 없을 경우 이미지를 삭제함 -> 모델이 points 4개인 box만 학습하기 때문 AI hub에 있는 야외 촬영 이미지를 다운받음 -> 전체 다운로드를 받으려니 435GB.... -> train, validation에서 zip 파일 하나씩 선택하여 다운받음(그래도 오래걸림... 10시간 정도?) 어제 눈바디 다시 제출했는데 아직 결과가 안나옴... -> 너무 느리다....

annotation 작업 결과물을 다운로드 받았는데 annotation.json 파일이 비어있음 -> 다시 다운로드 받으니 정상적으로 있음 구글 드라이브를 보니 dataset_revised 라는 파일이 올라와 있음 -> illegibillity 정보를 추가하여 다시 올린 파일이라고 함 각 팀원끼리 데이터를 나누어서 검수를 진행 json파일을 보니 points가 3개미만이거나 홀수인 경우가 생김 -> 3개 미만일 경우 삭제하고 4개 초과이고 홀수 인 경우에는 illegibillity=True로 변경하는 것이 좋을 것 같음 데이터를 검수하여 labeling이 잘된 data와 검수하기 전의 data 등 다양한 dataset으로 학습을 진행 전체적인 EDA를 진행 autocad를 사용해서 annotation t..

오늘 눈바디 대회 제출을 한 번 해봐야겠다. -> efficient_unit(d3) 제출함 오늘부터 글자 검출 대회 시작인데 강의를 너무 대충 본 것 같아 다시 한 번 제대로 봐야겠다. -> 진행하는데 있어서 근본적인 부분부터 해결해야하는데 빠져서 그런지 이것저것 할게 많아져서 그런지 빠르게 결과를 얻으려고 한거 같다. -> 다시 처음부터 생각해보자. 기존 json 파일이 있는데 annotation 작업 결과물에 있는 annotation.json은 뭐지... -> 기존 json 파일에 추가하는 거겠군...