728x90
전체 글
544

Ubuntu 18.04 Install

Alienware-R13에서의 설치 기준으로 기록한다. USB에 Ubuntu를 넣고 설치를 진행하면 된다. Ubuntu를 설치할 때 발생한 문제 1. USB를 인식하지 못함 BIOS에서 Secure boot를 disable로 변경 2. Disk를 인식하지 못함 BIOS에서 RAPID ON을 disable로 변경 (다른 메인보드에서는 따로 드라이버를 받아서 설치해야하는 것 같다.) 인터넷 연결이 안돼!! 유선인데!! linux kernel을 upgrade 해주면 된다. 현재 최신 버전은 5.19이다. 하지만 최신 버전으로 설치할 때 하위 버전의 패키지들을 설치할 때 에러가나서 5.11로 설치해주었다. cd /tmp/ wget -c https://kernel.ubuntu.com/~kernel-ppa/main..

Temp 2022.09.07

[Pillow] Improve handling of file resources

__del__ 함수는 python의 ResourceWarnings를 예방하기위해 열려있는 file handler를 닫는 용도로 사용된다. 하지만 __del__ 함수는 다음과 같은 단점들을 가지고 있다. 1. __del__ 함수는 참조된 object의 개수가 0이 될 때까지 호출되지 않는다. 그래서 resource handler가 필요 이상으로 사용되거나 열러있다. 2. __del__함수는 system exit가 될 때 실행이 보장되지 않는다. (Python documentation) It is not guaranteed that __del__() methods are called for objects that still exist when the interpreter exits. 3. __del__ 함수..

Temp 2022.09.05

[Ubuntu 18.04] Failed to start NVIDIA Persistence Daemon

nvidia-driver를 설치하거나 삭제하고 재부팅할때 "Failed to start NVIDIA Persistence Daemon"라는 에러가 뜨면서 더 이상 진행이 안되는 경우가 발생한다. 이럴 때는 Alt + F2를 누르면 터미널 창으로 넘어간다. 그리고 초기 Ubuntu를 설치할때 설정한 ID, PW를 입력하면 된다. nvidia에 문제가 있는 것 같으니 관련 패키지들을 모두 삭제하고 nvidia-driver를 다시 설치한다. sudo apt-get remove --purge '^nvidia-.*' sudo apt-get remove --purge '^libnvidia-.*' sudo apt-get remove --purge '^cuda-.*' sudo apt install nvidia-driv..

Temp 2022.09.05

[ICDAR 2015] Scene Text Detection Metric

ICDAR 2015에서 어떤 metric을 사용했는지 알아보았다. Tightness-Aware Evaluation Protocol for Scene Text Detection 에서는 다음과 같이 ICDAR 2015에서는 Pascal VOC와 같은 metric을 사용하였다고 나온다. Foundational Concepts Pascal VOC metric을 알아보기전에 몇 가지 기본 개념들을 보자. Confidence score: anchor box안에 object가 포함되어있을 확률 Intersection over Union (IoU): intersection / union 으로 계산된다. Confusion Matrix: 다음 표를 확인 Precision Recall Recall과 Precision을 각각..

Deep Learning 2022.08.28

Inductive Bias

Inductive Bias Inductive Bias는 주어지지 않은 입력의 출력을 예측하는 것이다. 즉, 일반화의 성능을 높이기 위해서 만약의 상황에 대한 추가적인 가정(Additional Assumptions)이다. 일반화 성능이 높은 모델은 Inductive Bias를 가지게된다. 다시 말해 보지 못한 데이터에 대해서도 귀납척 추론이 가능하도록하는 알고리즘이 가지고 있는 가정들의 집합을 Inductive Bias라고 한다. Relational Inductive Biases Inductiva Bias는 Relational Inductive Bias와 Non-relational Inductive Bias로 나뉜다. Relational의 의미는 input element와 output element의 관계..

Deep Learning 2022.08.20

[Paper] Next-ViT: Next Generation Vision Transformer for Efficient Deployment inRealistic Industrial Scenarios

Instroduction 최근 ViT는 다양한 computer vision 분야에서 주목을 받고 많은 성공을 이루어냈다. 하지만 deployment 관점의 ViT는 CNN보다 훨씬 느리기때문에 여전히 CNN이 압도하고 있다. ViT의 높은 latency를 해결하기위해 많은 연구가 이루어졌다. 예를 들어 Swin Transformer, PVT(Pyramid Vision Transformer)는 MHSA(Multi-Head Self Attention)의 quadratic하게 증가하는 연산량을 개선시켰다. 이외에도 MobileViT, Efficientformer, Coatnet 등은 convolution block들과 Transformer block들을 결합하여 accuracy와 latency의 trade-o..

Deep Learning 2022.08.15

[Paper] Tokens-to-Token ViT

Introduction ViT가 ImageNet과 같은 midsze dataset (양이 중간 크기인 데이터셋)에서 CNN보다 떨어지는 이유를 다음 두 가지로 꼽았다. 간단한 토큰화 (hard하게 patch split하는 것을 말함)는 중요한 local structure를 모델링할 수 없고 train 효율이 떨어진다. 따라서 더 많은 학습 샘플들을 필요로 한다. ViT의 attention bachbone은 고정된 연산량과 제한된 학습 샘플은 제한된 feature들로 이어진다. 위 가설을 검증하기위해 ViT-L/16과 ResNet50에서 학습된 feature들의 차이를 다음과 같이 시각화하였다. (1) ResNet (2) ViT (3) T2T-ViT 내부 그림 ResNet과 T2T-ViT에서 녹색 박스를 ..

Deep Learning 2022.08.09
728x90