Inductive Bias

Inductive Bias

Inductive Bias는 주어지지 않은 입력의 출력을 예측하는 것이다. 즉, 일반화의 성능을 높이기 위해서 만약의 상황에 대한 추가적인 가정(Additional Assumptions)이다.

 

일반화 성능이 높은 모델은 Inductive Bias를 가지게된다. 다시 말해 보지 못한 데이터에 대해서도 귀납척 추론이 가능하도록하는 알고리즘이 가지고 있는 가정들의 집합을 Inductive Bias라고 한다.

 

Relational Inductive Biases

Inductiva Bias는 Relational Inductive Bias와 Non-relational Inductive Bias로 나뉜다. Relational의 의미는 input element와 output element의 관계에 초점을 맞춘 것을 말한다.

Fully Connnected layers

FCN은 가장 일반적은 블록의 형태로 각 layer의 element들이 모두 연결되어있다. (All-to-all) 이렇게 모든 element들이 모두 연결되어있으면 어떤 출력 요소던지 영향을 미칠 수 있기때문에 Inductive Bias가 약하다.

 

Convolutional layers

CNN은 보통 입력 크기보다 작은 Convolution filter를 사용하여 Convolution Operation을 수행한다. 이런 연산에서 Entity간의 Relation이 locality (서로 가까운 element 간에 존재)를 가정하는 것으로 볼 수 있다. 그리고 Translation Invariance 특성을 가지는데 이것은 입력과 동일하게 계속해서 관계가 유지된다는 것을 말한다. 즉, 어떤 특징을 가지는 요소들이 서로 모여있는지가 중요한 문제에서 좋은 성능을 보여준다는 의미이다.

 

RNN, GNN

이외에 RNN에서도 유사하게 Sequential(시계열 특징)과 Temporal Invariance(동일한 순서로 입력이 들어오면 출력도 동일)의 특성을 가지고 GNN은 Permutational Invariance의 특성을 가진다.

 

[Reference]

https://enfow.github.io/paper-review/graph-neural-network/2021/01/11/relational_inductive_biases_deep_learning_and_graph_netowrks/

https://arxiv.org/pdf/1806.01261.pdf

https://re-code-cord.tistory.com/entry/Inductive-Bias%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C