JADE's Repository

Library Induction Problem은 새로운 Data에 대해서도 일반화된 성능을 보여주기위해 새로운 Library(function 또는 operator로 이루어진)를 만드는 문제이다. 아래의 각 논문들을 통해 이 문제를 어떻게 해결했는지 살펴보았다. [paper] Houdini: Lifelong learning as program synthesis program synthesis란 library의 function이나 operator를 synthesizing하여 computer program을 자동으로 생성하는 것을 말함 ML과 program synthesis를 결합한 Houdini를 제안 Houdini는 pre-defined concept에만 제한되는 것이 아닌 코드 예제를 분석하여 새로운 p..

Implicit concept detection Sketch encoding sketch S는 $\mathbb L^0$ primitives와 constraint의 sequence로 나열될 수 있다. 각 $\mathbb L^0$인 instance $t^0$는 type, parameter, reference의 list로 나누어진다. 그리고 각 token category는 특정 embedding module이 사용된다. 예를들어 paramter가 scalar 값인 경우 vector로 embedding되기 전에 finite bin으로 quantization 된다. (angle: 30 bins, length: 20 bins, coordinate: 80 bins) # https://github.com/yyuezhi..

Introduction 오늘날 Parametric CAD modeling이 mechanical CAD 설계의 표준이다. Parametric CAD modeling 이란 직접 치수를 계산하고 입력하여 drawing하거나 3D modeling을 한다는 것을 의미한다. 이때 drawing한 CAD sketch는 다양한 3D를 만들어 낼 수 있도록 사용된다. 위 사진처럼 CAD sketch는 서로 다른 relationship(일치, 평행, 접선 등)에 의해 구속된 primitive geometric elements(선, 호, 점 등)으로 구성되어 있다. (a)에 나와있는 것처럼 arc와 line은 tangent되어 있고 각 끝점들은 coincident(일치)되어있다고 한다. 하지만 실제로 autodesk inv..

A theory for unifying link prediction heuristics Definition 1. (Enclosing subgraph) graph $G = (V, E)$ $x, y \in V$ $G^{h}_{x,y}$ = h-hop enclosing subgraph for (x, y) Theorem 1. high-order heuristics를 학습하면 small h도 실현 가능 γ-decaying heuristic가 h-hop enclosing subgraph로 아주 잘 근사할 수 있음 거의 모든 high-order heuristics가 γ-decaying heuristic으로 통합될 수 있음 Code 아래 깃헙 코드를 확인해보면 dgl 라이브러리를 사용하여 간단하게 dgl.node_su..

Introduction 학습된 인간은 spatial memory, logic, imagination을 사용하기 때문에 spatial reasoning task에서 좋은 결과를 보여준다. 하지만 deep network의 spatial reasoning은 아직 부족하다. image classification, object detection, segmentation과 같은 task에서 사용하는 sota depp network는 좋은 성능을 보여주었지만 view consistency (모델의 다양한 뷰가 일관된 결과를 출력하는 것)과 camera pose와 같은 spatial information에 대해서는 어렵다. 위처럼 SPARE3D dataset을 사용하여 첫 번째로 spatial reasoning tas..

Improving Transformer Backbone Design for Better Spotting Self-Attention with Neighbor Awareness Self-attention within k Neighbors 가장 가까운 k개의 neighbor token들에대해서 attention 연산을 수행 local feature를 사용하여 각 graphic entity들에대해 최적화할 수 있고 임의 크기의 CAD drawing에도 확장할 수 있음 최소 거리는 모든 entity들 간의 시작점과 끝점을 확인하여 계산 model capacity를 향상시키기위해 nearest token 개수를 늘리는 것이 좋다고 하며 architecture에 있는 4개의 stage는 다음 stage에서 연산할 수..

Methodology Tokenizing with Graphical Primitives 래스터 이미지에서 feature map을 추출하기위해 HRNetV2-W48 모델을 사용 graphical primitive들(호, 선 등)로 분해 bilinear로 feature vector를 interpolation primitive의 중간 위치 좌표를 feature map에 projection Figure 3 (b)에 나타난 것처럼 feature map을 추출할 때에만 래스터 이미지를 사용하고 이외에는 CAD Drawing(vector image)을 사용한다. 또한 그림에서 vertex alignment라는 부분은 2, 3 과정이라 생각되며 코드를 확인해보면 pytorch의 grid_sample 함수로 2번 과정을..

Introduction 1.1. A Primer for CAD Panoptic Symbol Spotting Symbol은 엔지니어링, 전기, 건축 등의 도면을 그릴때 사용을 하는데 이 Symbol을 spotting(detection)하는 것은 결정적인 역할을 한다. 건축에서 2D CAD 도면은 정확한 geometric과 단면도의 semantic information으로 구성되어있어 3D 모델이 효율적으로 정확하게 만들어질 수 있게 해준다. 규칙적인 픽셀 그리드에 arrange된 다른 이미지들과는 달리 CAD 도면들은 graphical primitives(호, 원, 다각선 등)으로 이루어져있다. CAD 도면에서 occlusion(선이 연결되어있는지 끊겨있는지), cluster, apperance varia..

What is wrong with backpropagation backpropagation의 주된 한계점 중 하나는 learning과 inference가 따로 따로 수행된다는 것이다. neural network의 weights를 맞추기위해 training 알고리즘은 inference를 멈추고 backpropagation을 수행해야한다는 말이다. 하지만 실제로 real world에서의 뇌는 끊임없이 정보를 받으며 "perceptual system은 real time으로 inference와 learning을 수행해야한다"라고 말한다. 또한 backpropagation은 forward pass 에서 미분이 가능하지 않을때 수행되지 않는다. 이것은 "forward pass에 black box를 삽입하면 blac..

2.4. Algorithmic implementation 가장 중요한 단계는 "dimensioning, 각 뷰에서의 shape 식별, 각 뷰에서의 object의 rotation과 translation, 모든 뷰에서 결합한 part들 (isometric 뷰를 말하는 것 같음), SCAD 파일의 tree 생성, 3D point cloud 생성" 이 있다. 2.4.1. Dimensioning of objects 이미지에서는 object의 길이, 픽셀의 강도를 알아내는데 사용된다. 그래서 만약 view들마다 다른 pixel의 강도가 있다고 하면 shape의 dimension을 알아내기 불가능하다. (실질적으로 카메라로 찍을 경우 pixel의 강도가 제각각이다...) Figure 4에서처럼 object의 초록색으..