Over-smoothing
Graph Neural Network에서 자주 발생하는 문제 중 하나로, 네트워크의 layer 수가 깊어질수록 각 정점의 임베딩이 점차 비슷해지는 현상을 말한다.
즉, 레이어가 쌓일수록 서로 다른 노드 간 표현이 구분되지 않고 유사하게 수렴하는 경향이 나타나며, 이를 over-smoothing이라고 한다.
1 min read
Graph Neural Network에서 자주 발생하는 문제 중 하나로, 네트워크의 layer 수가 깊어질수록 각 정점의 임베딩이 점차 비슷해지는 현상을 말한다.
즉, 레이어가 쌓일수록 서로 다른 노드 간 표현이 구분되지 않고 유사하게 수렴하는 경향이 나타나며, 이를 over-smoothing이라고 한다.
Graph Neural Network A.1) 기존 그래프 알고리즘과의 비교 전통적인 그래프 관련 알고리즘들의 limitation 이 존재 기존 알고리즘들: BFS, DFS, Dijkstra algorithm, Prim algorithm etc.
Graph Embedding Graph Embedding 은 node, edge, subgraph, 전체 graph 를 vector 로 표현하는 방법이다.
Temporal Graph Network Related Link 정의 dynamic graphs represented as sequences of timed events 를 학습하기 위한 general encoder 구조 소개 real-world 그래프들은 dynamic 하고 시간에 따라 진화한다.
Graph Convolutional Networks B) Related C) References.
PyTorch-BigGraph Graph Neural Network 2.
Directed Acyclic Graph .
Random Walk Random walk는 graph 위에서 현재 node의 이웃 중 하나를 확률적으로 선택해 이동하는 과정이다. graph의 node를 state로 보고, edge를 이동 경로로 보면 Markov Chain의 한 형태로 이해할 수 있다.
핵심 요약 Graphical Model (확률 그래프 모델): 확률 분포를 그래프 구조로 표현하는 방법. 노드는 랜덤 변수, 엣지는 변수 간 의존 관계를 나타낸다.
Graph 기반 추천을 하는 이유 추천 시스템 내 대부분의 데이터는 그래프 구조를 가진다. real world 에서 객체들은 서로 explicit 또는 implicit 하게 연결되어 있다. 그리고 그 객체는 사용자, 아이템, 속성등 이 될 수 있다.
Personalized PageRank Personalized PageRank(PPR)는 PageRank에서 “다시 시작할 위치”를 특정 seed node 또는 seed set에 집중시키는 방법이다.