1 min read
...Mult 는 Rₖ 를 대각행렬로 두어 파라미터를 r 개로 줄이지만 대칭 관계만 표현할 수 있게 되고, ComplEx 는 복소수 임베딩으로 대각 형태를 유지하면서 비대칭까지 표현한다. PyTorch-BigGraph 는 대규모 그래프 임베딩 학습 프레임워크로, RESCAL 을 포함한 여러 스코어 함수를 선택지로 제공한다. References
PyTorch-BigGraph, knowledge bases
PyTorch-BigGraph
기존 그래프 알고리즘과의 비교 전통적인 그래프 관련 알고리즘들의 limitation 이 존재 기존 알고리즘들: BFS, DFS, Dijkstra algorithm, Prim algorithm etc.
CUDA def run cuda benchmark(num iters: int, profile: bool = False) -> float: torch.cuda.synchronize() if profile: torch.cuda.cudart().cudaProfilerStart() start time =...
Graph Embedding 은 node, edge, subgraph, 전체 graph 를 vector 로 표현하는 방법이다.
한줄 요약 지식 그래프를 3차원 텐서로 놓고, 관계마다 하나의 행렬을 두어 분해하는 모델이다. 이 모델을 RESCAL 이라고 부른다. Nickel et al., ICML 2011. 데이터를 어떻게 놓나 지식 그래프의 사실은 (주어, 관계, 목적어) 세 쌍으로 적힌다.
Random walk는 graph 위에서 현재 node의 이웃 중 하나를 확률적으로 선택해 이동하는 과정이다. graph의 node를 state로 보고, edge를 이동 경로로 보면 Markov Chain의 한 형태로 이해할 수 있다.
핵심 요약 Graphical Model (확률 그래프 모델): 확률 분포를 그래프 구조로 표현하는 방법. 노드는 랜덤 변수, 엣지는 변수 간 의존 관계를 나타낸다.
Abstract statistical relational learning 에서 link prediction 문제를 latent factorization 을 통해 푸는 방식을 제안한다.
Personalized PageRank Personalized PageRank(PPR)는 PageRank에서 “다시 시작할 위치”를 특정 seed node 또는 seed set에 집중시키는 방법이다.
Related Link 정의 dynamic graphs represented as sequences of timed events 를 학습하기 위한 general encoder 구조 소개 real-world 그래프들은 dynamic 하고 시간에 따라 진화한다.
graph/Graph Neural Network에서 자주 발생하는 문제 중 하나로, 네트워크의 layer 수가 깊어질수록 각 정점의 임베딩이 점차 비슷해지는 현상을 말한다.