Zzong's Notes

MLP

1 min read

  • 다층 퍼셉트론 (multi-layer perceptron, MLP) 는 퍼셉트론으로 이루어진 층 (layer) 여러 개를 순차적으로 붙여놓은 형태입니다.
    • MLP 는 정방향 인공신경망 (feed-forward deep neural network, FFDNN) 이라고 부르기도 합니다.

링크된 언급

1
attention function

...on 과 multiplicative(dot product) attention 이 있다. 두 함수의 차이점은 compatibility function 으로 한개의 hidden layer 가 있는 MLP 를 사용하는가 (additive) 아니면, softmax function 을 사용하는가 (multiplicative) 의 차이점이 있다. dot product 가 더 계산은 빠르지만, key ...