Long Short-Term Memory

LSTM

GRU 보다 좀 더 복잡하고 강력한 memory cell

LSTM 은 GRU 에 비해 gate 가 많아서 성능이 좋지만, 계산량이 많아서 network 사이즈를 늘리기에는 부담이 크다.

B) The Figure of LSTM

단일 cell 모양

multiple cells

C) GRU 와 차이점

• GRU 와 달리 cell state 를 update 하기 위한 두 개의 gate ${\Gamma }_u$, ${\Gamma }_f$ 를 가진다.
• relevant gate 가 없고 output gate ${\Gamma }_o$ 가 존재한다.
• GRU 는 $c^{<t>}=a^{<t>}$ 이지만, LSTM 에서는 $a^{<t>}$ 를 위해 output gate 와 tanh function 를 적용한다.

D) The Gates of LSTM

Output gate ${\Gamma }_o$ 는 출력 또는 다음 cell unit 으로 넘길 $a^{<t>}$ 의 정도를 결정한다.
${\Gamma }_u$ is a vector of dimension equal to the number of hidden units $a^{<t>}$ in the LSTM.

E) LSTM forward Propagation

• Update Gate: ${\Gamma }_u=\sigma \left(W_u\left[a^{<t-1>},x^{<t>}\right]+b_u\right)$
• Forget Gate: ${\Gamma }_f=\sigma \left(W_f\left[a^{<t-1>},x^{<t>}\right]+b_f\right)$
• Output gate: ${\Gamma }_o=\sigma \left(W_o\left[a^{<t-1>},x^{<t>}\right]+b_o\right)$
• ${\tilde{c}}^{<t>}=\tanh \left(W_c\left[a^{<t-1>},x^{<t>}\right]+b_c\right)$
• $c^{<t>}={\Gamma }_u\ast {\tilde{c}}^{<t>}+{\Gamma }_f\ast c^{<t-1>}$
• $a^{<t>}={\Gamma }_o\ast \tanh (c^{<t>})$

F) Peephole Connection

peephole connection 이란, 각 gate 의 weight 에 곱해질 vector 에 이전 cell state 를 포함하는 방법을 말한다. 즉, $[a^{<t-1>},x^{<t>}]$ 를 $[a^{<t-1>},x^{<t>},c^{<t-1>}]$ 로 변경하는 방식이다.

G) Related

H) References