Self Attention 썸네일형 리스트형 [머신러닝 논문 리뷰] Self-Attention with Relative Position Representations 논문 링크: Self-Attention with Relative Position Representations 앞서 Attention Augmented Convolutional Networks, Music Transformer 논문에 등장했던 Relative Position Encoding 개념이 처음 등장한 논문이다. 처음 Transformer 구조가 등장했을때는 Sinusoids 함수를 이용한 absolute positional encoding 방식을 사용했다. 본 논문은 그것을 대체할 Relative Positional encoding 방법을 소개하고 있다. medium에서 Relative Positional encoding에 대해 좋은 글이 있어서 링크를 올려본다. https://medium.com.. 더보기 이전 1 다음