분류 전체보기 썸네일형 리스트형 [머신러닝 논문 리뷰] Self-Attention with Relative Position Representations 논문 링크: Self-Attention with Relative Position Representations 앞서 Attention Augmented Convolutional Networks, Music Transformer 논문에 등장했던 Relative Position Encoding 개념이 처음 등장한 논문이다. 처음 Transformer 구조가 등장했을때는 Sinusoids 함수를 이용한 absolute positional encoding 방식을 사용했다. 본 논문은 그것을 대체할 Relative Positional encoding 방법을 소개하고 있다. medium에서 Relative Positional encoding에 대해 좋은 글이 있어서 링크를 올려본다. https://medium.com.. 더보기 [머신러닝 논문 리뷰] Music Transformer: Generating Music with Long-Term Structure 논문 링크: https://arxiv.org/abs/1809.04281 이 논문은 이전에 리뷰했던 Attention Augmented Convolutional Networks에 쓰였던 relative position embedding이 다시 등장하기 때문에 알아두면 좋을것 같다. 본 논문에서는 language-modeling approach를 이용해 generative model for music을 training한다. 한마디로 음악의 음높이를 Token화 시킨다음 generative 모델이 이것을 가지고 다음 Sequence를 예측하는 것이다. 음악을 구별할때 pitch와 timing 사이의 상대적 거리가 특히나 중요하기 때문에 본 논문에서는 Relative Position-based Attention.. 더보기 [머신러닝 논문 리뷰] Attention Augmented Convolutional Networks 논문 링크: Attention Augmented Convolutional Networks Attention 구조는 기존 RNN와는 다르게 Parallelization이 가능해져서 많은 것들을 개선할 수 있다. 특히 Sequence 에 두 feature가 서로 interact 하기 까지의 연산량을 대폭 줄일수 있다. RNN은 Timestep 마다 implicit하게 이전 step t-1에서 t로 position에 대한 정보를 넘겨주었기 때문에 위치 정보에 대한 별다른 조치가 필요하지 않다. 하지만 Attention 구조에서는 parallelization + 이전 상태에 대한 정보 (memory cell)이 없기 때문에 position의 대한 정보를 별도로 제공해주어야 한다. 따라서 position의 대한 .. 더보기 [Information Theory] 0. 시작하기에 앞서... 현대 물리학에는 아인슈타인, 양자역학은 하이젠베르크, 전자 공학은 멕스웰, 컴퓨터 공학은 존 폰 노이만... 과학에 관심이 있어 하는 분들은 다 한번쯤 들어보았을 만한 이름들이다. 모두 각 자신의 분야의 기초를 세우신 분들이다. 통신, 정보 분야의 기반을 정립한 한 천재가 있었으니 바로 그 분은 Claude Shannon. 1948년 섀넌이 정보이론을 담은 논문을 발표했는데 그 논문이 없었으면 지금의 IT산업도 없었다고 봐도 무방하다. 게다가 인공지능, 양자 정보이론, 정보우주 같은 단어들을 들으며 Information Theory가 얼마나 앞으로도 과학계에 기여를 할지 상상할 수가 없다. 정보는 곧 미래인 것이다. 이런 시대의 트렌드와 개인적인 호기심이 합쳐져 지금부터 정보이론 공부를 시작하려고 한다. 더보기 STM32MP1으로 배우는 A7 코어와 M4 코어 RPMSG 통신 이해하기 안녕하세요! 개인블로그는 처음 운영해보는 메이슨조입니다. e4ds MAKE 라는 곳에서 우연히 STM32MP157C-DK2 보드를 얻어서 뜻밖에도 없는 리눅스 공부를 시작하게 됬습니다. 처음 STM32MP1 보드를 봤을때 했던 생각이 나네요. 이 혼종은 뭐지? 임베디드+마이크로프로세서 라는 조합이 낮설게 느껴졌습니다. 알고보니 그냥 혼종이 아닌 꽤 재미있는 물건이였습니다. 보드 내부의 arm A7코어와 cortex-m4 코어는 Bootloader에서 부터 서로 독립적으로 부팅이 가능합니다. 정보도 서로 공유할 수 있고 M4 코어가 저전력 상태에 있는 A7 코어를 wakeup 시키는 기능도 있더군요. 이제부터 천천히 STM32MP1에 대해 알아갈려고 합니다. (그리고 잊혀지는 제 책상의 NVIDIA Jet.. 더보기 이전 1 다음
