paper review (5) 썸네일형 리스트형 [논문 리뷰/컴퓨터비전] Vision Transformer(ViT) Abstract Transformer는 자연어처리 분야를 완전히 장악한 표준 모델이 되었으나 컴퓨터 비전에서는 Transformer의 활용이 제한적이었다. 비전에 self attention을 적용하려는 이전 연구들은 convolutional network와 함께 사용하거나 convolutional network의 전체 구조에서 몇몇 요소들만 대체하는 식으로 사용되었다. ViT는 CNN에 의존하지 않고 순수한 transformer가 image patch의 시퀀스에 다이렉트로 적용되어 image 분류 task에서 좋은 성능을 보일 수 있음을 밝혔다. 큰 데이터셋에 pre-trained 시킨 후 작거나 중간의 image recognition 벤치마크 데이터셋에 전이 학습을 할 때 ViT는 기존 CNN SOTA.. [논문 리뷰/컴퓨터비전] FaceNet Abstract & Introduction 각각의 얼굴 이미지를 128차원으로 임베딩하여 이미지에 대한 feature를 구한 후 유클리드 공간에서 임베딩 간 거리를 구한다. 즉, 각 이미지의 임베딩 결과의 거리를 이미지 간 유사도로 사용하여 Face Recognition과 Clustering을 하는 모델이다. 기존 얼굴 인식 접근 방법은 CNN을 사용하여 classification layer를 학습한 후 중간 단계 레이어의 출력값을 사용하였는데, FaceNet은 triplet loss를 통해 임베딩 자체를 다이렉트로 최적화하여 CNN을 훈련한다. 임베딩을 계산한 후 다이렉트하게 task를 해결하는데, Face Verification(두 사람이 같냐 다르냐?)은 두 임베딩 사이의 거리에 threshold를.. [논문 리뷰/자연어처리] Attention Is All You Need Abstract RNN을 제거하고 Attention만 사용하는 모델, Transformer에 대해 소개한다. 기계 번역 작업에 대한 실험 결과, 해당 모델은 병렬 처리가 가능하고 학습 속도가 상당히 단축되었다. 번역 대회에서 SOTA를 달성하였다. Introduction RNN, 특히 LSTM, GRU는 시퀀스 모델링이나 기계 번역 문제 등에서 SOTA를 달성하였다. 하지만 RNN의 순차적 계산 방법으로 병렬화를 제한하며 길이가 긴 시퀀스에 대해서 메모리 제약으로 배치를 제한시킨다. Factorization tricks 나 conditional computation을 사용한 최근 연구는 계산 효율성을 상당히 높였지만 여전히 본질적인 문제는 남아있다. Attention mechanism은 input, ou.. [논문 리뷰/강화학습] Playing Atari with Deep Reinforcement Learning 1. Abstract 소개 강화학습을 사용해 high-dimensional sensory input으로부터 성공적으로 control 정책을 학습시킨 첫번째 딥러닝 모델을 소개한다. 모델 Input이 raw pixels이고 output은 미래의 보상을 예측하는 value function인 변형된 Q-learning을 학습시킨 CNN 모델이다. 학습 환경 7개의 Atari 게임에 학습시켰고, 모델 구조나 학습 알고리즘에 추가적인 튜닝 없이 적용시켰다. 성능 6개의 게임에서 이전의 모든 접근보다 좋은 성능을 보였고, 3개의 게임에서 인간을 뛰어넘는 성능을 보였다. 2. Introduction 이전의 강화학습 문제점 Vision이나 speech와 같은 high-dimensional sensory inputs으로.. [논문 리뷰/추천시스템] NCF(Neural Collaborative Filtering) ABSTRACT 몇년간 음성 인식, 컴퓨터 비전, 자연어처리 등이 Deep Neural Network에 의해 큰 성공을 보인 것에 반해 추천시스템은 상대적으로 Deep Neural Network 에 있어 덜 부각되었다. 해당 논문은 Neural Network를 사용하여 implicit feedback을 기반으로 하는 Collaborative Filtering의 핵심 문제점을 해결하고자 한다. Collaborative Filtering에서 내적을 신경망으로 대체한 프레임워크 NCF를 소개한다. 실제 데이터에 실험한 내용을 통해서 NCF의 성능이 기존 방식들을 뛰어넘는 성능을 가짐을 논문에서 보여준다. KEYWORDS Collaborative Filtering Neural Networks Deep Learn.. 이전 1 다음
