토리의 데굴데굴 공부일기

https://arxiv.org/pdf/1706.03762.pdf 0. Abstract지배적인 sequence transduction 모델들은 인코더와 디코더를 포함한 복잡한 RNN 혹은 CNN에 기반하고 있다. 가장 성능이 좋은 모델들도 인코더와 디코더를 attention 기법으로 연결하고 있다. 이 논문에서는 새로운 단순한 네트워크 구조인 Transformer를 제안한다. Transformer는 오직 attention 기법만을 기반으로 하고 있다. 두개의 기계 번역 task는 이 모델들이 병렬화가 가능하고 학습에 소요되는 시간이 현저히 적지만 최고의 성능을 가진다는 것을 보여준다. WMT 2014 English-to-French 번역 task에서는 new single-model SOTA를 달성함. (..

2주차: GAN - 2014Generative Adversarial Networks(GAN)논문 원문: https://arxiv.org/pdf/1406.2661.pdf0. Abstract‘경쟁’하는 과정을 통해 generative model을 추정하는 새로운 프레임워크 제안2개의 모델 학습Generative Model(생성 모델), G : training data의 분포를 모사함 → discriminative model이 구별하지 못하도록Discriminative model(판별 모델), D : sample 데이터가 G로부터 나온 데이터가 아닌 실제 training data로부터 나온 데이터일 확률을 추정G를 학습하는 과정은 D가 sample 데이터가 G로부터 나온 가짜 데이터와 실제 training 데..

1주차: AlexNet-2012ImageNet Classification with Deep Convolutional Neural Networks논문 원문https://papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf0. AbstractImageNet LSVRC-2010 대회에서 1000개의 클래스의 120만개의 고해상도 이미지를 분류를 위해 깊은 dnn을 훈련했다. 이 대회에서 테스트 데이터로 37.5%와 17.0%로 1등과 5등의 오류율을 달성했다. 신경망은 6천만 개의 파라미터와 650,000개의 뉴런, 몇몇은 3개의 max 풀링층과 연결된 5개의 합성곱층, 그리고 마지막은 softmax인 3개의 완전연결 층으로 구성되..

강의 일시: 07.28.금 강의자: 박유민 조교님 0. 인공지능 분류 인공지능 > 머신러닝 > 딥러닝 -머신러닝: feature extraction, 파라미터 튜닝을 사람이 해야함. -딥러닝: 많은 수의 데이터를 넣으면 모델이 알아서 함 1. 머신러닝 기계학습 분류 지도학습: 입력 출력 값의 데이터 관계 데이터의 형태에 따라 아래 두가지로 나뉨 이산적 → 분류 연속적 → 회귀 ex) 선형 회귀 : x와 y와의 관계에 따라 선형 관계 모델링 결정 트리: 트리와 같은 구조를 만들어서 임계값에 따라 데이터를 분할 서포트 벡터 머신 : 클래스 간의 마진을 최대로 하는 선을 찾는 모델 비지도학습: 데이터의 숨겨진 구조나 데이터 간의 관계 및 패턴을 발견 ex) 클러스터링: 비슷한 특성을 가진 샘플들끼리 묶는 방법..