Deep Learning Tools/Tensorflow 썸네일형 리스트형 맨날 까먹는 pip install "numpy Google Cloud Platform (GCP) 과 TPU 로 한국어 ELECTRA 학습해보기출처 (작성중) 1. Electra Model 2. 데이터 수집 3. Vocab 만들기 4. GCP에서 TPU 할당 받기 5. 학습 한국어로 XLNet 학습해보기! 바로 얼마 전! BERT의 성능을 한참 뛰어넘는 XLNet 모델에 대한 논문과 코드가 공개되었다. 자세한 논문과 알고리즘은 차근차근 공부하기로 하고, 오늘은 무작정 XLNet 학습을 시도해보도록 하자 :-) 먼저 XLNet의 git에 들어가서 git을 clone해온다. https://github.com/zihangdai/xlnet zihangdai/xlnet XLNet: Generalized Autoregressive Pretraining for Language Understanding - zihangdai/xlnet github.com XLNet을 학습하려면 3가지의 과정을 거쳐야 한다. 1. Sentencepiece model 생성 2. 학습 데이터의 데이터화 3. 학습! 여기서 1번을 수행하기 전에.. Google Cloud Platform (GCP) 과 TPU 로 한국어 BERT 학습해보기 오늘은 GCP를 활용해서 BERT를 학습시켜보자! BERT는 tensorflow 버젼을 이용해 학습할 것이다. (https://github.com/google-research/bert) BERT를 학습시키기 위한 준비물은 다음과 같다. 1. Large corpus - 대량의 코퍼스 데이터가 필요하다. 이번 포스팅에서는 결과를 빨리 확인해보기 위해 10,000 라인으로 이루어진 소규모 학습 코퍼스를 사용해보겠다. 2. Vocab - WordPiece 알고리즘을 이용해 vocab을 얻어내야 한다. - Vocab 생성은 다음 git 코드를 이용해 만들어낼 수 있다. (https://github.com/lovit/WordPieceModel/blob/master/wordpiecemodel/bpe.py) - 영어 .. (펌) Tensorflow로 word2vec 구현하기 http://excelsior-cjh.tistory.com/156http://solarisailab.com/archives/374 Tensorflow로 10분만에 만드는 auto-encoder (http://curiousily.com/data-science/2017/02/02/what-to-do-when-data-is-missing-part-2.html) Autoencoder는 데이터의 입력 값만 주어진 상태로 학습하는 unsupervised learning의 일종이다. 그 구성은 input data에 대한 encoder, 그리고 decoder로 구성되어 있다.최종적으로 신경망은 output data가 input data와 유사하도록 학습을 수행한다. 구조 만큼이나 tensorflow로 만드는 것도 아주 간단하다. 1) 필요한 library import 학습 데이터로는 역시 만만한 MNIST로 하자 1234567891011from __future__ import division, print_f.. 이전 1 다음
