본문 바로가기

Deep Learning Tools

맨날 까먹는 pip install "numpy
Google Cloud Platform (GCP) 과 TPU 로 한국어 ELECTRA 학습해보기출처 (작성중) 1. Electra Model 2. 데이터 수집 3. Vocab 만들기 4. GCP에서 TPU 할당 받기 5. 학습
NEURON install in linux 1. 홈페이지에서 .deb 파일 받기 2. sudo dkpg -i nrn-7.7.x86_64-linux.deb 3. sudo apt-get install libopenmpi-dev 4. sudo apt-get install libncurses5-dev 5. sudo apt-get install libreadline6-dev 6. nrnivmodl -> for compile 7. nrngui main.hoc https://www.neuron.yale.edu/neuron/download/compile_linux
한국어로 XLNet 학습해보기! 바로 얼마 전! BERT의 성능을 한참 뛰어넘는 XLNet 모델에 대한 논문과 코드가 공개되었다. 자세한 논문과 알고리즘은 차근차근 공부하기로 하고, 오늘은 무작정 XLNet 학습을 시도해보도록 하자 :-) 먼저 XLNet의 git에 들어가서 git을 clone해온다. https://github.com/zihangdai/xlnet zihangdai/xlnet XLNet: Generalized Autoregressive Pretraining for Language Understanding - zihangdai/xlnet github.com XLNet을 학습하려면 3가지의 과정을 거쳐야 한다. 1. Sentencepiece model 생성 2. 학습 데이터의 데이터화 3. 학습! 여기서 1번을 수행하기 전에..
Google Cloud Platform (GCP) 과 TPU 로 한국어 BERT 학습해보기 오늘은 GCP를 활용해서 BERT를 학습시켜보자! BERT는 tensorflow 버젼을 이용해 학습할 것이다. (https://github.com/google-research/bert) BERT를 학습시키기 위한 준비물은 다음과 같다. 1. Large corpus - 대량의 코퍼스 데이터가 필요하다. 이번 포스팅에서는 결과를 빨리 확인해보기 위해 10,000 라인으로 이루어진 소규모 학습 코퍼스를 사용해보겠다. 2. Vocab - WordPiece 알고리즘을 이용해 vocab을 얻어내야 한다. - Vocab 생성은 다음 git 코드를 이용해 만들어낼 수 있다. (https://github.com/lovit/WordPieceModel/blob/master/wordpiecemodel/bpe.py) - 영어 ..
[작성 중] Neuron의 backpropagation과 supervised learning 이번 포스팅에서는 backpropagation과 supervised learning에 대한 것을 주제로 정해보았다. 딥러닝 분야에서의 backpropagation은 supervised learning이나 feedback learning의 가장 기초가 되는 학습 원리일 것이다. 하지만 spiking neural network (SNN) 에서는 backpropagation의 설계 방식과 그 목적을 결정하기 무척 어려운 문제다. SNN은 feedfoward network를 기본으로 많이 설계되어 왔고, spike timing dependency plasticity (STDP) 와 같이 unsupervised Hebbian learning rule 이 학습 규칙으로 정의되어 설계되는 경우가 많기 때문이다. 내가..
Torch 튜토리얼 PyTorch 튜토리얼 따라하기(https://9bow.github.io/PyTorch-tutorials-kr-0.3.1/index.html) 'Tensor'는 행렬 연산을 위한 단위이다.예를 들어 초기화되지 않은 5x3 행렬을 생성할 수 있다.1234import torch x = torch.Tensor(5, 3)print(x)cstensor([[1.2901e-36, 0.0000e+00, 5.7453e-44], [0.0000e+00, nan, 3.0352e+32], [1.3733e-14, 6.4076e+07, 2.0706e-19], [7.3909e+22, 2.4176e-12, 1.1625e+33], [8.9605e-01, 1.1632e+33, 5.6003e-02]])또한 행렬의 연산도 지원한다. 12y ..
Nengo에서 PES learning을 이용해 supervised learning 구현해보기 PES learning의 경우, synapse 조절을 통해 target neuron의 발화를 모사할 수 있도록 학습한다.그래서 PES learning을 이용한 간단한 supervised learning을 구현해보자. Network의 구조는 다음과 같다.위 구조를 보면, postsynaptic neuron의 경우 presynaptic neuron의 input과, white Gaussian noise를 입력으로 받는다. Postsynaptic neuron의 경우엔 1초마다 주기적으로 발화하도록 input을 받는다.목적은, PES 학습을 통해 noise input의 synapse를 약화시키는 것이다. 1234567891011121314151617181920212223242526272829303132333435..

티스토리툴바