1. seminar
1 ) cross modal representation learning
두가지 이상의 데이터가 주어졌을 때, 한 가지를 기반으로 나머지 한가지 정보를 배우는 등의 방식. 쉽게 예로 vision(시각)과 audio(청각)의 데이터 두 가지를 주었을 때 오디오를 듣고 오디오에 해당하는 이미지 찾기(cross modal retriever) 과 같이 비슷하다 생각하면 된다.
본 논문에서는 modality independent 한 encoder 을 사용하였다. 이건 결국 각각 vision과 auidio 각각의 두 가지 데이터를 각각 다른 encoder를 통과시켰다고 생각하면 된다. 이후 joint embedding space에서 만나 positive pair끼리 같아지게, negative pair끼리 같아지게 MMS Loss를 적용하였다. 추가적으로 만든 embedding space에서 VQ block을 통과시킨다. 이 때, code book을 사용하였고 code book의 initialization 은 가우시안을 하였다.
2 ) Neural Design Network : Graphic Layout Generation with constraints
component와 layout을 이용해 괜찮은 graphic constraints을 뽑아내는 연구이다.
related works에는 Natural scen layout generation, graphic design layout generation 등이 있다.
2. HMR demo
HMR demo를 ubuntu에서 실행해보려 하였으나, tf2로 하면 뭐가 안돼고, tf1으로 하면 뭐가 에러가 나고 해서 일단은 내일 윈도우에서 해보고 또 안되면 colab으로 해볼 계획이다.
1. colab에서 HMR demo 실행
1 ) HMR file download ( hmr-master.zip )
2 ) colab 켜서 파일 업로드 이후
!unzip --q /content/hmr-master.zip
3 ) tensorflow 1.3.0 깔기
( 이미 2가 설치 되어있다면 unninstall 이후 1.3.0으로 재 설치)
단 opendr 0.77 먼저 받을 것 - 아니면 tensorflow=1.3.0을 깔 수 없음 , hmr github issue에 나와있는 설명
4 ) 이후 requirements.txt 에 있는 애들 다운로드 후 데모 실행해보기
!pip2 install -r requirements.txt'
!python2 demo --img_path data/coco1.png
에러는 안 나지만, <Figure size 640x480 with 6 Axes>만 나오고 그림이 안보임.
2. 수요일 세미나 때 발표하는 논문들 미리 한 번 더 훑어 보기!
1. 학부생 논문 세미나
- Keep it SMPL : Automatic Estimation of 3D human pose and Shape from a single Image
- End to end Recovery of Human Shape and Pose
- Generative Adversarial Networks
2. docker 사용해서 환경설정하기
오늘도 다시 데모를 실행해보려했으나 실패. 오늘은 docker를 설치해보았다. docker를 어떻게 쓰는지 정확하겐 모르겠어서 그런지 실패! ㅜ
tensorflow1을 쓰는건 너무 오래 전 것이라, 선배한테 환경 설정을 어케 했냐고 물어본 결과, SPIN github를 들어가서 살펴보라고 하셨다! SPIN 은 pytorch, python3 로 되어있기 때문에 이후에 코딩할 때도 편할 것이라고...
1. HMR 논문 다시 읽기
HMR을 몇 번 읽었더니 이제 조금 알 것 같은데 몇 개 질문이 생겼다.
q1. Figure2에는 camera 관련 파라미터로 T가 있는데, 실제로 본문에 설명에서는 s, R, t로 하나씩 설명이 되어있다. T=t인건가?
q2. 본문 중 'The 3D key points used for reprojection error, X(theta, beta) R^(3xp) , are obtained by linear regression from the final mesh vertices. 여기서 P가 갑자기 어디서 나온 값인지 잘 모르겠다. P? joint 개수 인걸까? X()는 3차원 joints들이 아닌가?
2. pyrender 예제 공부
SPIN이랑 HMR 코드를 조금씩 살펴보다가, pyrender와 pytorch를 이해해야 코드를 보기 편할 것 같다고 생각했다. pyrender를 실행시키는 환경은 그리 문제가 되지는 않았다. colab에서 실행시켜보았고, https://pyrender.readthedocs.io/en/latest/examples/quickstart.html 을 참고하여 여러 가지 rendering을 해보았다.
잊지 말고 런타임 유형 GPU로 바꾸기~
import os
os.environ["PYOPENGL_PLATFORM"] = "egl" #opengl seems to only work with TPU
!PYOPENGL_PLATFORM=egl python -c "from OpenGL import EGL"
print(os.environ['PYOPENGL_PLATFORM'])
그리고 이거 설치랑, requirements 설치할 때, pyglet==1.4.0b1로 바꿔서 하기!
*근데 문제는 pyrender.Viewer()이 안되는데 왜,,안되는지 모르겠다.
1. PyTorch 예제 공부
- 모두의 딥러닝 2 Lab10-1 부터 Lab10-6-2 듣고 예제 실행시켜보기
- ResNet50 구현
- 문제 없이 1),2) 는 다 잘 함.
- HMR 논문 뒷 부분 읽기
- SPIN 논문 조금 읽기
- SPIN 코드 보기
- SPIN 코드를 실행시키기 위해 pip install -r requirement.txt를 진행하면, spacepy를 설치하지 못해서 계속 에러가 난다. 어떻게 해서 spacepy-master.zip unzip해서 직접 source install했는데 scipy도 에러가 있다..
1. VIBE colab에서 demo 실행시켜보기
- 원래 sample 영상으로 실행 시켜보기
- sample 영상 말고 다른 영상으로도 실행 시켜보기.
youtube에서 다른 춤추는 영상을 넣어서 실행시켜본 결과! 생각보다 더 잘 나왔다.
2. VIBE 논문 읽기
그래서 VIBE의 논문을 읽어보던 중, LSTM을 변형한 GRU라는 모르는 내용이 나와서 공부를 하기로함.
- GRU 공부하기
3. VIBE colab 파일에서 환경설정부분만 따오기! --> HMR, SPIN 실행시 킬 수 있도록 해보기.
4. 교수님께 메일 답장드리기
1. Pytorch3d + Densepose rendering
pytorch3d로 3d human mesh를 rendering 해봄. 기본 모양은 smpl mean model를 사용했음.
2. SPIN 논문 읽기
SPIN 논문을 자세히 읽어야 어떤 점이 개선 되었는지를 보고 나도 개선 시키는데에 방향성을 좀 알수 있지 않을까 싶어 공부함. 반정도 읽음.
3. Seminar
- HuMoR: 3D Human Motion Model for Robust Pose Estimation
- Unsupervised Learning of 3D object categories from Videos in the Wild
1. 발표자료 만들기
2. SPIN 논문 마저 읽기
3. 학습.. 뭔가 학습 시켜보기..?
4. 학습 보다는 3DPW preprocessing
- tfrecords 파일 형식 읽고 쓰기 예제
1. server에서 가상환경 만들고 환경 세팅
또 neural_renderer_pytorch가 설치 에러가 났다.
- issue: pip install neural_renderer_pytorch
requirements.txt 파일에서 우선 두 가지 내용을 수정해준다.
첫 번째는, line1 에 있는 neural-renderer-pytorch를 지운다.(얘는 따로 깔면 계속 에러가 나서 일단 지우고 나중에 manual하게 설치할 것) 두 번째는, line 12에 있는 torch version을 1.6.0으로 바꾼다.
pip install -r requirements.txt
cuda 폴더 안에 있는 cpp 파일 3개에서 AT_CHECK 를 AT ASSERT로 바꾼다. export CUDA_HOME="/usr/local/cuda-10.2/"
그래서 그냥 다시 해볼 때에는 ,
torch를 spin에서 말한 대로 1.1.0 으로 깔고 , export CUDA_HOME="/usr/local/cuda-10.2"로 하고 cpp 파일 다 안 건들이고도 성공!
2. my model.py 수정
3. 특정 gpu에서 학습하는 방법 공부
4. 학습 돌리기~
참고로 conda env 중에 humanpose는 torch 1.1.0 spin 은 torch 1.6.0
1. 코드 공부 제대로 하기
2. 새벽에 돌린 코드 로스, 결과 그래프 확인하기
- 새벽에 돌린 코드의 loss 정확하게 알아보기
3. nohub 찾아보기
1. 모델 경량화 공부하기
2. resnet50보다 가벼우면서 성능이 괜찮은 논문 찾아보기
3. regression 하는 부분을 n_iter =1로 했을 때 성능 비교!
- 이건 저번에 돌려봤던게 있지만 역시...새로 돌려야할 듯 하다!
4. discriminator 부분 공부는 언제..?
5. 논문 공부
- SimpLify 꼭 다시 읽기!!!
- SPIN 다시 읽기!!~~~
- NBF
.1 내 컴터에서 서버 tensorboard 뛰우기
- 서버 명령창에서 tensorboard --logdir=$log를 치면
- 위 결과에서 나온 localhost:6008 여기로 최종적으로 갈건데
- 이제 내 컴퓨터로 돌아와서 컴퓨터 cmd 창을 연다
- ssh -L 6008:localhost:6008 urp@141.223.166.179 -p 22
- ssh -L 6008:localhost:6008 urp8@141.223.16.183 -p 22
- ssh -L 6008:localhost:6008 urp8@gpu02 -p 22
까지 하면 끝 ! 이러고 이제 크롬에서 localhost:6008 치면 tensorboard가 뜬다!
2. nohup이나 tmux 사용
nohup 사용해서 백그라운드에 실행시키기!
nohup은 따로 다운 받을 필요가 없다. 그래서 nohup python3 train.py --name train_DenseNet169 & 이렇게 하면 이제 서버상에서 돌아가게 되고
혹시 불안하면 이제 nohup.out에 로그가 다 저장되는데 이걸 켜서 볼 수도 있다. tail -f nohup.out 을 치면 된다!!
1. Prunning tutorial
pytorch prunning tutorial 따라 해보기
2. Prunning 적용시켜서 학습 시키기
Resnet50 + P
Densenet169 + P
Densenet201 + P
이렇게 세 개 결과 보기
Prunning 결과가 딱히 성능향상에는 좋지 않았기 때문에, Prunning은 경량화를 하는데에만 사용하고 우선은 DenseNet이외의 network들로 조금 더 실험 해보고자 한다.
1. MobileNetV2 로 실험
2. MobileNetV2 공부
에 정리된 내용들 기반으로 공부하기