ubuntu 20.04 세팅하기[gpu 분석 세팅, jupyter notebook]
우분투에 tensorflow 와 pytorch를 설치해보자.
아래 명령어를 통해 nvidia의 잔여 찌꺼기를 모두 제거하자.
sudo apt-get --purge remove nvidia*
아래 명령어를 통해 내게 맞는 드라이버 목록을 확인하자.
ubuntu-drivers devices
위에서 처럼 recommended 로 추천이라고 적혀있다.
명령어로 다운받기 위해 다운받을 리퍼지토리를 등록하자.
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
아래 명령어를 통해 설치 가능한 드라이버 목록을 확인 할 수 있다.
apt-cache search nvidia | grep nvidia-driver-450
sudo apt-get install nvidia-driver-450
설치가 완료되면 재부팅하자.
sudo reboot
만약 설치 중 문제가 발생하면 아래 명령어를 사용합시다.
sudo apt --purge autoremove nvidia*
아래 명령어로 자동 인스톨 또한 가능합니다.
ubuntu-drivers autoinstall
아나콘다를 설치하자.
www.anaconda.com/distribution/
"cd /설치된 경로" 명령어로 경로를 이동한 뒤 다음 명령어를 실행하자.
sudo bash Anaconda3-2020.07-Linux-x86_64.sh
엔터 치라고 하니 Enter
라이센스에 동의합니까는 yes가 국룰
아나콘다 경로는 디폴트로 하겠습니다.
아나콘다 명령어가 터미널 아무데서나 실행되게 하겠느냐 라는 명령어 입니다. yes
conda create --name kerasGPU keras-gpu python=3.6
conda create -n tf1_14 tensorflow-gpu=1.14 keras-gpu python=3.6
conda create --name [새로운 가상환경이름] --clone [복제하려는 가상환경이름]
conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch
pytorch.org/홈페이지에서 맞는 환경의 명령어를 받으세요.!
PyTorch
An open source deep learning platform that provides a seamless path from research prototyping to production deployment.
pytorch.org
tensorflow gpu check
import tensorflow as tf
tf.test.is_gpu_available()
import torch
torch.cuda.is_available()
torch.cuda.current_device()
torch.cuda.get_device_name(0)
conda install catboost
conda install -c conda-forge lightgbm
ligth GBM gpu 버전 설치
github.com/microsoft/LightGBM/blob/master/docs/Installation-Guide.rst#build-gpu-version
microsoft/LightGBM
A fast, distributed, high performance gradient boosting (GBT, GBDT, GBRT, GBM or MART) framework based on decision tree algorithms, used for ranking, classification and many other machine learning ...
github.com
병렬처리를 하려면 cmake 가 필요한거 같다.
아래명령어는 cmake설치 명령어인데 아래로 설치하면 애러가 뜨는 것 같다.
sudo apt install cmake
https://cmake.org/downlaod홈페이지에서 다운로드를 받고 압축 풀기 및 설치를 해보자.
tar -xvzf 해당파일.tar.gz
cd 해당파일
./bootstrap --prefix=/usr/local
에러뜨면 아래 명령어
apt-get install libssl-dev
make
make install
vi ~/.bashrc
PATH=$PATH:/usr/local/bin/
source ~/.bashrc
cmake --version
사이트를 보면 이외에도 필요한 것들이 있는데
OpenCL, libboost를 설치해 달라고 나온다.
sudo apt-get install ocl-icd-libopencl1 ocl-icd-opencl-dev libboost-dev libboost-system-dev libbost-filesystem-dev
를 설치해준다.
설치가 끝났다면
git clone --recursive https://github.com/microsoft/LightGBM
cd LightGBM
mkdir build; cd build
cmake -DUSE_GPU=1 ..
make -j4
git clone --recursive https://github.com/microsoft/LightGBM.git
cd LightGBM/python-package
python setup.py install
해당명령어로 설치해주면 된다.
conda install -c anaconda mxnet-gpu
conda install scikits.cuda
xgboost gpu 설치
git clone --recursive https://github.com/dmlc/xgboost
cd xgboost
git submodule init
git submodule update
make -j4
eagle705.github.io/articles/2018-06/XGBoost-%EC%A0%95%EB%A6%AC
XGBoost 정리 | eagle705's Note
요즘 Kaggle에서 가장 핫하다는
eagle705.github.io
conda install jupyter notebook
conda install -c conda-forge jupyterlab
python
from notebook.auth import passwd
passwd()
'sha1:...............'을 출력할 텐데 저장 해두고 조금있다 입력.
jupyter notebook --generate-config
내부ip 확인하기
sudo apt install net-tools
ifconfig
2번째 줄 inet 옆에 값
주피터 노트북 설정하기
vi ~/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip = '내부ip'
c.NotebookApp.open_browser = False
c.NotebookApp.password = u'sha1:...............'
c.NotebookApp.port=8888
c.NotebookApp.notebook_dir=u'/home/ducj/data'
c=get_config()
주피터 노트북 서버 항상 켜진상태로 두기
sudo jupyter notebook --allow-root
ctrl+z
bg
disown -h
sudo ufw allow 8686
주피터 노트북 목록보기
sudo jupyter notebook list
주피터노트북 끄기
sudo jupyter notebook stop 8686
gpu 상태 체크
watch -n 5 nvidia-smi -a --display=utilization