일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- 우분투
- A100
- sudoer
- netplan
- 패스워드초기화
- ethtool
- CUDA
- 엔비디아 도커
- uname
- passwd
- V100
- sysstat
- python
- 리눅스 기본명령어
- 모니터링
- 도커 설치
- ifconfig
- grub
- 우분투 22.04 패스워드 초기화
- TensorFlow
- Ubuntu 22.04
- NGC
- dmesg
- TAIL
- nvidia
- Cat
- docker
- 도커
- nvidia-docker
- 우분투패스워드초기화
- Today
- Total
또이리의 Server Engineer
TensorFlow install (NVIDA NGC) 텐서플로우 설치 본문
Tensorflow install (NVIDIA NGC) 텐서플로우 설치
TensorFlow nvidia-docker install
오늘은 docker를 통하여 간단하게 tensorflow를 설치해보겠습니다. 도커를 이용해서 텐서플로우를 사용하실 거라면, 엔비디아 드라이버, 도커-ce, nvidia-docker만 설치를 하면 됩니다.
엔비디아 드라이버 설치
엔비디아 드라이버를 설치하는 가장 간단한 방법은 레포지터를 추가하여 설치하는 방법입니다. 설치하고자 하는 서버가 가 인터넷에 연결되어 있다면 아래와 같이 진행하면 됩니다.
테스트 OS는 ubuntu 16.04.7 LTS server 입니다. 그래픽카드 즉, GPU는 RTX 3090입니다.
root@ubuntu:~# apt-add-repository ppa:graphics-drivers/ppa
Fresh drivers from upstream, currently shipping Nvidia.
## Current Status
Current long-lived branch release: `nvidia-430` (430.40)
Dropped support for Fermi series (https://nvidia.custhelp.com/app/answers/detail/a_id/4656)
Old long-lived branch release: `nvidia-390` (390.129)
For GF1xx GPUs use `nvidia-390` (390.129)
For G8x, G9x and GT2xx GPUs use `nvidia-340` (340.107)
For NV4x and G7x GPUs use `nvidia-304` (304.137) End-Of-Life!
Support timeframes for Unix legacy GPU releases:
https://nvidia.custhelp.com/app/answers/detail/a_id/3142
## What we're working on right now:
- Normal driver updates
- Help Wanted: Mesa Updates for Intel/AMD users, ping us if you want to help do this work, we're shorthanded.
## WARNINGS:
This PPA is currently in testing, you should be experienced with packaging before you dive in here:
Volunteers welcome!
### How you can help:
## Install PTS and benchmark your gear:
sudo apt-get install phoronix-test-suite
Run the benchmark:
phoronix-test-suite default-benchmark openarena xonotic tesseract gputest unigine-valley
and then say yes when it asks you to submit your results to openbechmarking.org. Then grab a cup of coffee, it takes a bit for the benchmarks to run. Depending on the version of Ubuntu you're using it might preferable for you to grabs PTS from upstream directly: http://www.phoronix-test-suite.com/?k=downloads
## Share your results with the community:
Post a link to your results (or any other feedback to): https://launchpad.net/~graphics-drivers-testers
Remember to rerun and resubmit the benchmarks after driver upgrades, this will allow us to gather a bunch of data on performance that we can share with everybody.
If you run into old documentation referring to other PPAs, you can help us by consolidating references to this PPA.
If someone wants to go ahead and start prototyping on `software-properties-gtk` on what the GUI should look like, please start hacking!
## Help us Help You!
We use the donation funds to get the developers hardware to test and upload these drivers, please consider donating to the "community" slider on the donation page if you're loving this PPA:
http://www.ubuntu.com/download/desktop/contribute
More info: https://launchpad.net/~graphics-drivers/+archive/ubuntu/ppa
Press [ENTER] to continue or ctrl-c to cancel adding it
root@ubuntu:~# apt-add-repository ppa:graphics-drivers/ppa
다음과 입력하시고 엔터를 누르시면 레포지터리가 등록됩니다.
레포지터리가 등록 되었다면, apt-get update를 진행하여 목록을 업데이트합니다.
root@ubuntu:~# apt-get update
Hit:1 https://download.docker.com/linux/ubuntu xenial InRelease
Hit:2 http://ppa.launchpad.net/graphics-drivers/ppa/ubuntu xenial InRelease
Hit:3 https://nvidia.github.io/libnvidia-container/stable/ubuntu16.04/amd64 InRelease
Hit:4 http://us.archive.ubuntu.com/ubuntu xenial InRelease
Get:5 http://security.ubuntu.com/ubuntu xenial-security InRelease [109 kB]
Hit:6 https://nvidia.github.io/nvidia-container-runtime/stable/ubuntu16.04/amd64 InRelease
Get:7 http://us.archive.ubuntu.com/ubuntu xenial-updates InRelease [109 kB]
Hit:8 https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64 InRelease
Get:9 http://us.archive.ubuntu.com/ubuntu xenial-backports InRelease [107 kB]
Fetched 325 kB in 2s (145 kB/s)
Reading package lists... Done
root@ubuntu:~#
이제 apt-get install 명령어로 엔비디아 드라이버를 설치할 수 있습니다.
apt-get install nvidia- 까지 타이핑 하시고 tab 키를 누르시면 현재 설치 가능한 nvidia driver version이 화면에 표시됩니다.
ubuntu18.04 나 20.04에서는 apt-get install nvidia-driver-까지 타이핑하셔야 설치 가능한 드라이버 버전이 표시됩니다.
root@ubuntu:~# apt-get install nvidia-
Display all 107 possibilities? (y or n)
nvidia-304 nvidia-current-dev
nvidia-304-dev nvidia-current-updates
nvidia-304-updates nvidia-current-updates-dev
nvidia-304-updates-dev nvidia-docker
nvidia-331 nvidia-docker2
nvidia-331-dev nvidia-experimental-304
nvidia-331-updates nvidia-experimental-304-dev
nvidia-331-updates-dev nvidia-libopencl1-304
nvidia-331-updates-uvm nvidia-libopencl1-304-updates
nvidia-331-uvm nvidia-libopencl1-331
nvidia-340 nvidia-libopencl1-331-updates
nvidia-340-dev nvidia-libopencl1-340
nvidia-340-updates nvidia-libopencl1-340-updates
nvidia-340-updates-dev nvidia-libopencl1-346
nvidia-340-updates-uvm nvidia-libopencl1-346-updates
nvidia-340-uvm nvidia-libopencl1-352
nvidia-346 nvidia-libopencl1-352-updates
nvidia-346-dev nvidia-libopencl1-361
nvidia-346-updates nvidia-libopencl1-361-updates
nvidia-346-updates-dev nvidia-libopencl1-367
nvidia-352 nvidia-libopencl1-375
nvidia-352-dev nvidia-libopencl1-384
nvidia-352-updates nvidia-libopencl1-410
nvidia-352-updates-dev nvidia-libopencl1-415
nvidia-361 nvidia-libopencl1-418
nvidia-361-dev nvidia-libopencl1-430
nvidia-361-updates nvidia-modprobe
nvidia-361-updates-dev nvidia-nsight
nvidia-367 nvidia-opencl-dev
nvidia-367-dev nvidia-opencl-icd-304
nvidia-375 nvidia-opencl-icd-304-updates
nvidia-375-dev nvidia-opencl-icd-331
nvidia-384 nvidia-opencl-icd-331-updates
nvidia-384-dev nvidia-opencl-icd-340
nvidia-410 nvidia-opencl-icd-340-updates
nvidia-410-dev nvidia-opencl-icd-346
nvidia-415 nvidia-opencl-icd-346-updates
nvidia-415-dev nvidia-opencl-icd-352
nvidia-418 nvidia-opencl-icd-352-updates
nvidia-418-dev nvidia-opencl-icd-361
nvidia-430 nvidia-opencl-icd-361-updates
nvidia-430-dev nvidia-opencl-icd-367
nvidia-cg-dev nvidia-opencl-icd-375
nvidia-cg-doc nvidia-opencl-icd-384
nvidia-cg-toolkit nvidia-opencl-icd-410
nvidia-common nvidia-opencl-icd-415
nvidia-container-runtime nvidia-opencl-icd-418
nvidia-container-runtime-hook nvidia-opencl-icd-430
nvidia-container-toolkit nvidia-persistenced
nvidia-cuda-dev nvidia-prime
nvidia-cuda-doc nvidia-profiler
nvidia-cuda-gdb nvidia-settings
nvidia-cuda-toolkit nvidia-visual-profiler
nvidia-current
root@ubuntu:~# apt-get install nvidia-
해당 OS에서는 nvidia-430 버젼까지만 표시가 됩니다. 스토리 작성 당시 460 버전까지 나왔는 것을 홈페이지에서 확인했습니다.
우분투 18.04에서도 460 버젼까지 레포지터리 등록으로 설치할 수 있습니다. 16.04는 430 버전 이후로 레포지터리 등록이 안되고 있는 것 같습니다.
여하튼 우분투에서는 인터넷만 연결되어 있다면, 이렇게 간단하게 엔비디아 드라이버 설치가 가능합니다.
저는 RTX 3090을 사용하기 때문에 엔비디아 홈페이지에서 455버젼을 다운로드 받아서 설치했습니다.
위의 사진은 드라이버 설치 이후 gpu burn을 실행 한 상태입니다.
이제 엔비디아 드라이버 설치가 완료 됬습니다. 도커를 설치하겠습니다.
도커 설치
도커 설치 또한 매우 간단합니다.
sudo apt-get update
sudo apt-get -y install \
apt-transport-https \
ca-certificates \
curl \
software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo apt-key fingerprint 0EBFCD88
sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"
sudo apt-get update
sudo apt-get -y install docker-ce
엔비디아 도커 설치
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
sudo apt-key add -
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | \
sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
위의 명령어들을 스크립트로 사용하셔도 되고, 그대로 복사 붙여 넣기로 명령어 프롬프트에 사용하셔도 설치 가능합니다.
도커, 엔비디아 도커 설치 후
systemctl restart docker.service로 도커를 재시작합니다.
systemctl status docker.service로 도커 서비스를 확인합니다.
위의 사진과 같이 Active: active (running) 상태이면 도커 서비스가 정상 작동하는 것입니다.
텐서플로우 이미지 당겨오기
docker pull tensorflow/tensorflow:latest-gpu
docker pull nvcr.io/nvidia/tensorflow:20.12-tf2-py3
컨테이너 생성, 실행
docker run --runtime=nvidia -it --rm nvidia/cuda nvidia-smi
docker run --gpus all -it --rm nvidia/cuda nvidia-smi
docker run --runtime=nvidia -it --rm tensorflow/tensorflow:latest-gpu
docker run --gpus all -it --rm tensorflow/tensorflow:latest-gpu
로컬 볼륨 마운트
docker run --runtime=nvidia -it --rm -v /root:/root nvcr.io/nvidia/tensorflow:20.12-tf2-py3
docker run --gpus all -it --rm -v /root:/root nvcr.io/nvidia/tensorflow:20.12-tf2-py3
벤치마크 다운로드
git clone https://github.com/tensorflow/benchmarks.git
참고사이트
nvidia driver download
https://www.nvidia.co.kr/Download/index.aspx?lang=kr
docker install
https://docs.docker.com/engine/install/
nvidia-docker install
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker
tensorflow install
https://www.tensorflow.org/install/docker
ngc tensorflow
https://ngc.nvidia.com/catalog/containers/nvidia:tensorflow
'Linux Engineer' 카테고리의 다른 글
리눅스 파일보기 명령어 - cat, more, less, head, tail (2) | 2021.03.28 |
---|---|
Linux time / date 설정 명령어 - 날짜 / 시간 (0) | 2021.02.16 |
FIO test - NVMe / SSD / HDD 속도 테스트 (0) | 2020.12.27 |
리눅스 ls 명령어 - 기본 명령어 (0) | 2020.12.09 |
우분투 패스워드 초기화 ubuntu passwd reset (5) | 2020.11.25 |