금융IT

가상화 데스크톱 서비스(VDI)에서 사용자 VM에 GPU를 할당하기 위해,

아래와 같은 GPU License를 참고하면 도움이 될듯합니다.

보다 정확한 정책은 Nvidia 및 VMware 공식 사이트를 참고하시기 바랍니다.

상세한 구매 비용은 영업 담당자를 통해 확인하기 바랍니다.

NVIDIA 가상 GPU 솔루션 구매 방법 | NVIDIA

1. 가상 GPU 소프트웨어 제품 선택

- VDI 사용자 GPU License 용도로는 vPC, vWS 정도가 적절해보임

- 사용자당 GPU 2GB 이하 할당한다면 vPC 라이선스로 충분해보임

- 사업 구축시, CCU 라이선스 측정 기준을 고려한 VDI 설계 필요

https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/solutions/resources/documents1/Virtual-GPU-Packaging-and-Licensing-Guide.pdf

2. 비즈니스에 적합한 라이선스 모델 선택

- 연간 구독에는 소프트웨어 라이선스와 SUMS이 포함됨

- 영구 라이선스에는 무기한 소프트웨어 라이선스가 포함되고, SUMS은 필수이며 4년 또는 5년 단위로 증분 사용 가능

- SUMS 기간 만료시, SUMS Renewal을 통해 1년 단위로도 갱신 가능

- SUMS : Support, Upgrade and Maintenance program

- Nvidia 홈페이지 기준으로는 아래 기간 이상 사용할 경우에는 영구 라이선스 도입을 고민할만해보임

  . 가상 애플리케이션 : 4년

  . 가상 PC : 4년

  . 가상 워크스테이션 : 3년

3. NVIDIA 데이터센터 GPU 선택

1) GPU 선택

가상화를 위한 NVIDIA GPU

2) 인증서버 선택

인증된 서버 | NVIDIA GRID  | NVIDIA

- GPU 모델과 인증서버의 최대 장착 가능한 GPU 갯수 등을 종합적으로 고려

- 도입하려는 서버는 인증된 서버 목록에 있는지 확인

cesSharedRoot는 mmsysmonitor을 통해 모니터링 됩니다.

gpfs.snap 명령어를 통해 /var/adm/ras/mmsysmonitor.log가 생성됩니다.

만약 해당 파일 용량이 너무 크다면 아래와 같이 정리가 가능합니다.

root@server01:[/var] df -Pg

root@server01:[/var] ls

aacct    cim     dt     empty     ha     lib     log     mmfs     ncs     opt     perf     probevue     security     spool

statmon     symapi     adm     ct     ecc     esa     hacmp     locks     lost+found     msgs     news     pconsole

preserve     run     snapp     suma     tmp     websm

root@server01:[/var] cd adm

root@server01:[/var/adm] du -sm ./* | sort -nr | head -10

3220.53 ./ras

226.67   ./cron

88.59     ./syslog

...

root@server01:[/var/adm] cd ras

root@server01:[/var/adm/ras] du -sm ./* | sort -nr | head -10

3210.64 ./mmsysmonitor.log

3.26 ./livedump

1.00 ./errlog

...

root@server01:[/var/adm/ras] cat /dev/null > ./mmsysmonitor.log

root@server01:[/var/adm/ras] df -Pg /var

root@labs--10000:/home/project/lab-env/DockerLab# docker run -p 5432:5432 --name mypostgres -e POSTGRES_PASSWORD=700103 -d postgres

root@labs--10000:/home/project/lab-env/DockerLab# docker ps -a

root@labs--10000:/home/project/lab-env/DockerLab# docker exec -it mypostgres /bin/bash

root@a868fc06d7b4:/#

Pod 안에 컨테이너가 있음

쿠버네티스는 컨테이너/서비스를 어떻게 관리할 것이냐

Pod 단위로 관리함

Pod를 관리하기 위한 전체 아키텍처라고 이해하면 된다.

Public Kubernetes Services…

Microsoft Azure, AWS, Google Cloud Platform 등…

노드만 관리하면 된다.

Node1에서 작업

[node1 ~]$ kubectl get nodes

Node2에서 작업

[node1 ~]$ kubectl get nodes

[node1 ~]$ kubectl get nodes

[node1 ~]$ kubectl config view

[node1 ~]$ kubectl create deployment my-home --image=ghcr.io/acmexii/edu-welcome:latest

deployment.apps/my-home created

[node1 ~]$ kubectl get all

[node1 ~]$ kubectl delete deployment.apps/my-home

[node1 ~]$ kubectl get all

[node1 ~]$ kubectl create deployment my-home --image=nginx

[node1 ~]$ kubectl create deployment nginx --image=nginx

[node1 ~]$ kubectl get nodes

[deployment.yaml]

[service.yaml]

root@devops:~# uname -a

Linux devops86 5.4.0-80-generic #90-Ubuntu SMP Fri Jul 9 22:49:44 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

root@devops:~# cat /etc/*release

DISTRIB_DESCRIPTION="Ubuntu 20.04.2 LTS"

## 네트워크 namespace를 만들고 생성한 namespace에 웹서버(nginx) 실행

root@devops:~# ip netns list

root@devops:~# ip netns add uengine1

root@devops:~# ip link

root@devops:~# ip link add veth0 type veth peer name veth1

root@devops:~# ip -br link

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip netns exec uengine1 ip link set dev lo up

root@devops:~# ip netns exec uengine1 ip link

# 네트워크 디바이스 연결

root@devops:~# ip link set veth1 netns uengine1

root@devops:~# ip -br link

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip address add 10.24.70.100/24 dev veth0

root@devops:~# ip netns exec uengine1 ip address add 10.24.70.101/24 dev veth1

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip -br link

root@devops:~# ip link set dev veth0 up

# namespace 디바이스 활성화

root@devops86:~# ip netns exec uengine1 ip link set dev veth1 up

root@devops:~# ip -br link

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip netns exec uengine1 ip addr

root@devops:~# ip addr

root@devops:~# ping 10.24.70.100

root@devops:~# ping 10.24.70.101

root@devops:~# ip route

root@devops:~# apt install nginx-core -y

root@devops:~# curl 127.0.0.1

root@devops:~# systemctl status nginx

root@devops:~# systemctl stop nginx

root@devops:~# curl 127.0.0.1

# 웹서버 실행(기본 80번 포트)

root@devops:~# ip netns exec uengine1 nginx -g 'daemon off;'

root@devops:~# curl localhost

root@devops:~# curl 10.24.70.101:80

## 2개의 네트워크 namespace를 만들고 생성한 namespace 간 통신 확인

root@devops:~# ip netns

root@devops:~# ip link delete dev veth0

root@devops:~# ip netns exec uengine1 ip addr

root@devops:~# ip netns add uengine2

root@devops:~# ip netns exec uengine2 ip link set dev lo up

root@devops:~# ip netns

root@devops:~# ip netns exec uengine2 ip link

root@devops:~# ip link

root@devops:~# ip link add veth1 type veth peer name veth2

root@devops:~# ip link

root@devops:~# ip link set dev veth1 netns uengine1

root@devops:~# ip link set dev veth2 netns uengine2

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip netns exec uengine2 ip -br link

#IP 할당

root@devops:~# ip netns exec uengine1 ip addr add 192.168.0.100/24 dev veth1

root@devops:~# ip netns exec uengine2 ip addr add 192.168.0.200/24 dev veth2

root@devops:~# ip netns exec uengine1 ip link set dev veth1 up

root@devops:~# ip netns exec uengine2 ip link set dev veth2 up

root@devops:~# ip netns exec uengine2 ip -br link

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip netns ls

root@devops:~# ip netns exec uengine1 ping 192.168.0.200

root@devops:~# ip netns exec uengine1 ping 192.168.0.100

## 가상스위치를 만들어 2개의 namespace를 연결하고 default 도메인(로칼서버)과 통신

root@devops:~# ip netns exec uengine1 ip link delete dev veth1

root@devops:~# ip netns exec uengine2 ip -br link

#브릿지 만들기

root@devops:~# ip link add br0 type bridge

root@devops:~# ip link

root@devops:~# ip link set br0 up

root@devops:~# ip link

# cable 만들기

root@devops:~# ip link add br1 type veth peer name veth1

root@devops:~# ip link add br2 type veth peer name veth2

root@devops:~# ip link

# 케이블 꽂기

root@devops:~# ip link set veth1 netns uengine1

root@devops:~# ip link set veth2 netns uengine2

root@devops:~# ip netns exec uengine1 ip addr add 192.168.0.101/24 dev veth1

root@devops:~# ip netns exec uengine2 ip addr add 192.168.0.102/24 dev veth2’

root@devops:~# ip netns exec uengine1

root@devops:~# ip netns exec uengine1 ip -br link

root@devops:~# ip netns exec uengine1 ip link set dev veth1 up

root@devops:~# ip netns exec uengine2 ip link set dev veth2 up

root@devops:~# ip netns exec uengine2 ip -br link

# 브릿지 디바이스 연결

root@devops:~# ip link set br1 master br0

root@devops:~# ip link set br2 master br0

root@devops:~# ip netns exec uengine1 ip -br link

# 브릿지 디바이스 활성화

root@devops:~# ip link set dev br1 up

root@devops:~# ip link set dev br2 up

root@devops:~# ip netns exec uengine2 ip -br link

root@devops:~# ip netns exec uengine1 ping 192.168.0.102

root@devops:~# ip netns exec uengine1 ip addr

root@devops:~# ip netns exec uengine2 ip addr

root@devops:~# ip link

# 통신이 안될 경우 ip forward 정책 변경 : DROP -> ACCEPT

root@devops:~# iptables -L |grep FORWARD

root@devops:~# iptables --policy FORWARD ACCEPT

root@devops:~# ip netns exec uengine1 ping 192.168.0.102

root@devops:~# ip netns exec uengine2 ping 192.168.0.101

root@devops:~# ping 192.168.0.100

root@devops:~# ip addr

root@devops:~# ping 192.168.0.101

root@devops:~# ip route

root@devops:~# route

# br0를 라우터로 활성화

root@devops:~# ip addr add 192.168.0.1/24 brd 192.168.0.255 dev br0

root@devops:~# ip addr

root@devops:~# ip addr show br0

root@devops:~# route

root@devops:~# ping 192.168.0.101

root@devops:~# ping 192.168.0.102

root@devops:~# ip addr

root@devops:~# ip netns exec uengine1 ping 10.0.0.4

root@devops:~# ip netns exec uengine1 ping 192.168.0.1

root@devops:~# ip netns exec uengine1 route

## 만들어진 2개의 namespace를 외부와 통신

root@devops:~# ip netns exec uengine1 ping 8.8.8.8

root@devops:~# ip addr show eth0

root@devops:~# ip netns exec uengine1 ping 10.0.0.4

root@devops:~# ip route

root@devops:~# ip netns exec uengine1 ip route

# namespace에서 br0를 라우터로 등록

root@devops:~# ip netns exec uengine1 ip route add default via 192.168.0.1

root@devops:~# ip netns exec uengine2 ip route add default via 192.168.0.1

root@devops:~# ip netns exec uengine ip route

root@devops:~# ip netns exec uengine1 ip route

root@devops:~# ip netns exec uengine1 ping 10.0.0.4

root@devops:~# ip netns exec uengine1 ping 8.8.8.8

root@devops:~# sysctl -a|grep forward

# namespace에서 외부IP 통신을 위한 namespace 대역 masquerade 적용 1/2

root@devops:~# sysctl -w net.ipv4.ip_forward=1

net.ipv4.ip_forward = 1

# namespace에서 외부IP 통신을 위한 namespace 대역 masquerade 적용 2/2

root@devops:~# iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -j MASQUERADE

root@devops:~# iptables -L

root@devops:~# ip netns exec uengine1 ping 8.8.8.8

root@devops:~# ip netns exec uengine1 curl google.com

root@devops:~# mkdir -p /etc/netns/uengine1/

# namespace 외부 DNS 통신 확인

root@devops:~# echo 'nameserver 8.8.8.8' > /etc/netns/uengine1/resolv.conf

root@devops:~# ip netns exec uengine1 curl google.com

root@devops:~# mkdir -p /etc/netns/uengine2

root@devops:~# echo 'nameserver 8.8.8.8' > /etc/netns/uengine2/resolv.conf

root@devops:~# ip netns exec uengine2 curl google.com

## 지우는 명령어

Ip link delete br0

Ip link delete uengine1

# 네임스페이스 지우는 명령어

ip netns delete uengine1

2020년 12월 경에 대부분의 브라우져에서 Adobe Flash 에 대한 지원 및 사용이 종료되었음.

이에 따른 vCenter 권고사항은 아래와 같습니다.

1) vCenter 버전을 6.7U3 or later 버전으로 업그레이드 (윈도우/어플라이언스 모두)

2) 비권고 사항이지만 브라우져의 업데이트를 진행하지 않고 지속적으로 Flash Client 을 사용 (브라우져의 자동 업데이트 기능 중지필요)

작업 목적 : VMware VCSA 6.0 -> 6.7 업그레이드

1) 작업 영향도

- ESXi 서버 및 VM : 영향도 없음

- HA 설정 유무에 대한 VM 서비스 : 영향도 없음

- vCenter 서비스 : 일시 중단됨

2) 패치 정보

AS-IS : VCSA 6.0 U3b (Release Date : 2017-04-13)

TO-BE : VCSA 6.7 U3N (Release Date : 2021-05-25)

3) 사전 필요 사항

- 관리망 대역 임시 IP : Upgrade시 신규 VM 생성되면서 원복 데이터 복제 과정에서 통신 가능한 임시 IP 필요

- VCSA 설치 이미지

- 관리망 대역 VM (Windows 서버) : VCSA upgrade 실패시, 해당 서버에서 작업 필요

4) 작업 절차

1. vCenter 및 ESXi 라이선스 정보 메모, 스냅샷 생성

- 호스트 라이센스 확인

- vCenter 라이센스 확인

- VCSA Power OFF 후 스냅샷 생성

2. VCSA ISO 마운트

- vCenter가 위치한 vhost에서 ISO 마운트할 것을 권고함

- vCenter 접속하여 ISO 마운트시에, 업그레이드되면서 마운트 해제될 수 있음

3. VCSA 업그레이드

- VCSA-setup 실행하여 upgrade

4. 서비스 확인

5) 원복 방안

- VCSA 업그레이드 전 원복 VM Power ON

6) 작업 실패시 FLASH EOL 대응 방안

6-1) vSphere client 사용

- 사전요구사항의 Windows VM에 vSphere client 설치

- PC에서 vSphere client 사용 가능할 수 있게 포트 방화벽 OPEN

6-2) VCSA 6.7 신규 설치

- 신규 VCSA 설치 진행 후 <리소스풀, 클러스터 등> 재구성

7) 기타 체크할 사항들

- vCenter admin 계정 패스워드 변경 여부(변경시, 연계 솔루션 영향도 여부 확인 필요)

- 기타 연계 솔루션 호환성 버전 체크 필요(백업, 스토리지 등)

- 백업솔루션 프록시 버전 호환성 체크(필요시 버전 업그레이드 필요)

https://kb.vmware.com/s/article/78589

root@devops:~# docker login

# Image가 도커에 탑재됐을 때 Container가 된다.

# Immutable 이미지를 만들고 그거 위에 새로운 걸 얹는 느낌

# Immutable 이미지에 IP 같은 것들은 들어가면 안됨

#Private host url

#Basic image

#Dockerfile … Docker build까지만 해주고, 나머지는 쿠버네티스 이용할 예정

root@labs--1234:/home/project/lab-env# pwd

root@labs--1234:/home/project/lab-env# mkdir DockerLab

root@labs--1234:/home/project/lab-env# cd DockerLab

root@labs--1234:/home/project/lab-env/DockerLab# vi index.html

root@labs--1234:/home/project/lab-env/DockerLab# vi Dockerfile

#Dockerfile로 이미지 생성

root@labs--1234:/home/project/lab-env/DockerLab# docker build -t 도커아이디/my-nginx:v1 .

#도커 이미지 목록 확인

root@labs--1234:/home/project/lab-env/DockerLab# docker images

# 도커 이미지 Push 1)

root@labs--1234:/home/project/lab-env/DockerLab# docker login

# 도커 이미지 Push 2)

root@labs--1234:/home/project/lab-env/DockerLab# docker push 도커아이디/my-nginx:v1

#컨테이너 실행

root@labs--1234:/home/project/lab-env/DockerLab# docker run --name=my-nginx -d -p 8072:80 도커아이디/my-nginx:v1

root@labs--1234:/home/project/lab-env/DockerLab# curl localhost:8072

#모든 컨테이너 한번에 삭제 (중지 후 삭제)

root@labs--1234:/home/project/lab-env/DockerLab# docker container rm $(docker ps -a -q)

# 컨테이너 종료

root@labs--1234:/home/project/lab-env/DockerLab# docker stop

#모든 컨테이너 한번에 삭제 (중지 후 삭제)

root@labs--1234:/home/project/lab-env/DockerLab# docker container rm $(docker ps -a -q)

# 실행중인 컨테이너 확인

root@labs--1234:/home/project/lab-env/DockerLab# docker ps

root@labs--1234:/home/project/lab-env/DockerLab# docker run --name=my-nginx -d -p 8087:80 도커아이디/my-nginx:v19b5bf23d92f3581c67e1164873612ce7e149a5e12793011d734639cef4a730ff

1. crontab 파일 권한 부여

[LINUX] '/etc/cron.allow' OR '/etc/cron.d/cron.allow'

[AIX] '/var/adm/cron/cron.allow'

[HP-UX] '/usr/lib/cron/cron.allow'

[Solaris] '/etc/cron.d/cron.allow'

# root계정으로 cron.allow 수정하여 해당계정 추가(한 라인에 사용자 이름 하나씩)

2. crontab 파일 권한 여부 확인 방법

#해당 사용자계정으로 로그인

#crontab -l

crontab: can't open your crontab file

-> 1) crontab 파일 존재하는지 확인 필요 2) crontab 파일 권한 확인 필요

crontab: you are not authorized to use cron. Sorry.

-> 1) cron.allow 파일에 사용자 이름 등록 필요

3. crontab 파일 존재 여부 확인 방법

#cat /var/spool/cron 하위에 계정명으로 파일이 존재

#root 계정의 crontab 파일은 '/etc/crontab' 파일을 참조함.

4. crontab 파일 설정 방법

1) crontab 목록 확인 방법

#crontab -l

2) crontab 설정 방법

#crontab -e

2-1) 다른 사용자 계정 crontab 설정 방법

#crontab -e 사용자계정명

3) crontab 삭제 방법(해당 사용자에 설정된 모든 crontab 작업 삭제)

#crontab -r

5. crontab 로그 확인 방법

# cat /var/log/cron 확인

어플리케이션에서 파일 open한 상태에서 파일 삭제가 이뤄질 때 문제가 발생 가능합니다.

-> OS 레벨에서는 해당 프로세스를 종료하면 해결됩니다.

ex) cron에 주기적으로 오래된 로그파일을 삭제하는 로직이 도는 경우에 저런 현상이 발생하기도 한다.

#df -h

명령어에서 볼 때는 사용량이 많은데

#du -sh *

명령어에서 볼 때는 사용량이 적다.

->

#lsof /postgres | grep -i delete

를 통해 나오는 프로세스에 해당하는 어플리케이션을 재시작

<OR> 프로세스 Kill

<OR> 시스템 재기동

등을 통해 조치가 가능합니다.

The df and du commands provide different system information and I can not write to a partition that df says is 100% full. Which is correct and why does the system not allow any data writes to this partition? - Red Hat Customer Portal