따배도 도커 시리즈 7] 컨테이너 관리

📌 공부 계기

추가적인 도커 공부를 위해 유튜브 따배도 도커 시리즈를 보면서 정리해 봅니다. 

목차

 

📍7-1. 컨테이너 관리하기 : 이론

공식문서 링크

Docker run reference

 

 

1️⃣ 컨테이너 하드웨어 리소스 제한 어떻게 해요?

 

컨테이너는 호스트 하드웨어 리소스의 사용 제한을 받지 않는다. (호스트의 전부 사용가능)

효율적으로 사용하기 위해서 리소스 제한을 걸어야한다.

 

Docker 명령어를 통해 제한 할 수 있는 리소스

- CPU, Memory, Disk I/O 

 

$ docker run --help

명령어에서 그 종류를 확인 할 수 있다. 

 

•  Memory 리소스 제한 

제한단위 b (바이트), k(키로바이트), m(메가바이트), g(기가바이트)로 할당

옵션	의미
--memory, -m	컨테이너가 사용할 최대 메모리 설정, 그 이상 쓰게되면 컨테이너가 스스로 킬함
--memory-swap	컨테이너의 스왑메모리[각주:1] 영역 설정 설정시 주의) 이 옵션뒤의 메모리 크기는 메모리 + 스왑메모리의 크기를 넣는다. 스왑메모리를 사용하지 않으려면 이 옵션뒤에 메모리 크기와 동일하게 적어주면 되며 만약 스왑 메모리를 설정을 따로 안하면 메모리의 2배가 설정된다.
--memory-reservation	--memory 값보다 적은 값으로 구성하는 소프트 제한 값 설정
--oom-kill-disable	OOM Killer[각주:2]가 프로세스 kill하지 못하도록 보호

$ docker	run	-d	-m 512m	nginx:1.14
			메모리 512 메가 바이트로 설정	이미지명:태그
			-m 1g --memory-reservation 500m
			해당 컨테이너는 최소 500메가 바이트를 보장받고 최대 1기가바이트 사용가능
			-m 200m --memory-swap 300m
			메모리는 200메가바이트 할당하고 스왑 뒤에 300메가 바이트를 써놨으니 200m + 300m = 500m 일까? ❌ 뒤의 300m는 앞의 200m를 포함하고 있어 실제 스왑메모리는 100m에 해당
			-m 200m --oom-kill-disable
			메모리는 200m 할당하고 물리메모리가 부족해서 oom killer가 실행됬을 때에도 이 컨테이너는 강제 종료되지 않고 실행을 보장받는다.

 

 

•  CPU 리소스 제한 

옵션	의미
--cpus	컨테이너에 할당할 최대 CPI core수를 지정. 어떤 core를 쓸지는 지정되지 않는다
--cpuset-cpus	컨테이너가 사용할 수 있는 CPU나 코어를 할당. CPU index는 0부터 시작.
--cpu--share	컨테이너가 사용하는 CPU의 상대 가중치 설정. 말그대로 CPU를 상대적으로 얼마나 사용할 수 있는지를 설정한다. 기본은 1024이다.

$ docker	run	-d	-cpus=".5"	ubuntu:20.04
			이 컨테이너는 최대 0.5개의 CPU파워 사용가능	이미지명:태그
			-cpuset-cpus 0-3
			이 컨테이너는 인덱스 0부터 3까지 해당하는 CPU가 할당
			-cpu-shares 2048
			컨테이너가 사용하는 CPU 상대 가중치를 2048로 설정 만약 다른 컨테이너가 1024라면 이 컨테이너는 다른 컨테이너에 비해 2배 사용가능

 

•  Block I/O^[각주:3] 제한

옵션	의미
--blkio-weight --blkio-weight-device	모든 컨테이너가 동작시 block I/O에 I/O 스케쥴링을 받게 되는데 여기서 Quota(쿼터/몫)를 설정할 수 있으며 100-1000까지 선택가능하다 기본은  500 weight는 일단 상대적 가중치를 의미하며 만약 다른 컨테이너가 500이고 한 컨테이너만 1000일시 I/O 스케쥴링을 다른 컨테이너에 비해 2배더 할당 받을 수 있다.  -devide가 붙은 옵션은 특정 디바이스에 대해서만 가중치를 부여한다.
--device-read-bps --device-write-bps	특정 디바이스에 대한 읽기와 쓰기 작업의 초당 제한은 kb, mb, gb 단위로 설정
--device-read-iops --device-write-iops	컨테이너의 read/write 속도의 쿼터를 설정한다 초당 쿼터를 제한해서 I/O를 발생시킨다. 설정시 0 이상의 정수로 표기하며 이 수는 아래 식의 iops 값에 해당한다.  초당 데이터 전송량 = IOPS * 블럭크기 (단위 데이터 용량)

$ docker	run	-it --rm	--blkio-weight 100	ubuntu:latest	/bin/bash
			(다른 컨테이너들이 전부 500이면) 이 컨테이너의 Block IO의 쿼터를 100으로 하여 500보다 상대적으로 적게 리소스를 할당 받겠다
			--device-write-bps /dev/vda:1mb
			디바이스 vda에 write해줄때는 최대 1메가바이트로 설정
			--device-write-iops /dev/vda:100
			디바이스 vda에 iops값 100을 할당

 

---

2️⃣ 컨테이너 사용 리소스를 확인하는 모니터링 툴이 있나요?

 

• 도커 모니터링 명령어

1) 실행중인 컨테이너의 런타임 통계 확인

docker stats [옵션] [컨테이너]

 

2) 도커 호스트의 실시간 event 정보 수집 및 출력

docker events -f container=<컨테이너명>
docker image -f container=<컨테이너명>

 

• cAdvisor

구글에서 만든 도커 모니터링 툴

GitHub - google/cadvisor: Analyzes resource usage and performance characteristics of running containers.

 

 

---

📍7-2. 컨테이너 관리하기 : 실습

 

➕ 이 실습 전에 추가로 알아둘 내용

리눅스의 부하 테스트 프로그램 중 하나 Stress

부하 테스트 프로그램 stress를 이용한 dockerfile 생성

비쥬얼 에디터로 dockerfile 생성

 

컨테이너 빌드하고 

 

아래 명령어를 치면 2개의 cpu에 작업부하를 발생시킴

stress --cpu 2

아래는 메모리 부하 테스트로 프로세스 2개와 사용할 메모리 만큼을 부하 발생시킴

stress --vm 2 --vm-bytes <사용할 크기>

 

1️⃣ 컨테이너 리소스 제한

•  메모리 리소스 제한 

$ docke run [-m 메모리크기] [--memory-wap 메모리+스왑크기] <이미지명> [명령어]
# $ docke run -m 100m --memory-swap 100m stress:latest stress --vm 1 --vm-bytes 90m -t 5s

$ docker	run	-m 100m	--memory-swap 100m	stress:latest	stress	--vm 1	--vm-bytes 90m	-t 5s
		물리메모리	물리메모리+스왑메모리	이미지	명령어 stress 90mb의 메모리 부하를 5초간

성공

100mb의 메모리를 90mb만 사용했으므로 성공적으로 실행 

하지만 만약 90mb가 아니라 150mb를 준다면?

실패

최대 메모리를 오버하여 실패가 되어 바로 컨테이너가 kill된걸 확인할 수 있다.

 

여기서 스왑메모리 옵션을 지워준다면?

성공!

왜냐하면 스왑메모리를 명령어로 설정해주지 않으면 물리메모리의 2배로 기본 설정이 되기 때문에 

--memory-swap 200m를 설정해준 것처럼 되어 정상 작동한다. 

 

🚩 트러블 (해결은 아직이고 일단 체크)

또잉?? oom killer로 테스트 해보려고 하니 당신의 kernel에서 지원을 안해 oom killer 내용을 삭제했다는 메시지가 나온다.

docker run -d -m 100m --name m4 --oom-kill-disable=true nginx

inspect로 봐도 안되어 있음

 

ubuntu 전체가 그런건 아닌거 같고 .. 검색해보니 현재 나랑 같은 22.04 LTS에서 이런 문제를 겪었다는 글을 찾을 수 있었다. 원인과 해결책은 아직이라 좀 더 조사해봐야겠다.

 

 

---

 일단 20.04 LTS에서는 정상작동하는 것 확인

docker inspect --format '{{.HostConfig.OomKillDisable}}' m4

 

또 다른 파일을 조회하여 확인 가능하다. 

cat /sys/fs/cgroup/memory/docker/컨테이너fullID/memory.oom_control

 

한데 이것도 22.04에서 시스템 디렉토리 구조가 바뀌었고, 컨테이너에 memory.oom_control이라는 파일도 없다. 

 

---

•  CPU 리소스 제한 실습 

1) cpu 확인

lscpu

버추얼박스에서 cpu2개 설정해놨기 때문에 2개 조회

 

2) CPU 할당해보기

인덱스 1인 CPU 할당하고(--cpuset-cpus 1), stress 이미지에 cpu가 2개 돌아가게 되어있어서 cpu를 1개도 바꿔주고(stress --cpu 1), 이름 c1이라는 컨테이너를 생성해(--name c1) 백그라운드(-d)로 러닝시키는 명령어 

# docker run [--cpuset-cpus cpu인덱스] [--name 컨테이너이름] [-d] <이미지명:태그> [명령어]
docker run --cpuset-cpus 1 --name c1 -d stress:latest stress --cpu 1

 

3) 확인

htop
# 이 명령어 쓰려면 아래 명령어로 htop 설치해야함
# sudo apt install htop

보면 프로세스로 stress --cpu 1이 실행되는 걸 확인할 수 있고, cpu 1번이 100퍼센트로 돌고 있는 걸 확인할 수 있다. 

으로 0번도 100퍼센트 돌아가게 하니

아까의 컨테이너랑 같이 0번과 1번 모두 100프로 돌고 있다. 

 

만약 --cpuser-cpus를 0부터 1까지로 설정하고 cpu 실행을 1개로만 설정했다면 0부터 1사이에서 그때그때 상황마다 1개만 선택해서 돌아간다.

docker run --cpuset-cpus 0-1 --name c1 -d stress:latest stress --cpu 1

 

4) cpu-share로 가중치를 줘보자

각각 cload1에 2048, cload2에 기본, cload3,4에 512 가중치를 주었다. 

# docker run [-c 가중치] [--name 컨테이너명] [-d] <이미지명:태그>

# 가중치 설정 케이스
docker run -c 2048 --name cload1 -d stress:latest
# 가중치 설정 따로 안한 기본 케이스
docker run --name cload2 -d stress:latest
# 가중치 설정 케이스
docker run -c 512 --name cload3 -d stress:latest
# 가중치 설정 케이스 (3이랑 똑같이)
docker run -c 512 --name cload4 -d stress:latest

이거 실제 가중치를 받은 만큼 알아보고 싶다!

그럼 모니터링 툴로 ㄱㄱ

 

 

---

•  Block I/O 제한 

1) block I/O 조회

lsblk

하늘색 부분이 device 이름이다

 

2) 디바이스 별 iops 설정

# docker run [-it] [--rm] [--device-write-iops /dev/디바이스이름:쿼터] <이미지명:태그> [명령어]
docker run -it --rm --device-write-iops /dev/sda:10 ubuntu:latest /bin/bash

여기서 --rm 은 컨테이너를 일회성으로 쓸때 사용하며, 컨테이너가 종료되면 컨테이너와 컨테이너 관련 리소스까지 깨끗하게 삭제하는 옵션이다. 

 

위의 명령어로  쿼터 10으로 할당된 우분투를 실행시킨 후

아래 명령어를 실행해보자

dd if=/dev/zero of=file1 bs=1M count=10 oflag=direct

* dd : data duplicator

* if : 지정한 파일(위에서는 /dev/zero)를 입력 대상으로 설정

* of : 지정한 파일(file1)을 출력 대상으로 설정

* bs : 바이트를 기준으로 하며 한번에 읽고 쓸 최대 바이트 크기 지정 

* count : 지정한 블록 수 만큼 복사

* oflag : 테스트 파일을 쓸때 사용하는 file flag를 설정, direct 경우 O_DIRECT플래그를 켜고 write()를 호출하게 되는데 이 플러그를 이용하면 파일시스템에 캐시 영역을 사용하지 않고 바로 디스크를 쓰기때문에 입출력 성능 측정할때 필요하다.^[각주:4]

10개 복사한 결과와 걸린 시간등을 알 수 있다.

쿼터를 100으로 할당해서 다시 해보면

쿼터 10일때 5.5 MB/s 밖에 안나오던게 쿼터 100이 되니 93.2MB/s 나 나온걸 확인 할 수 있다. 

 

 

---

2️⃣ 컨테이너 모니터링하기

 

1) 컨테이너 런타임 통계

컨테이너 설정 안하면 실행중인 모든 컨테이너 대상 조회

docker stats [옵션] [컨테이너]

이렇게 런타임으로 돌아가는 걸 볼 수 있다

그런데 상대적 비율로 돌아간다고 하셨는데 CPU 비율이 가중치처럼 안돌아가는 데.. 왜지.. 오히려 기본설정인 cload2가 더 많은 비율을 보인다. 

 

cpu를 하나로 고정해봐도... cload2가 더 많은 퍼센트를 차지.. 기본 설정이 뭔가 달라진걸까?

확실히 기본 설정이 달라진 듯

cload5로 가중치를 1024를 명시해주고 돌려보니 확실히 맞는 비율이 나온다. 

 

다시 cpu를 하나로 고정하지말고 테스트 해보자

cpu를 여러개 사용하면 하나로 고정했을때 보다 안정정으로 비율이 나오지 않는다. 그래도 꽤 비율이 맞는 편

 

 

---

3️⃣ cAdvisor 설치해서 사용하기

 

그리고 cAdvisor 깃헙의 명령어를 적용

 

명령어 적용해 돌리고 해당 포트로 연결하면 아래와 같은 UI로 컨테이너를 모니터링 할 수 있다. 

1.  Swap Memory
   RAM 즉 물리 메모리가 다 차게 되어 프로세스가 작업을 이어 나가지 못하고 종료되는 것을 방지하기 위해 하드디스크 공간을 이용하여 부족한 메모리를 대체할 수 있는 메모리 [본문으로]
2. OOM Killer (Out Of Memory Killer)
   리눅스 기능 중 하나로 메모리가 부족할 경우 특정 프로세스를 강제로 종료하여 메모리를 확보하는 기능 [본문으로]
3. Block I/O
   블록 장치는 개별 바이트 단위가 아닌 일정 크기(block) 단위로 접근하는 장치
   간단히 말하면 하드 디스크와 같은 대용량 저장 장치를 말한다. [본문으로]
4. 출처: https://hbase.tistory.com/21 [본문으로]