[Docker][ShellScript]Nginx.LoadBalancer-Nodejs : 엔진엑스로 nodejs에 로드밸런싱하기

Kamangs 2019. 10. 8. 20:43

2019. 10. 8. 20:43

728x90

이 포스팅 분류는 Docker를 정확히 어떻게 사용할지를 다루지 않는다.

대신 Docker로 특정 상황에 어떻게 환경을 구축해야하는지의 예제를 담고 있다.

만약 이 Docker에 대해서 어떻게 관리하는 지를 알고싶다면 인터넷을 검색을 활용하거나

필자의 블로그에서 Software-Docker를 확인해주기를 바란다.

현재 여기 업로드 되어있는 모든 예제들은 필자의 github repository에 올라와있다.

그 주소는 아래와 같다.

https://github.com/kukaro/Eris-DockerExampleTemplate

예제를 직접 확인하고 싶다면 해당 repository를 참조하라.

nginx는 로드 밸런서로도 많이 사용한다. 위의 경우 nginx에 두개의 nodejs(두 서버는 완벽하게 동일)서버에 붙혀져있다.

위를 명령어 하나로 실행하고 싶다면??

바로 필자처럼 하는 방법이 있다.

프로젝트 구조는 위와 같다.

필요없는 소스가 많으니 필요한것만 보도록하자.

#!/usr/bin/env bash

MY_ADDRESS1=`ipconfig getifaddr en0`
MY_ADDRESS1=${MY_ADDRESS1}
PORT_NUMBER1=4000

MY_ADDRESS2=${MY_ADDRESS1}
PORT_NUMBER2=5000

#run myubuntu instance
docker build -t mynginx --build-arg PORT_NUMBER1=${PORT_NUMBER1} --build-arg MY_ADDRESS1=${MY_ADDRESS1} --build-arg PORT_NUMBER2=${PORT_NUMBER2} --build-arg MY_ADDRESS2=${MY_ADDRESS2} ./mynginx/
docker build -t myserver ./myserver/
PORT_NUMBER1=${PORT_NUMBER1} MY_ADDRESS1=${MY_ADDRESS1} PORT_NUMBER2=${PORT_NUMBER2} MY_ADDRESS2=${MY_ADDRESS2} docker-compose up -d

init.sh에서는 현재 ip와 각각의 was(nodejs)에서 사용할 포트번호를 선택해준다.

하나는 4000으로, 하나는 5000으로 정했다.

나의 주소는 ipconfig로 가져오는데 이는 맥에만 있고 리눅스의 경우 ifconfig에서 적당히 가져와주면된다.

docker build -t mynginx --build-arg PORT_NUMBER1=${PORT_NUMBER1} --build-arg MY_ADDRESS1=${MY_ADDRESS1} --build-arg PORT_NUMBER2=${PORT_NUMBER2} --build-arg MY_ADDRESS2=${MY_ADDRESS2} ./mynginx/

nginx쪽을 빌드한다.

조금 긴데 잘라서 보자.

--build-arg PORT_NUMBER1=${PORT_NUMBER1} --build-arg MY_ADDRESS1=${MY_ADDRESS1} --build-arg PORT_NUMBER2=${PORT_NUMBER2} --build-arg MY_ADDRESS2=${MY_ADDRESS2}

--build-arg는 변수를 던질 수 있다.

이러면 Dockerfile에서는 ARG로 변수를 받을 수 있다.

PORT_NUMBER1=${PORT_NUMBER1} MY_ADDRESS1=${MY_ADDRESS1} PORT_NUMBER2=${PORT_NUMBER2} MY_ADDRESS2=${MY_ADDRESS2} docker-compose up -d

docker-compose를 동작할 때는 사용할 변수를 앞에 적어줘야한다.

마찬가지로 docker-compose에서 던진 변수는 docker-compose.yml에서 ${}로 사용할 수 있다.

먼저 nginx를 보도록 하자.

FROM ubuntu:latest
MAINTAINER kukaro <justkukaro@naver.com>
RUN apt-get update
RUN apt-get install -y openssh-server
RUN mkdir /var/run/sshd

#set password
RUN echo 'root:root' |chpasswd

#replace sshd_config
RUN sed -ri 's/^#?PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config

#make .ssh
RUN mkdir /root/.ssh

RUN apt-get clean && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

#install git, vim
RUN apt-get update && apt-get install -y git
RUN apt-get install -y vim

#install nodejs
RUN apt-get install -y nodejs
RUN apt-get install -y npm
RUN apt-get install -y curl

#setting vim
RUN git clone https://github.com/VundleVim/Vundle.vim.git
RUN mkdir -p /root/.vim/bundle
RUN mv Vundle.vim /root/.vim/bundle
ADD ./.vimrc /root/
RUN vim -c 'PluginInstall' -c 'qa!'
RUN cd /root/.vim/bundle/vim-prettier && npm install

#install nginx
RUN apt-get install -y nginx
ADD ./config/default /etc/nginx/sites-available
ADD ./run/ /root

#install js beautify
RUN npm -g install js-beautify

ARG PORT_NUMBER1
ARG MY_ADDRESS1
ARG PORT_NUMBER2
ARG MY_ADDRESS2
RUN sed -ri 's/MY_ADDRESS1/'${MY_ADDRESS1}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/PORT_NUMBER1/'${PORT_NUMBER1}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/MY_ADDRESS2/'${MY_ADDRESS2}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/PORT_NUMBER2/'${PORT_NUMBER2}'/' /etc/nginx/sites-available/default

EXPOSE 22 80 8080

CMD ["/usr/sbin/sshd", "-D"]

길기는 한데 필자는 vim이나 ssh처럼 다른 필요없는것도 있어서 필요한 부분만보자.

FROM ubuntu:latest
MAINTAINER kukaro <justkukaro@naver.com>

기본 이미지는 우분투로 동작한다.

RUN apt-get update

업데이트 한번하고

#install nodejs
RUN apt-get install -y nodejs
RUN apt-get install -y npm

nodejs와 npm을 설치한다.

#install nginx
RUN apt-get install -y nginx
ADD ./config/default /etc/nginx/sites-available
ADD ./run/ /root

그 다음 nginx를 설치하고 필자가 만든 설정파일인 default와 run의 쉘 스크립트를 이미지로 붙혀넣는다.

그럼 sites-available의 defualt를 보자.

upstream myserver {
    server MY_ADDRESS1:PORT_NUMBER1;
    server MY_ADDRESS2:PORT_NUMBER2;
}

server {
    listen 80;

    location / {
        proxy_pass http://myserver;
    }
}

upstream으로 서버를 선언하고 서버에는 proxypass를 해준다.

보면 host가 다른 MY_ADDRESS1과 PORT_NUMBER1으로 되어있는데 이 문자열을 대체하줄 것이다.

ARG PORT_NUMBER1
ARG MY_ADDRESS1
ARG PORT_NUMBER2
ARG MY_ADDRESS2

init.sh에서 던졌던 변수를 지정한다.

RUN sed -ri 's/MY_ADDRESS1/'${MY_ADDRESS1}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/PORT_NUMBER1/'${PORT_NUMBER1}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/MY_ADDRESS2/'${MY_ADDRESS2}'/' /etc/nginx/sites-available/default
RUN sed -ri 's/PORT_NUMBER2/'${PORT_NUMBER2}'/' /etc/nginx/sites-available/default

그 다음 sed 명령어를 실행해준다. 위의 경우 r옵션은 정규표현식, i옵션은 백업을 하는것을 의미한다.

그래서 위를 해석하자면 앞의 문자열을 뒤의 문자열로 대체하라는 것이다.

그래서 실제 실행할때는 default는 고쳐져서 대체된다.

#!/usr/bin/env bash

# Run nginx
nginx

# Start sshd
/usr/sbin/sshd -D

나중에 docker-compose에서는 init.sh를 실행한다.

nginx를 데몬으로 켠다음에 ssh를 켜는건데 사실 우리가 ssh안쓰면 안켜도된다.

이제 서버쪽을 보자. nodejs로 만들었다.

FROM ubuntu:latest
MAINTAINER kukaro <justkukaro@naver.com>
RUN apt-get update
RUN apt-get install -y openssh-server
RUN mkdir /var/run/sshd

#set password
RUN echo 'root:root' |chpasswd

#replace sshd_config
RUN sed -ri 's/^#?PermitRootLogin\s+.*/PermitRootLogin yes/' /etc/ssh/sshd_config
RUN sed -ri 's/UsePAM yes/#UsePAM yes/g' /etc/ssh/sshd_config

#make .ssh
RUN mkdir /root/.ssh

RUN apt-get clean && \
    rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*

#install git, vim
RUN apt-get update && apt-get install -y git
RUN apt-get install -y vim

#install nodejs
RUN apt-get install -y nodejs
RUN apt-get install -y npm
RUN apt-get install -y curl
RUN npm install pm2 -g

#setting vim
RUN git clone https://github.com/VundleVim/Vundle.vim.git
RUN mkdir -p /root/.vim/bundle
RUN mv Vundle.vim /root/.vim/bundle
ADD ./.vimrc /root/
RUN vim -c 'PluginInstall' -c 'qa!'
RUN cd /root/.vim/bundle/vim-prettier && npm install

#install js beautify
RUN npm -g install js-beautify

#set server
ADD ./run/ /root
RUN cd /root/server && npm install

EXPOSE 22 80 8080

CMD ["/usr/sbin/sshd", "-D"]

이것도 길지만 중요한것만 보자.

FROM ubuntu:latest
MAINTAINER kukaro <justkukaro@naver.com>
RUN apt-get update

여기도 서버는 우분투로 해준다.

run안에는 서버(nodejs express) 코드들이 있다.

이를 옮겨서 실행해줘야한다. 여기서 bin.www를 잠시보자.

var port = normalizePort(process.argv[2] || '3000');
app.set('port', port);

bin/www에서 앞부분을 process.argv[2]로 받아놓자.

이는 실행할때 변수를 받는데 3번째(0번부터 카운트)거를 받는다는 뜻이다.

우리는 포트를 직접 던져줄꺼기에 이렇게 사용한다.

#install nodejs
RUN apt-get install -y nodejs
RUN apt-get install -y npm
RUN npm install pm2 -g

nodejs와 npm과 pm2를 설치한다.

nodejs를 데몬으로 실행해야하게 때문에 pm2를 사용한다.

#set server
ADD ./run/ /root
RUN cd /root/server && npm install

그 다음 root에 run아래의 스크립트(init.sh)와 server코드들을 전달한다.

그 다음 서버로 이동해서 npm install을 해준다.

서버쪽의 init.sh를보자.

#!/usr/bin/env bash

PORT_NUMBER=$1
MY_ADDRESS=$2

# run server
cd /root/server && pm2 start bin/www server -- ${PORT_NUMBER}

# Start sshd
/usr/sbin/sshd -D

보면 파라메터로 $1,$2를 받는다. 즉 우리는 쉘스크립트를 실행할 때 파라메터를 넣어줄 것이다.

근데 사실 ADDRESS는 필요없는데 어쩌다보니까 넣게 되었다.

그리고 pm2를 실행할 때 -- 후에 변수를 넣어주는데 그게 아까 위에서 bin/www에 process.env로 들어간다.

처음것이 2로시작하는데 그 이유는 [0]과 [1]은 명령어와 스크립트 이름이 들어가기 때문이다.

당연하지만 ssh는 없어도 된다.

이제 docker-compose.yml을 보자.

version: '3.3'

services:
  mynginx:
    image: mynginx
    container_name: mynginx
    command: /root/init.sh
    ports:
      - '10022:22'
      - '10080:80'
      - '18080:8080'
    expose:
      - '10022'
      - '10080'
      - '18080'

  myserver1:
    image: myserver
    container_name: myserver1
    command: /root/init.sh ${PORT_NUMBER1} ${MY_ADDRESS1}
    ports:
    - '20022:22'
    - '20080:80'
    - '28080:8080'
    - ${PORT_NUMBER1}:${PORT_NUMBER1}
    expose:
    - '20022'
    - '20080'
    - '28080'
    - ${PORT_NUMBER1}


  myserver2:
    image: myserver
    container_name: myserver2
    command: /root/init.sh ${PORT_NUMBER2} ${MY_ADDRESS2}
    ports:
    - '30022:22'
    - '30080:80'
    - '38080:8080'
    - ${PORT_NUMBER2}:${PORT_NUMBER2}
    expose:
    - '30022'
    - '30080'
    - '38080'
    - ${PORT_NUMBER2}

전체가 긴데 필요없는것도 많다.

필요한것만 보자.

services:
  mynginx:
    image: mynginx
    container_name: mynginx
    command: /root/init.sh
    ports:
      - '10022:22'
      - '10080:80'
      - '18080:8080'
    expose:
      - '10022'
      - '10080'
      - '18080'

nginx는 먼저 우리가만든 mynginx이미지를 빌드한 후 마지막에 init.sh를 실행한다.

여기서 포트는 80만 열면된다. 너머지는 테스트용이다.

myserver1:
  image: myserver
  container_name: myserver1
  command: /root/init.sh ${PORT_NUMBER1} ${MY_ADDRESS1}
  ports:
  - '20022:22'
  - '20080:80'
  - '28080:8080'
  - ${PORT_NUMBER1}:${PORT_NUMBER1}
  expose:
  - '20022'
  - '20080'
  - '28080'
  - ${PORT_NUMBER1}

서버는 1번과 2번은 똑같다. image는 우리가 빌드한 myserver로 통일하면된다. 같은내용이기 때문이다.

대신에 변수들을 넣어주는데 마찬가지로 실행할 때 쉘 스크립트를 실행하면서 변수를 넣어준다.

그러면 위의 init.sh를 실행하면서 포트번호와 자기 주소를 받게된다.

또한 여는 포트역시 변수로 정해준다.

이제 모든 준비는 끝났다.

실행해보면 부하가 양쪽으로 분산되고 있음을 확인할 수 있다.

저작자표시

'DevOps > Docker-Example' 카테고리의 다른 글

[Docker]Ubuntu-Apach-Php : php를 리눅스(우분투)에서 돌리는데 코딩하면 즉각 수정되게 (0)	2019.11.29
[Docker][ShellScript]Tomcat-Maven-Spring-Java-Ubuntu : Spring 프로젝트 개발 후 바로 배포하기 (0)	2019.07.20
[Docker]Ubuntu-Sshd : 우분투 컨테이너 실행하고 원격접속하기(ssh) (0)	2019.06.28
[Docker]Mysql.InitSql : Mysql동작시 sql읽고 db초기화하기 (0)	2019.04.21
[Docker]Apache-CodeIgniter-FrontEndPackageManager(Bower)-Php-Ubuntu (0)	2018.05.26

Kamang's IT Blog

[Docker][ShellScript]Nginx.LoadBalancer-Nodejs : 엔진엑스로 nodejs에 로드밸런싱하기

'DevOps > Docker-Example' 카테고리의 다른 글

+ Recent posts

티스토리툴바