UzukiLive 서버 현황

Vultr VC2가 같은 가격에 SSD 용량을 추가로 제공한다는 사실을 이제 깨달은 나머지(…) 전체적으로 UzukiLive 서버를 유지보수 하면서 작업을 진행했는데, 차후 서버를 옮길 필요가 있을 때 참고를 해야 할 경우가 있어서 업데이트 겸에 정리를 진행했습니다.

UzukiLive 서버란?

UzukiLive 서버는 소유중인 도메인인 ‘uzuki.live’ 라는 도메인 이름에서 파생된 서버 이름이고, Uzuki 라는 이름의 모티브는 ‘アイドルマスターシンデレラガールズ’ 의 메인 캐릭터인 ‘島村卯月'(Uzuki Shimamura) 에서 가져왔습니다.

이 서버는 2018. 12. 22 ~ 2018. 12. 25 일에 진행된 ‘UzukiLive 새 인스턴스 확장 이전'(https://pyxispub.uzuki.live/?p=1463) 으로 생성된 서버로, 기존 Vultr VC2 1Core 2GB , Vultr VC2 2Core 4GB 인스턴스를 합치고 새로 생성한 서버입니다. 리전은 Tokyo로 등록되어 있습니다.

이 서버의 목적은 개인 운용 목적의 서버로 블로그 서버 + 메일 서버 + 클라우드 서버 기능을 포함하며, 기타 안드로이드 개발에 필요한 Jenkins CI + JFrog Artifactory를 포함합니다.

그 외, 서버를 원할하게 관리하기 위한 Monitoring 스택 (cAdvisor + NodeExporter + Prometheus + Grafana) 을 구현하여 실제 프로덕션 환경에서 최소한으로 관리할 수 있는 능력에 대한 연습 서버이기도 합니다.

도메인은 NameCheap, Inc에서 등록되었고, DNS 네임서버는 dnsever에서 관리되고 있습니다.

서버 구조 개요

UzukiLive는 Vultr Cloud Compute (VC2) 의 4 CPU 8 GB 160GB SSD 기반의 클라우드에 Ubuntu 18.04.2 LTS + Docker 18.09.5 버전으로 실행중인 서버로, 현재 약 21개의 도커 인스턴스가 실행되고 있습니다.

  • Nginx – Proxy-pass, SSL (Let’s Encrypt) 연결을 위한 서비스
  • Service Layer
    • WordPress – PyxisPub 발행을 위한 워드프레스 서비스
    • Jenkins – Android 및 Docker CI/CD 작업을 위한 Jenkins 서비스
    • Artifcatory – 비공개 그레들 아키펙트 배포 및 기존 아키펙트 레포지토리에 대한 캐시 서비스
    • OwnCloud – 개인 저장용 클라우드 서비스
    • Rainloop – 메일 서버를 위한 프론트엔드 UI
  • Internal Layer
    • Docker-mailserver – 개인 이메일 ([email protected]) 및 부가 이메일 서비스를 위한 메일 서버 (IMTP(POP3)/SMTP 구현 포함)
    • Shadowbox – Jigsaw 가 개발하는 Outline 의 기반 컨테이너
    • Redis – Redis 데이터베이스, OwnCloud 전용
    • MariaDB – MariaDB 데이터베이스, WordPress 전용
    • pure-ftpd – (S)FTP 제공
    • Adminer – MariaDB에 대한 web admin
  • Monitor Layer
    • cAdvisor – 도커 엔진, 컨테이너, 이미지 등에 대한 데이터를 수집하는 모니터링 도구
    • NodeExporter – 호스트 서버를 모니터링 하는 도구
    • Prometheus – 컨테이너로부터의 데이터를 받기 위한 중간 매개체 도구
    • Grafana – 여러 데이터 제공자로부터 데이터를 받아 그래프로 보여주는 도구
    • AlertManager – Prometheus로부터 데이터를 전달받아 이벤트가 발생되었을 때 정해놓은 알림 룰을 통해 전송하는 도구
    • PushGateway – Prometheus 에 일회성/배치 작업에 대한 통계를 전송하도록 하는 도구

모든 레이어는 단일 uzukilive-network 네트워크로 엮여져있으며, 각 레이어마다 내부 통신을 위한 네트워크가 별도로 구성되어 있습니다.

외부에 포트 노출이 필요한 Nginx, MailServer, ShadowBox, pure-ftpd 을 제외하고는 내부 포트를 통해 통신하게 되며, 내부간 통신이 필요할 경우 uzukilive-network 네트워크와 각 레이어마다 할당된 네트워크를 통해 구현하게 됩니다.

Service Layer와 Grafana는 실제 외부에서 접근 가능한 서비스들이지만 이 포트들은 외부에 노출되지 않고 Nginx를 통해 Proxy-pass하게 됩니다. 즉, Nginx가 각 서비스에 접근하기 위한 게이트웨이로 작용하게 되어 서브도메인으로 구분하게 됩니다.

이 때, http로 접속하였을 경우 https로 리다이렉트하는데, 이 https에 대한 인증서는 Let’s Encrypt를 통해 발급되었습니다.

서버 업데이트 내역

2019.04.28 이후 내역을 정리합니다.

  • 2019.04.28
    • 사양 업그레이드 – VC2 4core 8GB 100GB SSD -> VC2 4core 8GB 160GB SSD
    • 아키펙트 레포지토리 캐시 서버 cron 개선 – 매 정각 12시마다 336시간 동안 사용되지 않은 아키펙트 삭제 -> 매 정각 12시마다 168시간 동안 사용되지 않은 아키펙트 삭제
    • 사용하지 않는 Expose된 포트 제거
    • cAdvisor, Prometheus, AlertManager, PushGateway 등이 어떠한 경로를 통하여 외부에서 접근이 가능한 우회 방법 방지
    • 사용하지 않는 A 레코드 정보 제거

Build and Deploy Dockerfile in Jenkins

[Start RESTful Service With Spring Boot 2.x + Kotlin] 글에서 유일하게 다루지 못했던 주제가 있었다. 바로 Jenkins를 이용한 CI/CD 연동이다.

글을 올린지 약 1달 반 정도 지났지만, 성공적으로 빌드할 수 있게 되었고 이를 작성해보려 한다.

환경설정

Jenkins 내부에서 Docker를 빌드하려면 Docker 바이너리가 Jenkins에 포함되어 있어야 한다. Jenkins 역시 도커 이미지로 배포되기 때문에, 먼저 커스텀 Jenkins 이미지를 수정할 필요성이 있다.

Docker + Jenkins 연동은 [Run Docker + Jenkins for Android Build] 글에서 다루니 그쪽부터 보면 좋을 것 같다.

Docker를 설치하기 위해서 추가적으로 필요한 의존성은 다음과 같다.

  • ca-certificates
  • curl
  • gnupg2
  • file
  • lxc
  • apt-transport-https

이 6개를 apt install로 통해 설치하고 순서대로 명령어를 입력하면 된다.

## Install requirements
RUN dpkg --add-architecture i386
RUN rm -rf /var/lib/apt/list/* && apt-get update && apt-get install ca-certificates curl gnupg2 software-properties-common git unzip file apt-utils lxc apt-transport-https -y

그 다음, docker 서버로부터 인증서와 레포지토리 주소를 받아서 설치하면 된다.

## Install Docker-ce into Image
RUN curl -fsSL https://download.docker.com/linux/$(. /etc/os-release; echo "$ID")/gpg > /tmp/dkey;
RUN apt-key add /tmp/dkey
RUN add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") $(lsb_release -cs) stable"
RUN apt-get update && apt-get install docker-ce -y --no-install-recommends
RUN usermod -a -G docker jenkins

여기까지 마치면 Jenkins 이미지에 Docker-CE 바이너리가 설치된다.

아니면, 업데이트 된 [WindSekirun/Jenkins-Android-Docker] 이미지를 활용해도 문제는 없다.

JenkinsFile 작성

Spring-Boot 프로젝트를 빌드하고, 이를 Docker로 배포하는 과정에 있어서 Jenkins에 필요한 작업을 정의하는 작업이 필요하다.

Jenkins는 각 파이프라인 상에서 수행해야 될 작업을 Jenkinsfile 이라는 파일에 정의하고, 이를 빌드할 때 마다 사용할 수 있다.

필요한 작업을 정리하면 다음과 같을 것이다.

  • 환경설정
  • Gradle 빌드
  • DockerImage 빌드
  • DockerHub로 이미지 푸시
  • 빌드된 이미지 제거

이 중, gradle 까지의 작업을 반영하면 다음과 같다

pipeline {
    agent any
    stages {
        stage('Environment') {
            parallel {
                stage('chmod') {
                    steps {
                        sh 'chmod 755 ./gradlew'
                    }
                }
                stage('display') {
                    steps {
                        sh 'ls -la'
                    }
                }
            }
        }
        stage('Build Jar') {
            steps {
                sh './gradlew build'
            }
        }
     }
}

Docker 이미지 빌드

환경변수에 registry 이라는 변수를 정의한다.

environment {
        registry = "windsekirun/uploadfileboot"
}

registry 는 이미지에 대한 태그이며, https://hub.docker.com/r/windsekirun/uploadfileboot 이런 식으로 접근이 가능해진다.

그 다음 docker 빌드 명령어를 작성한다. 기본적인 빌드 명령어는 docker build -t windsekirun/uploadfileboot:latest .이므로 Jenkinsfile의 형식에 맞게 작성하면 된다.

stage('Build docker image') {
            steps {
                sh 'docker build -t $registry:latest .'
            }
}

latest 대신 $BUILD_NUMBER 나 다른 환경변수를 이용해서 사용도 가능하다.

빌드된 이미지 푸시

Jenkins 설정 > 인증정보에 정보를 추가한다

그리고 환경변수에 추가한 정보의 id를 정의하면, 준비는 완료된다.

environment {
        registry = "windsekirun/uploadfileboot"
        registryCredential = 'dockerhub'
}

마지막으로, registry에 푸시하는 명령어는 docker push windsekirun/uploadfileboot:latest 이므로, Jenkinsfile 형식에 맞춰 작성한다. 다만 crediental 정보가 필요하므로 withDockerRegistry 명령어를 통해 crediental 정보를 입력한다.

stage('Deploy docker image') {
            steps {
                withDockerRegistry([ credentialsId: registryCredential, url: "" ]) {
                    sh 'docker push $registry:latest'
                }
            }
}

빌드한 이미지 삭제

빌드된 이미지를 계속 남겨둘 필요는 없으므로, 지금까지 빌드한 이미지를 삭제한다.

stage('Clean docker image') {
            steps{
                sh "docker rmi $registry"
            }
}

전체 코드

pipeline {
    environment {
        registry = "windsekirun/uploadfileboot"
        registryCredential = 'dockerhub'
    }
    agent any
    stages {
        stage('Environment') {
            parallel {
                stage('chmod') {
                    steps {
                        sh 'chmod 755 ./gradlew'
                    }
                }
                stage('display') {
                    steps {
                        sh 'ls -la'
                    }
                }
            }
        }
        stage('Build Jar') {
            steps {
                sh './gradlew build'
            }
        }
        stage('Build docker image') {
            steps {
                sh 'docker build -t $registry:latest .'
            }
        }
        stage('Deploy docker image') {
            steps {
                withDockerRegistry([ credentialsId: registryCredential, url: "" ]) {
                    sh 'docker push $registry:latest'
                }
            }
        }
        stage('Clean docker image') {
            steps{
                sh "docker rmi $registry"
            }
        }
     }
}

이 Jenkinsfile 를 가지고 Jenkins를 설정하면 다음과 같이 나오게 된다.

마지막으로 push된 이미지는 Dockerhub 홈페이지에서 확인할 수 있다.

마무리

Jenkins 를 이용해 도커 이미지를 빌드하고 배포하는 과정까지 살펴보았다.

물론 master에 빌드한 것을 그대로 push하는 것은 매우 위험하기 때문에 개발하는 사이클마다 별도로 적용해야 되지만, 개론적인 것은 살펴본 것과 크게 다르지는 않을 것이다.

위에 살펴본 DockerHub에 올리는 것 말고도 private registry에 올리는 것 또한 가능하기에 선택하기 나름일 것 같다.