Kotlin Coverage Test – Static Analysis with Jenkins

Kotlin으로 모듈을 작성하다 보면, 모듈의 각 코드에 대한 단위 테스트와 코드 분석을 진행할 필요가 있다.

특히 그 모듈은 구(공 모양의 도형) 상에 존재하는 x개의 데이터 셋에 대해 y 를 제공했을 때, 데이터 셋 상에서 y에 최근접해있는 데이터를 찾는 모듈이었기 때문이었다.

그래서 모듈을 구성하는 모든 코드에 대한 단위 테스트를 진행하여 최대한 모듈 상의 버그를 없애고 (물론, 로직을 구성하는 최하위 알고리즘 상에 문제는 생길 수는 있다. 다만, 서울에서 멀리 떨어진 지역의 데이터이기 때문에 검증하기도 많이 어렵다.) 퍼포먼스, 보안 상 문제가 될 수 있는 모든 가능성을 없앨 필요가 있었다.

이 글에서는 그 과정에서 도입한 Spek Framework, Jacoco Report, Detekt 에 대해 알아보고, 이 세 개를 Jenkins에 연동하여 Jenkins dashboard 에서 해당 리포트에 대해 보여주는 과정을 살펴보려 한다.

Spek Framework

Spek Framework란 코틀린용 유닛 테스트 프레임워크로 Kotlin의 기여자들이 관리하는 프레임워크이다. (JetBrains 공식 프로젝트는 아니나, JetBrains 가 개발한 흔적은 있다.) 현재는 2.0.0-RC1 버전으로, 특징적인 점이라면 DSL로 유닛 테스트를 진행할 수 있다는 점이다.

class SomeTest: Spek({
    describe("Some test") {
        it("Check value is something") {
            // TEST BODY
        }
    }
})

이러한 구조를 가지고 있어 JUnit와 다른 테스트 프레임워크와는 다르게 쉬운 구조를 가지고 있다.

(이렇게 보면, Ktor도 그렇고 JetBrains 가 개발한 프레임워크들은 DSL를 매우 강조하는 것 같다. 과연 그것이 좋은지는 아직도 잘 모르겠긴 하다.)

임포트는 다음과 같이 진행한다.

buildscript {
    ext.kotlin_version = '1.3.11'
    ext.spek_version = '2.0.0-rc.1'
    ext.junit_version = '4.12'
​
    repositories {
        jcenter()
    }
​
    dependencies {
        classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlin_version"
    }
}
​
dependencies {
    implementation "org.jetbrains.kotlin:kotlin-stdlib-jdk8:$kotlin_version"
    testImplementation "org.jetbrains.kotlin:kotlin-test:$kotlin_version"
    testImplementation "org.spekframework.spek2:spek-dsl-jvm:$spek_version"
    testRuntimeOnly "org.spekframework.spek2:spek-runner-junit5:$spek_version"
    testRuntimeOnly "org.jetbrains.kotlin:kotlin-reflect:$kotlin_version"
    testCompile("org.assertj:assertj-core:3.11.1")
    testCompile "junit:junit:$junit_version"
}
​
test {
    useJUnitPlatform {
        includeEngines 'spek2'
    }
}

이렇게 작성한 테스트 코드는 gradlew test 로 확인이 가능하다.

Jacoco Report

Jacoco Report는 Java Code Coverage를 구현하는 데 사용하는 툴킷으로, Line, Branch에 대한 Coverage를 제공한다.

임포트는 다음과 같이 한다.

apply plugin: 'jacoco'
​
test {
    useJUnitPlatform {
        includeEngines 'spek2'
    }
    jacoco {
        destinationFile = file("${buildDir}/jacoco/test.exec")
    }
}
​
test.finalizedBy(jacocoTestReport)
​
jacoco {
    // You may modify the Jacoco version here
    toolVersion = "0.8.2"
}
​
jacocoTestReport {
    // Adjust the output of the test report
    reports {
        xml.enabled true
        csv.enabled false
    }
}

gradlew test 로 테스트를 구동했을 경우, destinationFile로 제공한 경로에 exec 파일이 저장된다. 이 exec 파일은 Jacoco 가 생성한 리포트 파일이 포함되며, gradlew jacocoTestReport 명령어로 리포트 파일을 생성할 수 있다. (여기서는 xml, html 리포트를 생성한다.)

Detekt

Detekt는 코틀린에 대한 Static Analysis를 제공하는 툴킷으로, 코틀린으로 코드를 작성함에 있어 피해야하는 패턴들에 대해 감지, 특정 패턴들의 가중치를 파악해서 일정 이상이면 build 자체가 failed 되게 할 수 있어 코드 본연의 문제를 좀 더 파악할 수 있게 하는 툴킷이다.

특히 Codacy (https://www.codacy.com/) 에서 코틀린 프로젝트를 임포트 했을 때 사용하는 분석 툴킷으로, 많은 사람들에 의해 검증된 툴킷이기도 하다.

임포트 과정은 프로젝트 사이트(https://arturbosch.github.io/detekt/) 에 설명되어 있다.

detekt의 경우 gradlew detekt 로 통해 테스트를 진행할 수 있다. 이 때 report는 build/reports/detekt 에 detekt.html 에 저장되며 이 리포트 파일을 참고로 해서 파악할 수 있다.

Jenkins로 실행

위에서 살펴본 Spek Framework, Jacoco, Detekt를 빌드마다 실행하기 위해서 JenkinsFile에 해당 과정을 구현했다.

stage('Test Analysis') {
      parallel {
        stage('Static Analysis') {
          steps {
            sh './gradlew detekt'
            publishHTML(target: [reportDir:'build/reports/detekt/', reportFiles: 'detekt.html', reportName: 'Detekt report'])
          }
        }
        stage('Unit Test') {
          steps {
            sh './gradlew cleanTest test'
            sh './gradlew jacocoTestReport'
            publishHTML(target: [reportDir:'build/reports/jacoco/test/html', reportFiles: 'index.html', reportName: 'Code Coverage'])
          }
        }
      }
    }

gradlew build 가 끝난 다음, 이 단계를 실행하게 하면 된다. publishHTML은 특정 Html 파일을 Jenkins 메뉴 상에 표시해서 쉽게 볼 수 있게 한다.

Jenkins에 테스트 결과에 대한 Output 출력

Test Code를 작성할 때 println 메서드로 Test 콘솔에 Output를 출력할 수 있으나, 위 JenkinsFile를 가지고 실행하면 Output가 나오지 않는다.

이 때는 https://stackoverflow.com/a/36130467 링크에 있는 답변을 사용하면 된다.

최종 결과

전체 파이프라인 통과
각 테스트에 대해 PASSED / FAILED / SKIPPED 등이 표시된다. 만일 Output가 있을 경우 그 아래에 표시된다.
마지막에 총 결과가 표시된다.
Detekt 분석 결과는 콘솔에도 표시된다. 물론, 리포트에도 볼 수 있다.
Jenkins 의 메뉴에 Code Coverage, Detekt Report가 생긴 것을 확인할 수 있다.
Detekt가 생성한 report 파일이다.
Jacoco가 생성한 Coverage Report로, Line Coverage는 99%, Branch Coverage는 94%로 측정되었다.

마무리

제목은 다소 거창하지만, 실제로 한 행동은 그렇게 어렵지는 않다. 다만 이 글에서 사용한 프로젝트는 순수 Kotlin 프로젝트로 안드로이드 프로젝트는 아니다.

이 면에서 보면, 안드로이드 프로젝트에 대해 유닛 테스트를 진행하는 것은 다소 어렵기 때문에 조금 진입장벽이 높을 수는 있다고는 판단된다.

하지만 작은 것 부터 나아가면, 점점 더 나아질 것이라 생각한다.

NaraeAudioRecorder, AudioRecorder for Android

회사에서 프로젝트를 진행하던 도중, 음성 녹음에 대한 기능을 개발할 일이 있었다.

예전(아마 2017년쯤)에 쓰던 lameMp3 wrapper가 있었기에 그대로 활용했었는데, 최신 환경에서는 녹음된 소리가 제대로 나오지 않고 이상하게 나오는 현상이 있었다.

그래서, 이번 주말동안 기존에 AudioRecord를 만졌던 기억을 되살려 음성 녹음 라이브러리를 만들게 되었고, 그것이 바로 WindSekirun/NaraeAudioRecorder 이다.

구조

크게 바라보면 해당 라이브러리는 총 4개의 파트로 구성된다.

  • AudioChunk: AudioRecord에서 bufferSize 만큼 읽어온 만큼의 raw 데이터와 raw 데이터에 대한 정보를 담고 있다.
  • AudioRecorder: Wav, PCM, FFmpeg 등 여러 포맷에 대한 객체로 start, stop, resume, pause 이벤트에 맞춰 작업을 실행한다.
  • AudioSource: 기본과 NoiseSuppressor (배경 노이즈를 제거하는 안드로이드 API 전처리기) 에 대한 기본 속성이며, AudioRecord에 대한 정보를 갖고 있다.
  • RecordWriter: AudioSource 와 AudioRecorder 사이에 있는 중간 매개체로 AudioSource로 설정한 AudioRecord에서 bufferSize만큼 raw data를 가져와 OutputStream에 쓰고, 그 이벤트를 AudioRecorder 에 전달하는 역할을 한다.

각각 유기적으로 연결되어있어, 처리 순서는 AudioRecorder > RecordWriter > AudioChunk 이고, AudioSource는 RecordWriter를 사용하기 위한 AudioRecord 설정 객체라 이해하면 편하다.

특이점

특이점이라 한다면 AudioRecord에서 가져오는 데이터는 raw 데이터이고, 이를 wav나 mp3 등으로 변환하기 위해서는 특별한 작업이 필요하다.

예전에도 AudioRecord to Wav 란 주제로 다룬 적이 있었고, 이번에도 특별한 작업은 없다.

mp3, aac, wma 로 변환하기 위해서 FFmpeg를 사용했는데, FFmpeg에 대한 command를 구성하도록 했다

val tempFile = File(file.parent, "tmp-${file.name}")
commandBuilder.addAll(listOf("-y", "-i", file.path))

if (convertConfig.samplingRate != FFmpegSamplingRate.ORIGINAL) {
     commandBuilder.addAll(listOf("-ar", convertConfig.samplingRate.samplingRate.toString()))
}

if (convertConfig.bitRate !== FFmpegBitRate.def) {
    commandBuilder.addAll(listOf("-sample_fmt", convertConfig.bitRate.bitRate))
}

if (convertConfig.mono) {
    commandBuilder.addAll(listOf("-ac", "1"))
}

commandBuilder.add(tempFile.path)

FFmpeg를 다뤄보는 것은 두번째이기 때문에, 다소 그렇게 삽질하지는 않은 것 같다. (아마도… (._.

물론 FFmpeg를 사용한다면 라이센스 문제가 나오기 때문에, 멀티 모듈로 구성해서 core만을 사용한다면 FFmpeg에 의존성이 없게 구성했다. 아무래도 FFmpeg를 프로덕션에서 바로 사용하기에는 부적절한 면도 있기도 하다.

마지막으로 조금 특이한 점이라면, 목적 파일의 확장자에 따라 wav, mp3 등 각각의 recorder로 넘기는데 이 과정에서 리플렉션을 통해 접근했다는 점이다.

class FFmpegRecordFinder : RecordFinder {

    /**
     * see [RecordFinder.find]
     */
    override fun find(extension: String, file: File, writer: RecordWriter): AudioRecorder {
        return when (extension) {
            "wav" -> WavAudioRecorder(file, writer)
            "pcm" -> PcmAudioRecorder(file, writer)
            "aac" -> FFmpegAudioRecorder(file, writer)
            "mp3" -> FFmpegAudioRecorder(file, writer)
            "m4a" -> FFmpegAudioRecorder(file, writer)
            "wma" -> FFmpegAudioRecorder(file, writer)
            "flac" -> FFmpegAudioRecorder(file, writer)
            else -> PcmAudioRecorder(file, writer)
        }
    }

}

RecordFinder 란 클래스에서 find 메서드를 통해 Recorder 로 넘기고, 이 RecordFinder를 Class 객체를 사용하여 바로 인스턴스를 만들고 활용하는 방법으로 접근했다.

 try {
            val finder = recordFinder.getConstructor().newInstance() as? RecordFinder
                    ?: throw IllegalArgumentException(LogConstants.EXCEPTION_FINDER_NOT_HAVE_EMPTY_CONSTRUCTOR)

            val file = recorderConfig.destFile ?: return // it can't be null
            audioRecorder = finder.find(file.extension, file, recordWriter)
} catch (exception: Exception) {
            throw IllegalArgumentException(LogConstants.EXCEPTION_FINDER_NOT_HAVE_EMPTY_CONSTRUCTOR, exception)
}

물론 해당 RecordFinder 클래스를 정확한 형식에 맞추지 않고 개발을 진행했을 경우 사용하지 못한다는 문제점이 있지만, 가능한 멀티모듈로 구성하면서도 유기적으로 연계되기 위해서 해당 방법을 사용했다. (적어도 개발자 자신이 확정할 수 있으면 괜찮지 않을까.. 라는 조금 어린 생각을 가지기도 했다.)

마무리

총 3일동안 개발하면서 나름대로 코드를 최대한 깔끔하게 짜고, 문서화도 제대로 하려고는 노력은 했지만 아직까지 표현력이 부족한 점도 많긴 많았다.

그래도 2019년 한 해의 시작을 라이브러리로 시작했으니, 이번 년도 말에도 라이브러리 개발로 끝날 것 같기도 하다.

마지막으로 개발했던 모든 소스와 샘플들은
WindSekirun/NaraeAudioRecorder 에 공개되어 있다. JCenter에도 배포되어있으니, 바로 다운 받아 사용이 가능하다.

Run Docker + Jenkins for Android Build

이번 글에서는 Vultr VC2 2core 4GB instance 에 Jenkins 를 올려 안드로이드 앱을 빌드하고 테스트하려 한다.

사용할 인스턴스는 기존에 사용중이던 Artifcatory 인스턴스이지만 사양을 올려 사용할 것이기 때문에, Docker 기본 설정 같은 것들은 이전 글인 ‘Upload Android Library into Gradle with Artifactory‘ 를 참조하면 된다.

DockerFile 커스텀하기

대부분 인터넷에 나온 CI/CD 적용기를 보면 이 단계부터 설명하는 글이 많은데, 처음 도커를 접하는 유저라면 상당히 골치아픈 작업이기도 하다. Dockerfile 자체가 자체 포맷으로 되어있기도 해서 그걸 익혀야 되는 문제점이 있다.

그리고 이번 글의 중점 취지는 아닌 것 같아 제작했던 Dockerfile 를 공유해서 바로 적용할 수 있게 했고, 그것이 WindSekirun/Jenkins-Android-Docker 이다.

DockerHub에도 공유되어 있으니, 바로 pulling 를 받으면 최신 안드로이드 환경 (API 28 + build tools 28.0.3) 을 사용할 수 있게 된다.

따라서 이번 글에서는 미리 제작된 도커 이미지로 이 과정을 대체한다.

먼저 실행되야 될 작업

본격적으로 이미지를 풀링 받기 전에, 이 이미지를 실행하기 위한 커맨드를 살펴볼 필요가 있다. (버전 1.0.1 같은 경우 2018-12-18 기준 최신으로, 가장 최신은 릴리즈 페이지를 참고하면 된다.)

sudo docker run -d -p 8080:8080 -p 50000:50000 -v /data/jenkins-android-docker:/var/jenkins_home windsekirun/jenkins-android-docker:1.0.1

여기에서 -d (백그라운드 작업) 과 -p(포트 바인딩) 은 넘겨도 되나 /data/jenkins-andorid-docker:/var/jenkins_home 부분에 신경을 써야 한다. 이 부분은 ‘실제 저장소내 공간:도커 컨테이너 공간’ 의 형식을 가지고 있는 디렉토리 바인딩 부분으로, 실제 저장소내 공간 부분에 작성한 폴더는 실제 존재하는 폴더여야 한다.

따라서 sudo 권한으로 아래 커맨드를 실행하면 된다.

mkdir /data/jenkins-android-docker
sudo chown -R 1000:1000 /data/jenkins-android-docker

이 ‘실제 저장소내 공간’에 모든 데이터가 들어가므로, 도커 컨테이너를 지워도 이 폴더가 남아있다면 데이터 또한 그대로 보존되게 된다.

위 mkdir 와 chown 을 시작했다면, 맨 위의 shell script 를 실행하면 된다.

귀찮은 사람들은 WindSekirun/Jenkins-Android-Docker 를 VPS 안에서 clone 받아서 sudo sh runImage.sh 를 실행하면 된다. mkdir 부터 docker run 까지 다 된다.

처음 관리자 설정하기

명령어로 도커를 시작했다면, 서버 주소:8080 으로 들어가면 Jenkins home 이 보일 것이다.

Jenkins 를 설정하는 사람이 관리자인지 확인하는 과정인데, 이를 확인하기 위해서는 도커 컨테이너에 접근할 필요가 있다.

SSH 에서 docker container ls 를 입력하면 현재 실행중인 컨테이너 정보가 나오는데, 그 곳에서 Jenkins-Android-Docker 를 찾는다.

위 정보에 따르면 jenkins-android-docker 가 설치된 컨테이너의 id는 d88376885153 이고, 이 컨테이너 id를 이용해 도커 컨테이너의 bash로 접근할 수 있다. 명령어는 docker exec -i -t [컨테이너 id] /bin/bash이다.

bash에 접근했으면 cat /var/jenkins_home/secrets/initialAdminPassword 로 도커 초기 관리자 비밀번호를 알아낸다.

아래 비밀번호를 복사해서 칸에 넣고 Continue 를 누르면 된다.

그 다음 Plugin 창이 나올텐데, 그 곳에서 Install Suggested Plugin를 누른다. 차후에 다시 설치가 가능하니, 지금은 기본만 설치한다.

설치가 다 되고, 관리자 계정을 만들면 Jenkins 를 사용할 준비가 모두 끝난다. 이제 blueocean 플러그인을 설치하여 첫 안드로이드 빌드를 해보도록 한다.

Blueocean 설치하기

Blueocean 은 Jenkins 에서 나온 새 UI/UX 툴로, 기존 Jenkins 가 다소 전문가의 영역에 가깝다고 하면 Blueocean 는 이를 좀 더 간결하고 알아보기 쉽게 만든 것이다.

Jenkins 메인에 접속되면 Manage Jenkins > Manage Plugin > Available 의 검색창에서 Blueocean 을 검색한다.

여기에서 Install without restart 를 누르면 플러그인 설치 페이지로 이동하는데, 여기에서 맨 마지막의 체크박스를 체크해서 바로 재시작될 수 있도록 한다.

여기까지 끝내면 첫 안드로이드 프로젝트를 빌드를 할 모든 준비가 완료된다.

프로젝트 빌드하기

다시 젠킨스 메인으로 돌아와서 옆의 Open Blueocean 을 누른다. 그러면 이제까지 보지 못했던 새로운 Jenkins 가 보이게 된다.

여기에서 ‘Create a new Pipeline’ 를 누른다.

프로젝트 저장소를 선택하고, 가져올 프로젝트를 맨 밑에서 설정한다. 만일 해당 프로젝트에 Jenkinsfile 가 없다면 설정하는 메뉴로 갈 것이고, 이미 있다면 바로 빌드를 시도할 것이다. 이번에는 Jenkins 로 연동해보지 않은 프로젝트를 설정했다.

그러면 이 페이지로 나오게 될텐데, 이 곳이 Jenkins 가 한 빌드당 거칠 파이프라인을 설정하는 곳이다. 가운데의 +를 누르게 되면 새 작업을 추가할 수 있다.


일단 여기에서는 간단히 빌드만 성공하는지 테스트할 것이므로, Add step 에서 Shell script 를 선택하고 ./gradlew assembleDebug --stacktrace를 입력해준다.

그 다음 위 Save를 누르면 파이프라인 저장 다이얼로그가 표시되고, Save&run 을 누르면 바로 빌드가 시작된다.

빌드 지켜보기

이제 프로젝트가 빌드될 때 까지 기다리는 것 만 남았다.

만일 오류가 나온다면 왜 오류가 나오는지 이제 구글링을 열심히 해볼 차례다. 아래는 지금까지 겪은 CI 오류를 정리해본 것이다.

흔한 오류

local.properties (No such file or directory)

assembleDebug 전에 ‘echo “sdk.dir=/opt/android-sdk-linux” >> local.properties’ 를 추가한다. 또는 젠킨스 관리 > Configure System > 맨 하단의 Android SDK Path 에 /opt/android-sdk-linux 를 적어준다.

File google-services.json is missing.

이 글을 참고하되 Environment Variable 를 Jenkins 내부에서 설정해주면 된다.

그리고 추가할 Shell script 는 echo $GOOGLE_SERVICES_JSON | base64 --decode --ignore-garbage > /app/google-services.json“` 이다.

Gradle build daemon disappeared unexpectedly

제일 골치아픈 문제로, 서버의 램 용량이 부족해서 Gradle 데몬이 죽는 현상이다. 이를 해결하기 위해서는 빌드 커맨드를 ./gradlew --no-daemon assembleDebug --stacktrace 로 설정하거나, 아니면 아예 메모리 제한을 거는 방법도 있다.

메모리 제한을 거는 방법은 현재 실행중인 컨테이너를 docker container kill [컨테이너 id]  – docker container stop [컨테이너 id] 로 삭제하고 (데이터는 상기했듯이 남아있다.) 컨테이너 실행할 때 -m 2500m 를 삽입한다. 2500m은 2.5g로 k, m, g 가 사용이 가능하다. 자신의 서버 환경에 맞게 적절히 조정하면 된다.

예제: sudo docker run -d -m 2500m -p 8080:8080 -p 50000:50000 -v /data/jenkins-android-docker:/var/jenkins_home windsekirun/jenkins-android-docker:1.0.1

빌드 성공

CI상 오류를 전부 해결하면 빌드 성공이 나오며, 이제야 첫 프로젝트의 빌드가 끝난 셈이다. 이제 다른 프로젝트를 연동하거나, 좀 더 심화해서 유닛 테스트나 마켓 업로드 기능 들을 구현하면 된다.

마지막으로 위 프로젝트의 빌드에 성공한 JenkinsFile는 다음과 같다. 다른 프로젝트의 루트 폴더에 똑같은 파일 이름으로 만들고 Jenkins 에서 추가하면 바로 인식이 된다.

pipeline {
  agent any
  stages {
    stage('Make Environment') {
      parallel {
        stage('Touch local.properties') {
          steps {
            sh 'echo "sdk.dir=/opt/android-sdk-linux" >> local.properties'
          }
        }
        stage('Touch google-services.json') {
          steps {
            sh 'echo $GOOGLE_SERVICES_JSON | base64 --decode --ignore-garbage > demo/google-services.json'
          }
        }
        stage('Display directory') {
          steps {
            sh 'ls -la'
          }
        }
      }
    }
    stage('assembleDebug') {
      steps {
        sh './gradlew --no-daemon assembleDebug --stacktrace'
      }
    }
  }
  environment {
    GOOGLE_SERVICES_JSON = ''
  }
}