Android MediaCodec, MediaMuxer 살펴보기

꽤나 최근부터 Android의 API중 MediaCodec나 MediaMuxer, MediaExtractor 를 이용하여 동영상 파일에 대한 후처리 작업을 진행하고 있었다.

처음에는 FFmpeg(https://ffmpeg.org/)의 도입을 강력하게 생각하고 있었는데, 이는 iOS나 타 플랫폼에도 동일하게 적용할 수 있고, 실제로 원하는 기능에 대해 구현에 성공했기 때문이었다.

하지만 FFmpeg 의 LGPL 라이센스 문제나, 일부 플랫폼의 static linking 불가 문제, 일부 플랫폼의 애플리케이션 용량 문제로 도입을 하지 않고 각자의 영상 관련 API를 사용하기로 결정을 내렸고, 이 것이 MediaCodec 나 MediaMuxer 에 대해 알아본 계기였다.

분명히 직전 회사에 재직하고 있을 2017년 11월에도 같은 고민을 한 적이 있던 것 같지만(https://pyxispub.uzuki.live/?p=174), 이번에는 직접 API들을 다뤄보면서 Inter-Frame coding 된 영상을 받아서 모든 프레임을 KeyFrames 로 바꾸는 클래스를 제작해보기로 한다.

키 프레임? Inter Frame?

우리의 작업을 시행하기 전에, Inter-Frame coding (https://en.wikipedia.org/wiki/Data_compression#Inter-frame_coding)에 대해 좀 더 알아볼 필요가 있다.

하나의 영상은 여러 개의 프레임을 가지고 있다. 우리가 흔히 30fps다, 60fps다 부르는 것은, 1초당 프레임이 30/60개가 존재한다는 의미로도 사용된다. 그리고 이 프레임 하나를 ‘인트라 프레임’ 또는 ‘키 프레임’ 이라고 부른다.

특히, 영상의 재생 시간이 길 수록 이 프레임 갯수도 늘어나게 되는데, 문제는 리소스가 많이 든다는 점이다.

이런 점을 해결하기 위해 ‘인터 프레임’ 이라는 기법이 도입되었는데, 인트라 프레임이 각 프레임이 모든 정보를 갖고 있는 반면, 인터 프레임은 인트라 프레임 하나에 여러 인터 프레임으로, 인터 프레임은 인트라 프레임 대비 변동된 부분에 대한 데이터만 갖고 있는다.

Android%20MediaCodec%20MediaMuxer%20c57ffb3225c44f43a8c2f3cf85d75375/Untitled.png

출처: https://www.bhphotovideo.com/explora/video/tips-and-solutions/compression-a-basic-understanding

위 사진이 그런 점을 잘 설명하고 있는데, 인트라 프레임은 사람의 모든 모습을 가지고 있는 반면, 인터프레임은 사람의 팔이 움직이는 부분의 데이터만 갖고 있는다.

그렇기 때문에 비교적 적은 리소스로도 영상을 구성하는 것이 가능했고, 이런 기술들을 통해 영상이 많이 진화될 수 있었다.

하지만, 이러한 ‘인터 프레임’ 은 앞으로 우리가 할 것에 방해를 주는데, 인터프레임은 인트라 프레임 대비 변동된 데이터만 갖고 있는 특성을 가진 탓에, 프레임을 직접 조작하기에는 다소 많은 어려움이 존재한다.

그렇기 때문에, 이러한 인터 프레임을 인트라 프레임으로 변경하는 작업이 필요하고 그것이 우리가 이제부터 할 작업이다.

일단 사용해야 할 것을 정리해보자.

여러 API가 있지만, MediaExtractor, MediaCodec, MediaFormat, MediaMuxer 이 4개가 주인공으로 각 역할을 맡게 된다.

  • MediaFormat: MediaCodec 등이 사용할 포맷등을 정의하는 역할
  • MediaCodec: MediaExtractor 로 가져온 ByteBuffer를 읽거나 작성하는 역할
  • MediaExtractor: 비디오 파일로부터 인코드된 비디오 프레임을 얻는 역할
  • MediaMuxer: 인코드 된 버퍼를 작성하는 역할

이 중 MediaCodec가 가장 큰 역할을 맡게 되는데, 이는 다음부터 설명하기로 한다.

MediaCodec의 동작 방식

안드로이드 공식 문서에서도 나와있는 이 그림은 MediaCodec의 동작 방식을 단적으로 보여준다.

Android%20MediaCodec%20MediaMuxer%20c57ffb3225c44f43a8c2f3cf85d75375/02.png

Step 1. InputBuffer에 대한 해독

// 해독할 InputBuffer의 Index를 반환한다. 주어진 timeoutUs 만큼 버퍼의 가용성을 기다린다.
val inBufferId = decoder.dequeueInputBuffer(mediaCodedTimeoutUs)
if (inBufferId >= 0) {
  // InputBuffer 의 Index를 가지고 실제 버퍼를 가져온다.
  val buffer = decoder.getInputBuffer(inBufferId)
  ...
}

Step 2. 해독한 InputBuffer에 대한 큐잉

// 현재 인코딩된 sample를 가져오고, 주어진 오프셋부터 byte buffer에 저장
val sampleSize = extractor.readSampleData(buffer, 0)
if (sampleSize >= 0) {
  // queue 할 수 있는 InputBuffer가 존재함. 따라서 sampleSize, 현재 버퍼의 presentation timestamp, 샘플의 플래그를 이용하여 InputBuffer를 Decoder에 큐잉하게 됨.
  decoder.queueInputBuffer(inBufferId, 0, sampleSize, extractor.sampleTime, extractor.sampleFlags)
  extractor.advance()
} else {
  // 모든 InputBuffer를 읽었으므로, BUFFER_FLAG_END_OF_STREAM 플래그를 통해 모든 버퍼를 읽었다는 것을 알린다.
  decoder.queueInputBuffer(inBufferId, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
  allInputExtracted = true
}

Step 3. OutputBuffer에 대한 해독과 Muxer에 작성

// 해독할 OutputBuffer의 Index를 반환한다.
val encodeOutBufferId = encoder.dequeueOutputBuffer(bufferInfo, mediaCodedTimeoutUs)
if (encodeOutBufferId >= 0) {
  // OutputBuffer의 Index를 가지고 실제 버퍼를 가져온다.
  val encodedBuffer = encoder.getOutputBuffer(encodeOutBufferId)
  // 특정 트랙에 가져온 OutputBuffer를 작성한다.
  muxer.writeSampleData(trackIndex, encodedBuffer, bufferInfo)
}

Step 4. OutputBuffer의 릴리즈

// 작성한 OutputBuffer는 바로 릴리즈하여 다음에도 해독할 수 있도록 준비
encoder.releaseOutputBuffer(encodeOutBufferId, false)

일반적으로 코덱은 입력 데이터를 처리해서 출력 데이터를 생성하는 역할을 하는데, 여기에서는 빈 입력 버퍼를 요청하여 버퍼를 채우고, 데이터를 모두 사용하여 빈 출력 버퍼를 릴리즈하는 과정을 가지고 있다.

위 사항을 기반으로 하나씩 준비해보자.

필요한 요소 준비하기

MediaFormat는 영상 파일에 대한 정보 (가로, 세로, 비트레이트 등) 을 담고 있는 클래스로, 여기에서는 Input 파일의 정보를 가져와 Output 파일에 대한 정보를 기록한다.

extractor = MediaExtractor()
extractor.setDataSource(input)
val inFormat = selectVideoTrack(extractor, "video/")

fun selectVideoTrack(extractor: MediaExtractor, prefix: String = "video/"): MediaFormat {
   for (i in 0 until extractor.trackCount) {
       val format = extractor.getTrackFormat(i)
       if (format.getString(MediaFormat.KEY_MIME).startsWith(prefix)) {
           extractor.selectTrack(i)
           return format
      }
  }
   throw InvalidParameterException("File contains no video track")
}

기본적으로 MP4 파일은 여러 개의 트랙을 가지고 있을 수 있는데, 일반적으로 지원하는 형태는 1 영상 트랙, 1 음악 트랙인 경우가 많다.

여기서 우리는 ‘비디오 트랙’ 에 대한 정보가 필요하므로, MediaExtractor의 트랙 저옵를 꺼내서 video/ 로 시작하는 첫 번째 트랙을 선택한다.

이렇게 가져온 MediaFormat를 기반으로 Output 파일에 대한 MediaFormat를 생성하는데, 이는 다음과 같다.

private fun getOutputFormat(inputFormat: MediaFormat, frameInterval: Int = 0): MediaFormat {
  // inputFomrat 에 대한 width, height를 가지고 Size를 생성한다.
  val inputSize = Size(inputFormat.getInteger(MediaFormat.KEY_WIDTH), inputFormat.getInteger(MediaFormat.KEY_HEIGHT))
  // inputSize를 가지고 기기에서 해당 사이즈를 지원하는지 체크한다. mime 로 video/avc를 넘기는데, 이는 H.264 컨테이너에 대한 mime라고 볼 수 있다.
  val outputSize = getSupportedVideoSize(encoder, "video/avc", inputSize)
 
  return MediaFormat.createVideoFormat("video/avc", outputSize.width, outputSize.height).apply {
           // Surface 객체로 통해 인코딩이 가능하도록 한다.
           setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)
           setInteger(MediaFormat.KEY_BIT_RATE, 20000000)
           setInteger(MediaFormat.KEY_FRAME_RATE, inputFormat.getInteger(MediaFormat.KEY_FRAME_RATE))
           // 전체 프레임을 키 프레임으로 변환하기 위하여, I_FRAME_INTERVAL를 0으로 준다.
           // (일부 기기에서는 -1를 사용하는 경우도 있어, try-catch 로 CodecException이 발생했을 때 frameInterval를 -1로 주고 다시 configure를 시도한다.
           setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, frameInterval)
           setString(MediaFormat.KEY_MIME, "video/avc")
  }
}

@RequiresApi(21)
fun getSupportedVideoSize(mediaCodec: MediaCodec, mime: String, preferredResolution: Size): Size {
   // 주어진 Size가 기기에서 지원하는지 먼저 체크한다.
   if (isSizeSupported(mediaCodec, mime, preferredResolution)) {
       return preferredResolution
  }
   
   // 기기에서 지원하지 않는 사이즈면, 비율에 맞는 최대한 가까운 크기를 선택한다.
   val resolutions = mutableListOf(
       Size(176, 144),
       Size(320, 240),
       Size(320, 180),
       Size(640, 360),
       Size(720, 480),
       Size(1280, 720),
       Size(1920, 1080)
  )

   val pix = preferredResolution.width * preferredResolution.height
   val preferredAspect = preferredResolution.width.toFloat() / preferredResolution.height.toFloat()

   val nearestToFurthest = resolutions.sortedWith(
       compareBy(
          { pix - it.width * it.height },
          {
               val aspect = if (it.width < it.height) it.width.toFloat() / it.height.toFloat() else it.height.toFloat() / it.width.toFloat()
              (preferredAspect - aspect).absoluteValue
          })
  )

   val result = nearestToFurthest.firstOrNull { isSizeSupported(mediaCodec, mime, it) }

   if (result != null) {
       return result
  }

   throw RuntimeException("Couldn't find supported resolution")
}

@RequiresApi(21)
private fun isSizeSupported(mediaCodec: MediaCodec, mime: String, size: Size): Boolean {
   return mediaCodec.codecInfo.getCapabilitiesForType(mime).videoCapabilities.isSizeSupported(size.width, size.height)
}

Output 파일에 대한 MediaFormat를 생성했다면, 이를 MediaCodec 객체에 configure 라는 메서드를 통하여 설정한다.

var outFormat: MediaFormat
try {
   // inFormat 값을 기반으로 Output 파일에 대한 Format를 설정
   outFormat = getOutputFormat(inFormat).also {
       width = it.getInteger(MediaFormat.KEY_WIDTH)
       height = it.getInteger(MediaFormat.KEY_HEIGHT)
  }

   // encoder 객체에 outFormat를 설정.
   // surface와 crypto의 역할은 다음과 같다.
   // surface: 해당 Decoder에 대해 결과물을 출력할 android.view.Surface 객체. 만일 해당 MediaCodec가 raw video output를 출력하지 않거나 (Decoder가 아니거나) ByteBuffer로 아웃풋을 내고 싶을 경우에는 null 로 선언한다.
   // crypto: DRM 등 MediaCrypto가 걸린 영상을 Decode/Encode하려고 할 때 선언하는 adnroid.media.MediaCrypto 객체.
   // 여기서는 Encoder 객체이므로 surface, crypto 둘 다 null를 주고, flags로는 CONFIGURE_FLAG_ENCODE 로 해당 MediaCodec 객체가 Encoder로서 활용할 것임을 선언한다.
   encoder.configure(outFormat, surface = null, crypto = null, MediaCodec.CONFIGURE_FLAG_ENCODE)
} catch (e: MediaCodec.CodecException) {
   // MediaCodec.configure 가 실패할 수 있는 경우
   // IllegalArgumentException -> surface 가 이미 릴리즈 되었거나, Format가 기기에서 지원하지 않는 경우. 또는 플래그가 잘못 설정된 경우
   // IllegalStateException -> 초기화되지 않은 상태가 아닐 경우
   // CryptoException -> DRM 관련 에러
   // CodecException -> Codec 관련 에러

   // 일부 기기의 경우, i-frame-interval 가 0 이 아닌 -1 이 '키 프레임' 을 나타내는 경우가 있다.
   // 따라서, -1로 OutputFormat 를 생성하고 다시 configure를 시도한다.
   outFormat = getOutputFormat(inFormat, -1).also {
       width = it.getInteger(MediaFormat.KEY_WIDTH)
       height = it.getInteger(MediaFormat.KEY_HEIGHT)
  }

   encoder.configure(outFormat, surface = null, crypto = null, MediaCodec.CONFIGURE_FLAG_ENCODE)
}

surface = encoder.createInputSurface()

// Decoder 객체의 경우, 결과물을 출력할 Surface를 삽입한다.
decoder = MediaCodec.createDecoderByType("video/avc").apply {
    configure(inFormat, surface, null, 0)
}

마지막으로 Muxer 객체를 선언하고, encoderdecoder 객체를 생성하고 준비 작업을 마친다.

muxer = MediaMuxer(outPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
encoder.start()
decoder.start()

디코딩, 인코딩, Muxing

위 과정을 통해 MediaCodec에 대한 초기화 작업을 마쳤다면, 이제 영상의 Buffer를 꺼내면서 디코딩 – 인코딩 – Muxing를 거칠 차례이고, 아래 순서로 진행하여 이를 영상의 끝 까지 반복시킨다.

  1. decoder.dequeInputBuffer ~ decoder.getInputBuffer ~ readSampleData ~ queueInputBuffer 로 Decoder에 input data 주입
  2. decoder.dequeueOutputBuffer ~ decoder.releaseOutputBuffer로 decoder에서 Output data를 꺼내 encoder에 주입
  3. encoder.dequeueOutputBuffer ~ encoder.getOutputBuffer로 Encoder에서 output data를 꺼냄
  4. muxer.writeSampleData 로 muxer에 버퍼 기록

이를 반영한 것이, 아래 코드가 된다.

private fun convert() {
    allInputExtracted = false
    allInputDecoded = false
    allOutputEncoded = false

    while (!allOutputEncoded) {
        // Decoder에 input data를 삽입
        if (!allInputExtracted) {
            val inBufferId = decoder.dequeueInputBuffer(mediaCodedTimeoutUs)
            if (inBufferId >= 0) {
                // input buffer의 인덱스에서 `cleared` 하고 쓰기 가능한 ByteBuffer 객체를 반환함.
                val buffer = decoder.getInputBuffer(inBufferId)
                // 반환된 ByteBuffer를 가지고 extractor에서 읽어온다. buffer에는 읽어온 ByteBuffer가 덮어지고, 반환 값에는 샘플 사이즈가 기록된다. 
                val sampleSize = extractor.readSampleData(buffer, 0)
       
                if (sampleSize >= 0) {
                    decoder.queueInputBuffer(inBufferId, 0, sampleSize, extractor.sampleTime, extractor.sampleFlags)
                    extractor.advance()
                } else {
                    decoder.queueInputBuffer(inBufferId, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
                    allInputExtracted = true
                }
            }
        }

        var encoderOutputAvailable = true
        var decoderOutputAvailable = !allInputDecoded

        while (encoderOutputAvailable || decoderOutputAvailable) {
            // Encoder에서 데이터를 꺼내고, 이를 muxer에 주입함.
            val encodeOutBufferId = encoder.dequeueOutputBuffer(bufferInfo, mediaCodedTimeoutUs)
            if (encodeOutBufferId >= 0) {
                // output buffer의 인덱스에서 `cleared` 하고 쓰기 가능한 ByteBuffer 객체를 반환함.
                val encodedBuffer = encoder.getOutputBuffer(encodeOutBufferId)
                // 인코딩된 샘플을 muxer에 작성한다.
                muxer.writeSampleData(trackIndex, encodedBuffer, bufferInfo)
                encoder.releaseOutputBuffer(encodeOutBufferId, false)

                // MPEG4 포맷의 경우, BUFFER_FLAG_END_OF_STREAM 플래그와 함께 빈 버퍼(bufferInfo.size = 0) 을 전달하여 트랙 내 마지막 샘플을 설정할 수 있다.
                // 즉, 이 과정이 모두 끝나면 작업이 모두 완료되었다고 가정함.
                if ((bufferInfo.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                    allOutputEncoded = true
                    break
                }
            } else if (encodeOutBufferId == MediaCodec.INFO_TRY_AGAIN_LATER) {
                encoderOutputAvailable = false
            } else if (encodeOutBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                trackIndex = muxer.addTrack(encoder.outputFormat)
                muxer.start()
            }

            if (encodeOutBufferId != MediaCodec.INFO_TRY_AGAIN_LATER) {
                continue
            }

            // Decoder에서 output 를 읽고, 이를 encoder에 주입한다. 
            // (이 상태를 거치지 않으면, 위의 encodeOutBufferId 는 -1를 반환한다.)
            if (!allInputDecoded) {
                val decoderOutBufferId = decoder.dequeueOutputBuffer(bufferInfo, mediaCodedTimeoutUs)
                if (decoderOutBufferId >= 0) {
                    val render = bufferInfo.size > 0
                    decoder.releaseOutputBuffer(decoderOutBufferId, render)
                    // 이 단계에서 Decoder에서 꺼내온 Decoded frame가 SurfaceTexture에 주입되고, onFrameAvailable() 가 불린다.
                    // 그렇기에, render 가 true이고, onFrameAvailable 가 호출되었다면 Surface에 작업을 가할 수 있다. (OpenGL 등)

                    // Decoder에서 모든 정보를 다 꺼냈다면, encoder에 모든 정보가 다 입력됨을 알려준다.
                    if ((bufferInfo.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                        allInputDecoded = true
                        encoder.signalEndOfInputStream()
                    }
                } else if (decoderOutBufferId == MediaCodec.INFO_TRY_AGAIN_LATER) {
                    decoderOutputAvailable = false
                }
            }
        }
    }
}

마지막으로 모든 작업을 마친 후에는 리소스 해제 작업을 진행한다.

private fun release() {
    extractor.release()

    decoder.stop()
    decoder.release()

    encoder.stop()
    encoder.release()

    muxer.stop()
    muxer.release()

    surface.release()

    width = -1
    height = -1
    trackIndex = -1
}

레퍼런스

JNI에서 RegisterNatives 사용하기

아득히 먼 예전(약 5년 이상)에는 JNI를 사용하기 위해 javah 를 사용하여 헤더 파일을 만들고, 헤더 파일에 선언된 메서드를 사용하는 일이 있었다.

JNIEXPORT void JNICALL Java_com_github_windsekirun_**_bridge_JniBridge_nativeOnStart(JNIEnv *env, jclass type) {
      LAppDelegate::GetInstance()->OnStart();
}

가령 JniBridge 라는 클래스에 nativeOnStart 라는 메서드가 있다면, 위에 선언된 메서드를 실행하는 방식이다.

하나 두개 쯤은 문제가 없지만, 메서드가 많이 있을때는 아무래도 깔끔하지 못하는 단점이 있었다.

이번에 Live2D를 사용한 토이 프로젝트를 진행하면서 다시 JNI를 사용하게 되었는데, 몇주 전 동적으로 메서드를 등록할 수 있다는 방법을 알게 된 터라 한번 사용해보았다.

RegisterNatives

JNI_OnLoad() (네이티브 라이브러리가 로드될 때 초기화 작업하는 메서드) 에서 사용하며, 아래의 파라미터를 받는다.

jclass clazz

위의 JNIBridge처럼 native 메서드가 선언된 클래스이다.

com/github/windsekirun/**/bridge/JniBridge 처럼 선언된다.

JNINativeMethod*

jni.h에 선언된 구조체로, 아래와 같은 형식이다.

typedef struct {
  const char* name;
  const char* signature;
  void*       fnPtr;
} JNINativeMethod;

name는 native 메서드가 선언된 클래스에서의 메서드 이름, signature는 해당 메서드의 JNI 시그니쳐, fnPtr는 jni에서의 메서드로 보면 된다.

가령 아래와 같은 메서드가 있다고 가정한다.

// java
public static native void nativeOnStart();

// c++
static void nativeOnStart(JNIEnv *env, jclass type) {
  LAppDelegate::GetInstance()->OnStart();
}

이 때, JNINativeMethod는 {"nativeOnStart", "()V", (void *) nativeOnStart} 가 된다.

따라서, 두 번째 파라미터에는 이러한 JNINativeMethod의 배열을 삽입하면 된다.

numMethods

두번째의 배열에 대하여 전체 갯수를 적는다.

실제 사용하기

JNIBridge 라는 클래스에 아래 메서드들이 있다.

public static native void nativeOnStart();
public static native void nativeOnPause();
public static native void nativeOnStop();
public static native void nativeOnDestroy();
public static native void nativeOnSurfaceCreated();
public static native void nativeOnSurfaceChanged(int width, int height);
public static native void nativeOnDrawFrame();
public static native void nativeOnTouchesBegan(float pointX, float pointY);
public static native void nativeOnTouchesEnded(float pointX, float pointY);
public static native void nativeOnTouchesMoved(float pointX, float pointY);
public static native void nativeLoadModel(String modelName);

그리고, 이를 등록할 JNINativeMethod* 를 선언한다.

static const char *classPathName = "com/github/windsekirun/**/bridge/JniBridge";

static JNINativeMethod methods[] = {
      {"nativeOnStart",         "()V",                 (void *) nativeOnStart},
      {"nativeOnPause",         "()V",                 (void *) nativeOnPause},
      {"nativeOnStop",           "()V",                 (void *) nativeOnStop},
      {"nativeOnDestroy",       "()V",                 (void *) nativeOnDestroy},
      {"nativeOnSurfaceCreated", "()V",                 (void *) nativeOnSurfaceCreated},
      {"nativeOnSurfaceChanged", "(II)V",               (void *) nativeOnSurfaceChanged},
      {"nativeOnDrawFrame",     "()V",                 (void *) nativeOnDrawFrame},
      {"nativeOnTouchesBegan",   "(FF)V",               (void *) nativeOnTouchesBegan},
      {"nativeOnTouchesEnded",   "(FF)V",               (void *) nativeOnTouchesEnded},
      {"nativeOnTouchesMoved",   "(FF)V",               (void *) nativeOnTouchesMoved},
      {"nativeLoadModel",       "(Ljava/lang/String)V", (void *) nativeLoadModel},
};

마지막으로 RegisterNative 메서드를 실행하는 메서드를 작성한다.

static int registerNativeMethods(JNIEnv *env, const char *className, JNINativeMethod *gMethods,
                                int numMethods) {
  jclass clazz;
  clazz = env->FindClass(className);
  if (clazz == nullptr) {
      return JNI_FALSE;
  }

  if (env->RegisterNatives(clazz, gMethods, numMethods) < 0) {
      return JNI_FALSE;
  }

  return JNI_TRUE;
}

마지막으로 JNI_OnLoad에서 메서드를 실행한다.

registerNativeMethods(env, classPathName, methods, sizeof(methods) / sizeof(methods[0]));

UI 상태 저장하기

이 글은 Android Developers 사이트의 Saving UI States 의 한국어 번역본입니다. 아주 많은 의역과 오역이 들어갈 수 있으므로, 만일 틀린 부분이 있다면 댓글로 지적 부탁드립니다.


시스템에서 시작한 Activity나 애플리케이션이 파괴될 때 마다 Activity의 UI의 상태를 적시에 보존하고 복원하는 것은 사용자 경험(User Experience) 에 있어서 중요한 부분입니다. 이러한 경우, 사용자는 UI 상태가 그대로 유지될 것이라고 예상하지만 시스템은 Activity와 Activity에 보관된 모든 상태를 파괴합니다.

사용자 기대와 시스템 동작 간의 차이를 메꾸기 위해 ViewModel 객체, onSaveInstanceState() 메서드 및 로컬 저장소를 조합하여 사용해서 이러한 애플리케이션 및 Activity 인스턴스의 전환에 있어 UI 상태를 유지할 수 있습니다. 이러한 옵션(ViewModel, onSavedInstanceState, 로컬 저장소)들을 결합하는 방법을 결정하는 데에는 UI 상태 데이터의 복잡성, 앱의 사용 사례 및 검색 속도, 메모리 사용 속도 측면에서 비교하고 결정하게 됩니다.

어떤 방법을 사용하든 관계 없이 앱이 UI 상태와 관련하여 사용자의 기대치를 충족하는지 확인하고 원할한 UI를 제공해야 합니다. (특히 화면 회전과 같이 자주 발생하는 설정의 변경(Configuration Changes) 후에 데이터를 다시 불러오는 데에 걸리는 시간을 피해야 합니다.) 대부분의 경우, ViewModel와 onSaveInstanceState를 모두 사용해야 합니다.

이 페이지에서는 UI 상태를 보존하는 데에 사용할 수 있는 옵션, 각각의 절충점 및 제한 사항을 소개합니다.

사용자가 기대하는 것과 시스템의 동작

사용자가 취하는 행동에 따라 사용자는 해당 Activity의 상태가 지워지거나 상태가 보존되기를 기대합니다. 경우에 따라 시스템은 사용자가 예상하는 작업을 자동으로 수행하는 반면, 다른 경우에는 시스템이 사용자가 기대하는 것과 반대되는 행동을 할 수 있습니다.

사용자에 의한 UI 상태 제거

사용자는 Activity를 시작할 때에 완전히 제거할 때 까지 해당 Activity의 UI 상태가 동일하게 유지될 것으로 예상합니다. 완전히 제거하는 예는 다음과 같습니다.

  • 뒤로 버튼 누르기
  • 최근 내역(Recents) 에서 끌어내리기
  • Navigation의 Up 활동
  • 애플리케이션 설정 화면에서 강제종료
  • 완료 화면 등에서의 화면 종료 (다시 말하면 Activity.finish())

이러한 완전 제거에 대해서는 사용자가 이 Activity를 완전히 종료하고, 다시 생성시켰을 때 깨끗한 상태에서 시작될 것으로 기대한다는 것입니다. 이러한 시나리오에 대한 기본 시스템 동작은 사용자의 기대 사항과 일치합니다. 즉, Activity의 인스턴스Activity에 저장된 모든 상태Activity와 관련된 상태 레코드삭제되고 메모리에서 제거되는 것을 의미합니다.

완전 제거 규칙에는 몇 가지 예외가 있습니다. 예를 들어, 뒤로 버튼을 누른다고 해도 브라우저 같은 앱에서는 Activity가 종료되는 것이 아닌 전 페이지를 보여줍니다.

시스템에 의한 UI 상태 제거

사용자는 화면 회전 또는 멀티태스킹 모드 전환으로 같은 설정의 변경(Configuration Changes) 에서 Activity의 UI 상태가 동일하게 유지될 것으로 기대합니다. 그러나 기본적으로 시스템은 이러한 설정의 변경이 일어날 경우 Activity의 UI 상태를 제거하고 Activity를 제거합니다. 설정의 변경에 대해서는 설정 참조 페이지 를 참조하세요. 참고로, 설정의 변경에 대해 기본 동작을 재정의하는 것은 권장되지는 않지만 가능합니다. 자세한 내용은 설정의 변경에 대한 재정의 를 참조하세요.

또한 사용자는 임시로 다른 앱으로 전환한 다음에 앱으로 돌아올 경우 Activity의 UI 상태가 동일하게 유지될 것으로 기대합니다. 예를 들어 사용자는 검색 Activity에서 검색을 수행한 다음 홈 버튼을 누르거나 전화 통화에 응답합니다. 다시 검색 Activity에 돌아가면 이전과 마찬가지로 검색 키워드와 그에 맞는 결과가 보여질 것으로 기대합니다.

이 시나리오에서는 앱이 백그라운드에서 실행되며 시스템이 앱 프로세스를 메모리에 저장하기 위해 최선을 다합니다. 그러나 시스템은 사용자가 앱과 상호 작용하지 않는 동안 애플리케이션 프로세스를 파괴할 수 있습니다. 이러한 경우 Activity 인스턴스는 해당 Activity에 저장된 모든 상태와 함께 제거됩니다. 사용자가 앱을 다시 실행하면 예기치 않게도 깨끗한 상태가 됩니다. 프로세스 중단에 대한 자세한 내용은 프로세스 및 애플리케이션 라이프사이클 주기를 참조하세요.

UI 상태 보존 옵션

UI 상태에 대한 사용자의 기대가 기본 시스템 동작과 일치하지 않는 경우 시스템 시작 파괴가 사용자에게 영향을 미치지 않도록 사용자의 UI 상태를 저장 및 복원해야 합니다.

UI상태를 보존하기 위한 각 옵션은 사용자 경험에 영향을 미치는 차원에 따라 달라집니다.

UI 상태 저장하기

ViewModelSavedStateInstance로컬 스토리지
저장 위치메모리직렬화되어 디스크 내부디스크 또는 네트워크
설정 변경의 경우 살아남음
시스템에 의해 제거될 경우 살아남음아니오
사용자가 제거할 경우 살아남음아니오아니오
데이터 제한복잡한 객체도 괜찮지만 메모리 공간에 의해 제한될 수 있음Primitive Type나 작은 객체(String)만 해당디스크 공간 및 네트워크 리소스의 쿼리 시간에 의해 제한될 수 있음
읽기/쓰기 시간빠름(메모리 엑세스만 필요)느림((역)직렬화 및 디스크 엑세스 필요)느림 (디스크 엑세스 또는 네트워크 트랜잭션 필요)

ViewModel를 사용하여 설정 변경의 경우에 대한 처리

ViewModel은 사용자가 애플리케이션을 사용하는 동안 OS 관련 데이터를 저장하고 관리하는 데 적합합니다. 이를 통해 UI 데이터에 빠르게 액세스 할 수 있으며, 화면 회전이나, 창 크기 조정 및 기타 일반적으로 발생하는 설정 변경을 방지할 수 있습니다. ViewModel을 구현하는 방법에 대한 자세한 내용은 ViewModel 가이드를 참조하세요.

ViewModel은 데이터를 메모리에 유지하므로 디스크나 네트워크의 데이터보다 접근하는 것보다 더 저렴합니다. ViewModel은 Activity 또는 다른 LifecycleOwner과 연결되며, 시스템은 설정 변경으로 인해 발생한 새 Activity 인스턴스와 ViewModel을 자동으로 연결합니다.

ViewModel은 사용자가 Activity또는 Fragment을 사용하지 않거나 finish()를 요청하면 시스템에 의해 자동으로 제거됩니다. 즉, 이러한 시나리오에서 사용자가 예상하는 대로 상태가 지워집니다.

onSavedInstanceState와 달리 ViewModels는 시스템에 의해 제거될 경우 같이 제거됩니다. 따라서 ViewModel과 함께 onSaveInstanceState (또는 다른 저장 방법)을 사용하여 onSavedInstanceState에 ID를 저장하여 ViewModel의 데이터 복구를 도우는 등의 행동을 해야 합니다.

설정 변경 때 UI 상태를 저장하기 위한 메모리 내 방법이 이미 있다면 ViewModel를 굳이 사용할 필요는 없습니다.

onSavedInstanceState를 백업으로 사용하여 시스템에 의해 제거될 경우에 대한 처리

onSaveInstanceState() 메서드에는 시스템이 UI 컨트롤러(Activity 또는 Fragment)를 제거한 후 다시 생성하는 경우 UI 컨트롤러 상태를 다시 로드하는 데 필요한 데이터가 저장됩니다. 저장된 인스턴스 상태를 구현하는 방법에 대한 자세한 내용은 Activity 라이프 사이클 가이드에서 Activity 상태 저장 및 복원을 참조하세요.

SavedInstanceBundle은 설정 변경 및 시스템에 의한 제거 둘 다 유지하지만 디스크에 데이터를 보존하기 때문에 저장 용량과 속도에 따라 제한됩니다. 직렬화할 개체가 복잡한 경우 직렬화하는 데 많은 메모리가 소모될 수 있습니다. 이 프로세스는 설정 변경 중에 메인 스레드에서 발생하므로, 직렬화하는 데 너무 오래 걸릴 경우 프레임 손실과 시각적 스터칭이 발생할 수 있습니다.

onSaveInstanceState()를 사용하여 대량의 데이터를 저장하거나 긴 (역)직렬화가 필요한 복잡한 데이터 구조를 저장하지 마십시오. 대신 Primitive 유형과 String와 같은 단순하고 작은 객체만 저장하십시오. 따라서 onSaveInstanceState()를 사용하여 ID와 같이 최소한의 데이터만 저장하고 다른 지속성 메커니즘(ViewModel 등)이 실패할 경우 UI를 이전 상태로 복원하는 데 사용하세요. 대부분의 앱은 시스템에 의해 제거된 경우를 처리하기 위해 onSaveInstanceState()를 구현해야 합니다.

애플리케이션의 사용 사례에 따라 onSaveInstanceState()를 전혀 사용할 필요가 없을 수도 있습니다. 예를 들어 브라우저를 사용하면 사용자가 브라우저를 종료하기 전에 보던 웹 페이지로 돌아갈 수 있습니다. Activity가 이러한 방식으로 수행되는 경우 onSaveInstanceState()를 사용하지 않고 모든 작업을 로컬로 유지할 수 있습니다.

또한 Intent를 통해 Activity를 시작할 때 설정 변경과 시스템에 의해 제거된 경우를 복원할 때 모두 Activity Bundle가 제공됩니다. Activity를 시작할 때 UI 상태 데이터가 추가 용도로 전달된 경우에는 SavedInstanceBundle 대신 Extra Bundle을 사용할 수 있습니다. Intent Extras에 대한 자세한 내용은 Intent 및 Intent Filter를 참조하세요.

이러한 시나리오 중 하나에서는 설정 변경중에 데이터베이스에서 데이터를 다시 로드하는 로직이 낭비되지 않도록 ViewModel을 사용해야 합니다.

보존할 UI 데이터가 단순하고 가벼울 경우onSaveInstanceState()를 통해서 데이터를 보존할 수 있습니다.

참조: 이제 Saved State 모듈을 사용하여 ViewModel 객체에 Saved State를 제공할 수 있습니다. 저장된 상태는 SavedStateHandle라는 객체를 통해 접근할 수 있습니다. Android Lifecycle-aware components 코드랩 에서 어떻게 작동하는지 확인할 수 있습니다.

로컬 스토리지를 사용하여 복잡하거나 큰 데이터에 대한 프로세스 중단 처리

데이터베이스 또는 SharedPreference 과 같은 영구 로컬 스토리지는 애플리케이션이 사용자 기기에 설치되어 있는 동안에는 유지됩니다. 이러한 로컬 스토리지는 사용자에 의하거나 시스템에 의해 제거된 Activity에 대해 모두 대응할 수 있지만, 로컬 스토리지에서 메모리로 읽어 와야 하므로 접근하는 데 많은 비용이 들 수 있습니다. 이러한 영구 로컬 스토리지는 Activity를 열고 닫을 때 손실되지 않아야 할 모든 데이터를 저장하는 애플리케이션의 주 아키텍쳐의 일부일 수 있습니다.

ViewModel 또는 onSaveInstanceState()는 모두 장기적인 임시 스토리지 솔루션이므로 데이터베이스와 같은 로컬 스토리지를 대체할 수 없습니다. UI 상태를 일시적으로 저장하는 데에는 이러한 임시 스토리지 솔루션을 활용할 수 있지만, 보존되어야 할 앱 데이터에는 영구 스토리지를 사용해야 합니다. 로컬 스토리지를 활용하여 애플리케이션 모델 데이터를 장기간 유지하는 방법에 대한 자세한 내용은 애플리케이션 아키텍쳐 가이드를 참조하세요.

UI 상태 관리: 분할 및 정복

Activity를 다양한 유형의 지속성 메커니즘으로 나누어 효율적으로 UI 상태를 저장하고 복원할 수 있습니다. 대부분의 경우, 이러한 메커니즘은 데이터 복잡성, 접근 속도 및 수명의 절충점에 기반하여 Activity에 사용되는 다양한 유형의 데이터를 저장해야 합니다.

  • 로컬 스토리지: 앱을 열고 닫을 때에도 손실되지 않아야 할 데이터
    • 예: 노래 객체, 오디오 파일이나 메타데이터
  • ViewModel: 연결된 UI 컨트롤러를 표시하는 데 필요한 모든 데이터
    • 예: 가장 최근에 검색한 노래와 그 검색어
  • onSavedInstanceState: Activity가 중지되었다가 다시 생성되는 경우 Activity의 상태를 쉽게 로드하는 데 필요한 소량의 데이터. 여기에 복잡한 객체를 저장하는 대신 로컬 스토리지에 복잡한 객체를 유지하고 이러한 객체에 대한 고유 ID를 onSavedInstanceState에 저장합니다.
    • 에: 가장 최근에 검색하는데 사용한 검색어

예를 들어, 노래 라이브러리를 검색하는 Activity를 떠올려 보세요. 다양한 이벤트를 처리하는 방법은 다음과 같습니다.

사용자가 노래를 추가하면 ViewModel은 즉시 이 데이터를 로컬로 유지합니다. 새로 추가된 이 곡이 UI에 표시해야 하는 곡인 경우 ViewModel 객체의 데이터도 업데이트하여 곡을 추가해야 합니다. 메인 스레드에서 모든 데이터베이스 삽입을 수행해야 하는 것을 잊지 마세요.

사용자가 노래를 검색할 때 UI 컨트롤러를 위해 데이터베이스에서 로드한 복잡한 노래 데이터는 즉시 ViewModel 객체에 저장되어야 합니다. 또한 검색 조회 자체를 ViewModel 객체에 저장해야 합니다.

활동이 백그라운드로 진행되면 onSaveInstanceState()를 통해 검색 쿼리를 저장해야 합니다. 적은 양의 데이터에 있어서는 저장하기 쉽습니다. 이 데이터는 Activity를 이전의 상태로 되돌리는 데 필요한 모든 정보라고 할 수 있습니다.

복잡한 상태의 복원 : 부품을 다시 조립하다

사용자가 Activity로 돌아갈 시간이 되면 Activity을 다시 만드는 데 사용할 수 있는 두가지 시나리오가 있습니다.

  • 시스템에 의해 중지된 후 Activity이 재생성 되는 경우: Activity에 저장된 쿼리가onSaveInstanceState() 번들로 제공되며 쿼리를 ViewModel에 전달해야 합니다. ViewModel은 캐시 된 검색 결과가 없음을 확인하고 검색 쿼리를 사용하여 검색 결과를 로드합니다.
  • Activity가 설정 변경에 의해 재성성 되는 경우: ViewModel가 이미 캐시된 검색 결과가 있으므로 데이터베이스에 다시 요청할 필요가 없습니다.

참조: Activity가 처음 생성되면 onSavedInstanceState() 번들에는 데이터가 없으며 ViewModel 또한 비어있습니다. ViewModel 객체를 생성할 때 빈 쿼리를 통과하여 ViewModel 객체에 아직 로드할 데이터가 없음을 알 수 있습니다. 따라서 깔끔한 상태에서 Activity가 시작됩니다.

추가 링크

UI 상태 저장에 대한 자세한 내용을 알고 싶다면, 다음 링크를 참조하세요.