Zero Copy를 아시나요? with kotlin S3 upload

코드레벨에서 파일 전송 등 local storage(e.g. disk)에서 파일을 읽어서 외부로 보내는 로직을 구성했다면 어떤 과정을 거치게 될까요?

보통 크게는 다음과 같은 구조를 띄게 됩니다.

1. OS kernel context에서 local storage에 있는 파일을 읽어 Read Buffer에 담고
2. Application context에서 파일 데이터를 Application Buffer에 올리고 다시 kernel context의 Socket Buffer로 전달
3. NIC Buffer를 통해 외부로 전송

 

여기서 Buffer 간 연결에 주목해볼까요?

위에 포커스한 부분을 살펴보면 Application Buffer에 데이터를 한 번 더 복제하는 걸 확인할 수 있습니다.
근데 이 부분 낭비같은데 좀 효율화해볼 순 없을까? 라는 관점에서 발전된 게 바로 Zero Copy 입니다.

Zero Copy에 대해 본격적으로 알아보기 전에 DMA copy와 CPU copy의 차이에 대해서 짧게 알아보겠습니다.

DMA(Direct Memory Access) copy vs CPU copy

DMA(Direct Memory Access)는 CPU의 개입 없이 주변장치와 메인 메모리 사이에 직접 데이터를 전송할 수 있게 해주는 컴퓨터 시스템의 기능을 말합니다.

여기서 DMA의 주요 특징은 CPU를 거치지 않는다는 점입니다.
이는 DMA가 동작하는 동안 CPU는 다른 작업을 병행할 수 있음을 의미하는데, DMA를 사용하면 CPU의 부담을 주지 않고 시스템 메모리에 직접 접근하면서 데이터 전송의 효율성을 높이게 됩니다.

반면에 CPU copy는 CPU를 점유해야 하므로 여기서 오는 차이점을 생각해볼 수 있을 겁니다.

결론적으로 DMA는 특히 처리량이 많은 현대 컴퓨터 시스템에서 꽤 중요한 역할을 하고 데이터 집약적인 작업과 입출력이 많은 시스템에서는 더욱더 중요하다는 걸 이해해볼 수 있습니다.

자 이제 본격적으로 Zero Copy에 대해서 알아볼까요?

Zero Copy

Zero Copy는 말 그대로 application buffer로 copy할 필요 없이 kernel context에서 바로 Socket Buffer에 데이터를 전달하는 방법입니다.

Zero Copy를 적용하면 크게는 아래와 같은 구조를 띄게 됩니다.
아래 다이어그램에서 application context의 buffer를 사용하지 않고 kernel context에서만 데이터가 이동하는 걸 확인해보세요.
(transferTo()는 단순히 표현을 위해 Java methed name를 기록했습니다)

Context Switch와 Zero Copy

위에서 살펴본 구조를 보면 자연스럽게 리소스 측면에서 이점이 있을 거라는 예측이 가능합니다.
그리고 이런 구조는 OS의 컨텍스트 스위칭 과정에서도 이점을 가져옵니다.

전통적인 방식의 파일 전송에서는 다음과 같은 구조로 컨텍스트 스위칭이 일어납니다.

위 다이어그램에서 user mode와 kenel mode를 오가는 스위칭 횟수를 주목해보면,
총 4번의 컨텍스트 스위칭이 발생하는 걸 확인할 수 있습니다.

그렇다면 Zero Copy의 경우는 어떨까요?

위 다이어그램을 보면 Kernel mode에서 바로 데이터를 전송하기 때문에 컨텍스트 스위칭이 2번만 일어나는 걸 볼 수 있습니다.
이렇듯 Zero Copy를 사용하면 컨텍스트 스위칭이 줄어들면서 시스템 속도 향상의 효과도 가져갈 수 있습니다.

 

Zero Copy의 단점

Zero Copy는 성능적 이점을 가져오는 건 분명하지면 특정 요구사항에서만 유효할 수 있습니다.

예를 들어 중간에 데이터를 수정해야 하는 데이터 파이프라인의 경우는 어떨까요?

데이터 수정을 위해 application memory에 데이터를 옮겨야하므로 application context의 buffer로 copy가 필요합니다.
하지만 zero copy는 kernel context의 buffer에서만 데이터를 옮기므로 데이터 수정이 불가능한 단점이 있습니다.
이는 암호화, 압축 등의 로직을 수행할 수 없다는 걸 의미합니다.

또한, 작은 데이터에 대해서는 오히려 오버헤드가 생길 수 있고비효율적일 수 있습니다.
그리고 NIC(Network Interface Card)등 하드웨어 지원에 크게 의존합니다. 

예를 들어 NIC가 체크섬 생성을 지원하지 않는 경우 커널이 데이터를 직접 처리해야 해서 제로 카피의 이점이 사라질 수 있습니다.
(*체크섬: 데이터의 무결성을 보호하고 오류를 검출하기 위한 방법)

 

Zero Copy의 활용 사례

Zero Copy는 주로 대용량 데이터를 안전하고 빠르게 다루기 위한 고민들을 하는 데이터 엔지니어링 분야에서 주로 활용됩니다.
대표적으로 kafka에서도 zero copy를 활용해 메시지 전송을 효율화합니다.

 

Kotlin S3 upload에 zero copy 적용하기?

사실 현 시점에서 AWS Java/Kotlin SDK는 zero copy를 지원하지 않습니다.

Java/Kotlin에서 zero copy를 활용하기 위해서는 java.nio.channels 패키지를 활용해야 하는데, AWS Java/Kotlin SDK에서는 아직 해당 패키지를 지원하지 않는 걸로 보입니다.
관련 내용이 좀 더 궁금하신 분들은 https://github.com/aws/aws-sdk-java-v2/issues/3928 를 참고해 보시는 걸 추천합니다.

대신 AWS Java/Kotlin SDK는 멀티파트 업로드를 지원해서 나름의 최적화가 되어있다고 하니 믿고 사용해도 좋을 것 같습니다 :)

 

 

마무리하며

여기까지 zero copy에 대해서 알아봤습니다.
저는 주로 서버 개발을 하고 있지만 최근에 데이터 엔지니어링, AI 분야를 공부하면서 여러 인사이트를 얻고 있습니다.
이 과정에서 유기적으로 연결되는 것들이 보이고 좀 더 좋은 소프트웨어를 설계하기 위한 관점들을 익혀가는 것 같아요.
여러분들도 내가 잘 모르는 분야도 알아보면서 세상을 보는 관점을 풍부하게 만들어보시는 건 어떨까요?

지금까지 긴 글 읽어주셔서 감사합니다 :)

 

Reference

• https://developer.ibm.com/articles/j-zerocopy/