• summary
• 내 가설에 얹을 수 있을까?

Abstract

• 현대 온라인 서비스 확장하면서 monolithic application이 loosely-coupled microservices가 되어간다
• 네트워크 및 Software Stack 최적화는 이뤄졌지만 internal format과 message간 변환을 수행하기 위한 Data Transformation(DT)는 주요 bottle-neck 되는 중
• 그래서 programable DT HW 가속기 Optimus Prime(OP) 제안

1. Introduction

• warehouse-scale computer에서 기존 application은 단순 binary 기반 많았는데, 요즘은 Remote Procedure Call (RPC) or RESTful API 활용 통신함. 각자 자기꺼에 맞춘 언어로 data format 사용해서 DT가 필요해짐
• 네트워크랑 프로토콜 성능은 비약적으로 향상되었고 병목은 서버 내부로 이동했음. 결국 DT 최적화 필요하다, 이론적으로 모두 단일 data format이면 DT 필요 없고 NIC 수준 network 속도 가능
• 근데 practice에서 DT 필요하고, 원래 SW에서 처리해서 CPU의 ISA에 의존했고 표현력 떨어지니 DT는 microservice RPC간 병목이었음
• DT에서 동적 명령 실행이 많아서 data-dependent control flow로 인해 branch prediction 제약 있고 성능 개선 어려움
• thread 병렬화 가능하긴한데, transformation이 너무 fine-grained라서 synchronization cost 때문에 비효율적
• key insight: HW 병렬화 가능한데 ISA에서 표현할 때 message field가 implicit하니 이거 explicitly 드러낼 수 있도록 abstraction 하고 구현할 것
• 메세지 생성 과정에서 framework에 의해 생성되는 in memory schema 활용할거고 general purpose 고려함
• Optimus Prime 만들었고 성능 향상 보였음

2. Why Accelerate DT?

• microservice는 범용성 확장성 개발속도 등등 유망한 paradigm이 되었고 SW component 세분화돼있어서 모듈화돼있음. RPC나 REST와 같은 API로 상호 연결

• 개발자는 DT를 위해 google의 Protocol Buffer (Protobuf)나 Meta/Apache의 Thrift같은 framework 사용하고 얘네가 메세지 포맷 정의하고, DT하고 decoding하는 코드 생성함

  

• software stack 예시

  • App1이 Person object를 argument로 App2에 RPC 호출
  • App1은 DT framework가 생성한 코드를 통해 object를 binary wire format으로 변환 (Serialization)
  • 얘는 RPC 계층으로 전송되고, App2는 역순으로 deserialize함.
  • 중요한 점은 같은 format을 사용하는 microservice간에도 항상 수행된다! 송수신단에선 byte stream으로 flatten해야하기 때문