2. Evaluation에 앞서, microservice workload의 구조적 특성과 시스템 자원 소모의 패턴을 이해하기 위해 관련 배경을 다음과 같이 정리하였습니다. 이를 기반으로 하여 평가 methodology를 설계하고자 합니다.

[Microservice Workload Characteristics]

• Microservice는 중첩된 (nested) 호출 구조를 가지며, 전체 서비스의 호출 경로는 graph 형태의 call tree로 표현된다. 이에 따라 microservice architecture의 성능 분석에는 전체 서비스의 call depth와 microservice간의 dependency가 반영되어야 한다.

• 하나의 사용자 요청은 수십 개의 microservice path를 포함할 수 있으며, 특정 software module에서 발생한 병목이 전체 요청에 대한 응답 지연을 유발할 수 있다. 따라서 전체 end-to-end 서비스의 tail-latency 및 Service Level Agreement (SLA) 만족 여부는 주요 평가 지표로 작용할 수 있다.

• Microservice 구조에서 RPC 기반 통신은 송수신 queue, RPC 처리 stack, network stack 등 소프트웨어 계층의 추가적인 메모리 할당을 요구하므로 Request per Second (RPS) 증가와 메모리 할당에 대한 delayed reclaim은 fast tier 계층의 memory pressure를 증가시킬 수 있다.

  

  Microservices [Gan et al., ASPLOS 2019]

[DeathStarBench suite]

• DeathStarBench는 microservice workload 평가를 위한 대표적인 benchmark suite 중 하나로, 실제 cloud 서비스의 현실적인 호출 깊이를 반영한 총 5개의 end-to-end 서비스를 포함한다 [Gan et al., ASPLOS 2019].

  • Social network, media streaming, E-commerce, banking, drone swarm (IoT) 등 실제 시나리오 기반 구성
  • RPC framework (e.g. Apache Thrift, gRPC) 및 NGINX, Memcached, MongoDB 등 오픈 소스 소프트웨어 스택을 기반으로 구현

• DeathStarBench는 다양한 microservice 연구에서 실증적 benchmark로 채택되어 왔으며, 신뢰성 있는 workload로서 선행 연구들과의 정합성을 확보할 수 있다 [Seemakhupt et al., SOSP’23], [Pourhabibi et al., MICRO’21], [Pourhabibi et al., ASPLOS’20].

• 개인 연구의 평가 환경은 Request generator와 CXL-based tiered memory system으로 구성하며, DeathStarBench를 기반으로 RPS 증가에 따른 memory tier별 page movability 변화, 각 microservice-level 및 전체 end-to-end level에서 성능에 미치는 영향을 관찰하고자 한다.

  

  RPC components [Seemakhupt et al., SOSP’23]

[Meta?]

1. INTRODUCTION

• 확장성, 개발 속도, programability 등으로 오늘날 온라인 서비스는 microservice 기반
• microservice 아키텍처는 일반적인 distributed 시스템과 마찬가지로 통신 계층 의존하며 RPC 방식 사용
• Google의 gRPC, Meta의 Thrift 등 cloud 기업들은 custom RPC 계층 개발 중
• 네트워크(100Gbps NIC[16][49]), 전송 프로토콜[27,67], system software의 발전[9,15,23..]으로 RPC 계층이 못따라감. 원래의 비즈니스 로직이 아닌 통신 오버헤드에 소요된다는 뜻. microservice 성능 감소 중
• CPU 성능은 NIC line 속도에 비해 수 배 뒤처진다. application ↔ network format DT 변환에 비효율적인데, 이게 RPC 작업의 95% 이상
• 단순 DT 가속에는 CPU가 여전히 RPC의 critical path에 관여하는 co-processor 구조라서 한계 있음, RPC 요청마다 CPU가 개입해서 명령어 전달하는 offload overhead