2장 개략적인 규모 추정

2의 제곱수

• 분산 시스템에서 다루는 데이터 양은 엄청나게 커질 수 있으나 그 계산법은 기본을 크게 벗어나지 않는다.

• 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 알아야 한다.

• 최소 단위는 1바이트고 8비트로 구성된다

• 아스키 문자 하나가 차지하는 메모리 크기는 1바이트다.

모든 프로그래머가 알아야 하는 응답지연 값

(수치 이미지 추후 추가)

• 제시된 수치들을 분석하면 다음과 같은 결론이 나온다.

1. 메모리는 빠르지만 디스크는 아직도 느리다.

2. 디스크 탐색(seek)은 가능한 한 피하라

3. 단순한 압축 알고리즘은 빠르다.

4. 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.

5. 데이터 센터는 보통 여러 지역에 분산되어 있고 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.

가용성에 관련된 수치들

• 고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다.

• 고가용성을 표현하는 값은 퍼센트로 표현한다.

• 100%는 시스템이 단 한번도 중단된 적이 없었음을 의미한다.

• SLA는 서비스 사업자가 보편적으로 사용하는 용어로 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

• 이 합의에는 서비스 사업자가 제공하는 서비스의 가용시간 ( uptime ) 이 공식적으로 기술되어 있다.

• 아마존, 구글, 마이크로소프트 같은 사업자는 99% 이상의 SLA를 제공한다.

• 가용시간은 관습적으로 숫자 9를 사용해 표시한다.

• 9가 많을수록 좋다.

(표 나중에 추가 )

예제: 트위터 QPS와 저장소 요구량 추정

• 가정
  • 월간 능동 사용자는 3억명이다.
  • 50%의 사용자가 트위터를 매일 사용한다.
  • 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
  • 미디어를 포함하는 트윗은 10% 정도다.
  • 데이터는 5년간 보간된다.

• 추정
  • QPS (query per second) 추정치
    • 일간 능동 사용자 = 3억 * 50% = 1.5억
    • QPS = 1.5억 * 2트윗 / 24시간 / 3600초 = 약 3500
    • 최대 QPS = 2 * QPS = 7000

• 미디어 저장을 위한 저장소 요구량
  • 평균 트윗 크기
    • tweet_id에 64바이트
    • 텍스트에 140바이트
    • 미디어에 1MB
  • 미디어 저장소 요구량 = 1.5억 * 2 * 10% * 1M = 30TB / 일
  • 5년간 미디어를 보관하기 위한 저장소 요구량 = 30TB * 365 * 5 = 55PB

팁

• 면접시에 완벽하게 계산하려고 하지말고 근사치를 활용하여 시간을 절약하자

• 가정들은 적어두라 나중에 살펴볼수 있게

• 단위를 붙여라 5라고만 적으면 5mb인지 tkb인지 알수가 없다.

• 많이 출제되는 문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정하는 것이다.

Uploaded by Notion2Tistory v1.1.0