Cloud deploy

skaffold의 렌더링을통해 쿠베네티스 환경 배포 관리

skaffold 란?

skkafold 는 BUILD,DEPLOY,RENDERING 하여 배포를 관리

skaffold rendering이란?

  • manifest를 rendering하여 Kubernetes deployment 환경에게 전달
  • rendring의 역할은 yaml파일의 value 값을 치환해 전달

예시

deployment.yaml 의 컨테이너 이미지 app-image라는 값을 쿠베네티스 배포 환경에서 실제 도커 허브의 저장소 위치로 변환시켜준다.
따라서 rendering시 우리는 이미지 경로를 skaffold에게 이미지 경로를 parameter값으로 넘겨준다.


apiVersion: apps/v1
kind: Deployment
metadata:
  name: helloworld-app
spec:
  template:
    spec:
      containers:
        - name: hello-world-apps
          image: app-image # <---- replace

rendering시 helm, kustomize 관리도구를 사용할 수 있다.
https://skaffold.dev/docs/renderers/

Cloud deploy 란?

Cloud deploy는 파이프라인, 타겟으로 구성이 되어있어 skaffold를 이용하여 쿠베네티스 환경에 배포한다.

  • 타겟은 배포되야할 워커 노드풀을 정한다
  • 파이프라인은 배포 대상,배포 전략을 정한다
  • 파이프라인,타겟(cloud-deploy)를 구성 하면 1 : N의 관계로 릴리즈라는것을 생성할수 있다.
  • 릴리즈를 통해 롤백 및 배포 관리를 한다.
  • 파이프라인에 profiles(skaffold.yaml에 설정)을 구분하여 target에 배포한다.

젠킨스 비유

  • GCP cloud deploy 파이프라인 - 젠킨스 job launcher
  • GCP Cloud deploy 릴리즈 - 젠킨스 job 히스토리

파이프라인, 타겟 구성하기

  1. clouddeploy.yaml 정의
apiVersion: deploy.cloud.google.com/v1
kind: DeliveryPipeline
metadata:
 name:
 annotations:
 labels:
description: # 설명
suspended: #true: 릴리즈 재사용 금지 default: false
serialPipeline: # pipeline 정의 시작
 stages:
 - targetId: #아래 kind Target의 metadata.name 이 들어감
   profiles: [] # manifest profile 환경 skaffold -profile sandbox
# Deployment strategies
# One of:
#   standard:
#   canary:
# See the strategy section in this document for details.
   strategy:
     standard:
       verify: #배포 확인 skaffold.yaml verfiy스탠자 필요
       predeploy:
         actions: []
       postdeploy:
         actions: []
   deployParameters:
   - values:
     matchTargetLabels:
 - targetId:
   profiles: []
   strategy:
   deployParameters:
---

apiVersion: deploy.cloud.google.com/v1
kind: Target
metadata:
 name:
 annotations:
 labels:
description:
multiTarget:
 targetIds: []
deployParameters:
requireApproval:
#
# Runtimes
# one of the following runtimes:
gke:
 cluster:
 internalIp:
#
# or:
anthosCluster:
 membership:
#
# or:
run:
 location:
# (End runtimes. See documentation in this article for more details.)
#
executionConfigs:
- usages:
  - [RENDER | PREDEPLOY | DEPLOY | VERIFY | POSTDEPLOY]
  workerPool:
  serviceAccount:
  artifactStorage:
  executionTimeout:
  1. cloud deploy.yaml(pipeline, target) 배포 명령어 (https://cloud.google.com/sdk/gcloud/reference/deploy/apply)
    gcloud deploy apply --file=clouddeploy.yaml \ --region=asia-northeast3 \ --project={PROJECT_ID}

skaffold RENDERING 예제

  apiVersion: skaffold/v4beta7
  kind: Config
  metadata:
    name: helloworld-app
  profiles:
    - name: sandbox # cloud deploy stages profile과 동일시하기
      manifests:
        kustomize:
          paths:
            - overlays/sandbox
    - name: dev # cloud deploy stages profile과 동일시하기
      manifests:
        kustomize:
          paths:
            - overlays/dev
  manifests:
    kustomize:
      paths:
        - overlays/dev

  apiVersion: skaffold/v4beta6
  kind: Config
  manifests:
    helm:
      releases:
        - name: RELEASE_NAME
          chartPath: PATH_TO_HELM_CHART
          artifactOverrides:
            image: IMAGE_NAME

github action을 통한 Cloud deploy release 생성 명령어

cloud deploy create release-> cloud build -> skaffold를 통해 렌더링된 manifset -> 쿠베네티스 배포

      - name: Create release in Google Cloud Deploy
        run: |
          gcloud deploy releases create r-${{ inputs.service-name }}-api-${{ env.IMAGE_TAG }} \
                --skaffold-file ${{ inputs.skaffold-file-path }} \
                --delivery-pipeline ${{ inputs.delivery-pipeline }} \
                --to-target ${{ inputs.env }} \
                --region ${{ inputs.location }} \
                --annotations commitId=${{ github.sha }} \
                --images app-image=${{ inputs.base-app-image }}/${{ inputs.service-name }}/api:${{ env.IMAGE_TAG }}

참고자료

https://cloud.google.com/deploy/docs/using-skaffold?hl=ko#how_does_use_skaffold

Cloud Deploy에서 Skaffold는 어떻게 사용되나요?

  • 출시 버전을 만들 때 컨테이너 이미지에 대한 렌더링 소스 및 참조가 Cloud Deploy로 전달됩니다.
  • 출시 버전을 만들 때 Cloud Deploy는 Cloud Build를 호출하고, Cloud Build는 다시 skaffold diagnose 및 skaffold render를 호출해서 해당 렌더링 소스 및 이미지를 사용하여 매니페스트를 렌더링합니다.

python-replication-mysql는 Master에 최대한 부하를 주지 않고 데이터 분석, CDC를 가능하게 만드는 프로젝트이다.

국내기업에서는 카카오, 원티드 해외기업에서는 아마존에서 CDC로 사용되고있는 오픈소스 프로젝트이다.

 

개인적으로 아래 재밌게 본 영상인데 해당 DB장애도 BINLOG 기반으로 복구하였다.

python-replication-mysql도 Binlog 바탕으로 DDL, DML을 python 객체로 다시한번 wrapping 해주는 프로젝트로 보면된다.

그렇다면 같은 상황에서 python-replication-mysql로 DB를 복구해 나갈수 있었을까?

정답은 그때는 안된다. 하지만 오픈소스 기여로 이젠 할수있다.

1. 문제 원인

위와 같은 비슷한 예제이다

 

1) 내가 매일 9시에 새로운 테이블을 생성하고 이전 테이블을 Drop 시키는 일을 한다.
2) 10시에 이전 Drop된 테이블에 대한 정보를 Binlog기반으로 백업용 DB에 다시 넣는다.

 

2번을 작업할때 python-replication-mysql 오픈소스를 사용하면 문제가 발생한다.

원인은 현재 데이터베이스 테이블의 구조에 의지하기 때문이다.

자세히 설명하자면 TableMapEvent가 발생시 Binlog의 패킷을 통해 schema,table 이름의 값을 얻어올 수 있는데 이를 바탕으로 실제 Master DB에 아래와 같이 쿼리를 날린다.

 

SELECT
    COLUMN_NAME, COLLATION_NAME, CHARACTER_SET_NAME,
    COLUMN_COMMENT, COLUMN_TYPE, COLUMN_KEY, ORDINAL_POSITION,
    DATA_TYPE, CHARACTER_OCTET_LENGTH
FROM
    information_schema.columns
WHERE
    table_schema =":schema_name" and table_name = ":table_name"
ORDER BY ORDINAL_POSITION

 


따라서 Drop된 테이블에 대해서 현재 데이터베이스의 테이블이 존재하지 않기 때문에  DELETE,UPDATE,INSERT시 칼럼 맵핑을 하지못하는 치명적인 문제가 발생한다.

2. 해결방법

이벤트 시점의 테이블 칼럼정보를 흭득해야 한다.

  1. CDC 사용
    • Debezium으로 Kafka connect를 사용하여 DDL 변경건에 대해서 Consume한다.
    한계점
    • kafka에 의존적인 관계 생성
    • kafka consume이 매번 python-replication-mysql 애플리케이션 이벤트 받는시점보다 앞서서 받는것을 보장해야한다.
  2. Table Map Event의 optional metadata 사용 ✅
    • Mysql 8.0부터 optional metadata를 제공
    • optional metadata는 이벤트 발생시점의 칼럼 정보를 Binlog에 저장해서 전달해줌
    • binlog_row_metadata ='FULL' 변수 설정해야함

1번은 치명적인 문제가있었다.
kafka consumer는 Binlog의 이벤트가 들어오는 순서보다 무조건 먼저 들어와야된다는 것을 보장해야한다.
DDL 변경된 것이 더 늦는다면 Debezium을 붙이는 의미가 없기 때문에 2번으로 결정했다.


2번의 한계도 분명히 존재했는데 MYSQL 8.0 이전 사용자들은 binlog_row_metadata를 설정할 수 없다.

3. 개발 계획

개발을 진행하기 앞서 더이상 BINLOG의 패킷을 통해 들어온 정보들을 제외하고 실제 데이터베이스에 의존적이면 안된다고 생각했다.

위 SELECT에서 받아온 정보 DATA_TYPE, COLUMN_COMMENT, CHARACTER_OCTET_LENGTH이 당장의 이득이 될수 있어도 먼 미래를 생각한다면 다 제거하는게 옳다고 생각했다.

 

메인테이너에게 이 주제에 대해 얘기를 나누고 MYSQL 5.7 사용자들에게는 기존 0.44 버전까지만을 제공하자고 제안했다.

https://github.com/julien-duponchelle/python-mysql-replication/issues/473

 

How about remove information about self.column_schemas? · Issue #473 · julien-duponchelle/python-mysql-replication

What do you think about removing the information about self.column_schemas? Currently we are getting the value of Column schema from information_schema and using it for Column object information (d...

github.com


제안에 대한 답변

 

 


따라서 총 3가지 작업을 진행했다.

1. 현재 데이터베이스의 Column Schema 의존성 제거

2. OptionalMetaData 추출

3. 추출한 값을 토대로 이벤트 시점의 column 업데이트

 

4. 보충 설명

optional_meta_data는 event 발생시점의 Columns의 정보가 Binlog에 저장되어있다.

실제 Binlog 패킷을 파씽해서 데이터를 얻을 수 있다.

 

파씽 결과

 

=== OptionalMetaData ===
unsigned_column_list: [False, False]
default_charset_collation: None
charset_collation: {}
column_charset: []
column_name_list: ['id', 'json_data']
set_str_value_list : []
set_enum_str_value_list : []
geometry_type_list : []
simple_primary_key_list: [0]
primary_keys_with_prefix: {}
visibility_list: [True, True]
charset_collation_list: []
enum_and_set_collation_list: []

 

5. 마치며

위 이슈에 대해 같은 고민을 했던 오픈소스 사용자들의 반응도 흥미로웠다.
python-replication-mysql 이 0버전대가 아닌 1버전대로 올라가는 계기도 되었다.

 

 

 

Reference


 

MySQL: binary_log::Table_map_event::Optional_metadata_fields Struct Reference

Metadata_fields organizes m_optional_metadata into a structured format which is easy to access. More... Metadata_fields organizes m_optional_metadata into a structured format which is easy to access.

dev.mysql.com

 

TABLE_MAP_EVENT

Precedes each row operation event and maps a table definition to a number.

mariadb.com

 

카프카 컨수머를 공부하다보면 많은 비슷한 단어로 혼동이온다. 

인터넷에 찾아봐도 잘 나오지 않고 왜 이런 명칭이 나왔는지 배경과 코드를 보며 알아봤습니다.

 

 

1. ClientId

 

공식문서 

An id string to pass to the server when making requests. The purpose of this is to be able to track the source of requests beyond just ip/port by allowing a logical application name to be included in server-side request logging.

 

요청을 할 때 서버에 전달할 ID 문자열입니다.

이는 서버 측 요청 로깅에 논리적 애플리케이션 이름이 포함되도록 허용하여 단순한 IP/포트를 넘어 요청의 출처를 추적할 수 있도록 하기 위한 것입니다.

 

목적

브로커에 찍힌 컨수머의 로깅 추척 

 

배경

아래의  링크 Description을 보면 브로커에서 어느 컨슈머에서 요청을 한것인지 request log를 보는데 어느 컨수머인지 확인이 불편했습니다.

많은 컨수머 중 어떤 컨수머 그룹에서 요청을 보냈는지 알 수 없었던 것입니다. 따라서 ClientId가 컨수머 그룹 ID 정보까지 저장하는 형태로 변경하기로 했습니다.

 

kafka 관련 Issue

 

코드 level

 

기존 ClientId 할당

기존에는 ClientId 값을 Auto increment로 할당을 해주는것을 볼수있습니다.

변경된 ClientId 할당

변경된 코드 부분에서는 GroupId(컨수머 그룹) 값도 넣는것을 볼 수 있습니다.

ConsumerConfig로직

원래 ClientId 할당 로직이 KafkaConsumer 생성자에 있었지만 현재는 ConsumerConfig 클래스에서 책임을 갖도록 리팩토링되었습니다.

 


2. member.id

 

member.id에 대해 정확히 나온곳이없어서 카프카 이슈를 둘러보다가 발견했습니다.

 

A new consumer joins the group with member.id field set as UNKNOWN_MEMBER_ID (empty string), since it needs to receive the identity assignment from broker first. For request with unknown member id, broker will blindly accept the new join group request, store the member metadata and return a UUID to consumer.

 

새 Consumer는 브로커로부터 신원 할당을 먼저 받아야 하므로 member.id 필드가 UNKNOWN_MEMBER_ID(빈 문자열)로 설정된 상태로 그룹에 가입합니다. 알수없는 member.id 요청의 경우, 브로커는 새 그룹 가입 요청을 맹목적으로 수락하고 멤버 메타데이터를 저장한 후 소비자에게 UUID를 반환합니다.

 

목적

group Coordinator(broker 중 하나)과  컨수머 JoinGroup 요청시 고유 식별자 memberId를 보내 사용됩니다.

컨수머 하트비트 전송시에도 memberId를 보내 줍니다.

https://www.confluent.io/blog/apache-kafka-data-access-semantics-consumers-and-membership/

kafka 관련 Issue

 

코드 level

memberId는 컨수머 그룹에 등록됐을때 초기화 됩니다.

memberId 할당 부분을 봅시다.

 

GroupCoordinator 코드

memberId가 Consumer group 요청시 초기 memberId값은 UNKNOWN_MEMBER_ID이다.

그 이후 doNewMemberJoinGroup 로직으로 들어가게 됩니다.

 

doCurrentMemberJoinGroup 로직 부분은 4번 group.instance.id와 연관이있어 뒤에서 설명하겠습니다.

GroupCoordinator 코드

 

ClientId값과 UUID의 혼합값으로 할당합니다.


3. group.id

 

공식문서

 

A unique string that identifies the consumer group this consumer belongs to. This property is required if the consumer uses either the group management functionality by using subscribe(topic) or the Kafka-based offset management strategy.

 

이 소비자가 속한 소비자 그룹을 식별하는 고유 문자열입니다. 이 속성은 소비자가 subscribe(topic)을 사용하여 그룹 관리 기능을 사용하거나 카프카 기반 오프셋 관리 전략을 사용하는 경우 필요합니다.

 

목적 

컨수머 토픽의 논리적 그룹

 

배경

구독하는 토픽에대해 컨수머들을 묶어서 관리해야하는데 필요한  KafkaConfig 설정입니다.

 


4. group.instance.id

 

공식문서

 

A unique identifier of the consumer instance provided by the end user. Only non-empty strings are permitted. If set, the consumer is treated as a static member, which means that only one instance with this ID is allowed in the consumer group at any time. This can be used in combination with a larger session timeout to avoid group rebalances caused by transient unavailability (e.g. process restarts). If not set, the consumer will join the group as a dynamic member, which is the traditional behavior.

 

최종 사용자가 제공한 소비자 인스턴스의 고유 식별자입니다. 비어 있지 않은 문자열만 허용됩니다. 설정하면 소비자는 정적 멤버로 취급되며, 이는 소비자 그룹에서 언제든지 이 ID를 가진 인스턴스 하나만 허용됨을 의미합니다. 이는 일시적인 사용 불가(예: 프로세스 재시작)로 인한 그룹 재조정을 방지하기 위해 더 큰 세션 시간 초과와 함께 사용할 수 있습니다. 설정하지 않으면 소비자는 기존 동작인 동적 멤버로 그룹에 참여하게 됩니다.

 

목적

리밸런스시 파티션이 재분배 되지 않게하기 위한 설정

 

배경

2.3 버전 이후 생긴 개념입니다.

 

컨수머 그룹에 새로운 컨수머가 들어오거나 떠나게되면 파티션 리밸런스 현상이 발생합니다. 그 영향으로 컨수머 그룹 안 컨수머들은 모두 stop the world 현상에 빠지게됩니다. 그동안 브로커에는 토픽이 쌓여 들어온 데이터와 commit offset의 lag는 증가하게 될겁니다.

컨수머가 다운됐을때는 리밸런스가 무조건 일어나야하지만 내가 의도한 상황(ex. 재기동)일때 파티션이 다시 재분배 상태일때는 너무 큰 비용을 낭비하게됩니다.

이런 문제점을 해소하기 위해 정적 멤버라는 개념이 추가됐습니다.

KafkaConsumerConfig에 group.instance.id를 기입하면 정적 멤버라고 인식하게되어 컨수머 그룹 이탈시 LeaveGroup 호출을 하지 않게됩니다. 

정적 멤버가 떠나며 LeaveGroup을 호출하는 유일한 경우는 session.time.out으로 인해서만 발생하게됩니다.

 

 

kafka 관련 이슈

 

코드 level

GroupCoodinator 코드

여기서 instanceId(group.instance.id) 값의 유무를 통해 컨수머 그룹 JoinGroup시 정적멤버, 동적멤버 생성로직이 분기되어 관리되는것을 볼 수 있습니다.

 

GroupCoodinator 코드

정적멤버가 그룹에 재참여할때는 doCurrentMemberJoinGroup의 로직으로 관리되는것을 볼수 있습니다.

 

파티션 분배

빨간색은 동적멤버의 상황의 파티션 분배이고 초록색은 정적멤버의 파티션 분배로 동일하게 분배받은것을 볼수 있습니다.

 


정리

client.id, group.id, group.instance.id는 Config값으로 입력할 수 있고 

member.id는 값을 입력할수 없고 내부적으로 할당되어 브로커와 컨수머간 서로 통신을 위한 값이다.

 

+ Recent posts