Kafka와 K8s로 고처리량 본인 인증 큐 구축하기

확장 가능한 아키텍처탄력적인 고처리량 메시지 큐잉을 위해 Apache Kafka를 활용하고, 본인 인증 서비스의 탄력적인 컨테이너 배포를 위해 Kubernetes를 활용합니다.

반응형 워크플로우비동기식 신원 확인 프로세스를 처리하기 위한 반응형 프로그래밍 원칙을 구현하여 응답성과 리소스 활용도를 향상시킵니다.

분산 처리Kafka에서 본인 인증 요청을 소비하고, 독립적으로 처리하며, 효율적이고 병렬적인 실행을 위해 상태를 관리하는 마이크로서비스를 설계합니다.

탄력성 및 모니터링재시도 메커니즘, 데드 레터 큐, 강력한 모니터링을 통합하여 극심한 부하에서도 본인 인증 프로세스가 안정적이고 관찰 가능하도록 보장합니다.

오늘날의 디지털 경제에서 기업들은 사용자를 빠르고 안전하게 온보딩해야 하는 엄청난 압력에 직면해 있습니다. 여기에는 리소스 집약적이고 시간이 많이 소요될 수 있는 다양한 신원 확인(IDV) 및 고객 알기 제도(KYC) 검사가 포함되는 경우가 많습니다. 원활한 사용자 경험을 유지하고 규정 준수를 보장하기 위해서는 고처리량 본인 인증 큐를 구축하는 것이 중요합니다.

이 글에서는 메시지 큐잉을 위한 Apache Kafka 및 오케스트레이션을 위한 Kubernetes(K8s)와 같은 업계 최고의 기술을 사용하여 강력하고 확장 가능한 신원 확인 시스템을 설계하는 방법에 대해 자세히 설명하며, 확장 가능한 KYC 프로세스를 효율적으로 관리할 수 있도록 합니다.

고처리량 본인 인증 설계: Kafka 백본

모든 고처리량 시스템의 핵심에는 안정적이고 확장 가능한 메시징 계층이 있습니다. Apache Kafka는 분산되고 내결함성이 있으며 고성능 기능을 갖추고 있어 고처리량 본인 인증 큐에 이상적인 선택입니다. Kafka의 로그 중심 아키텍처는 초당 수백만 건의 본인 인증 요청을 효율적으로 처리할 수 있어 까다로운 IDV 워크로드에 완벽합니다.

본인 인증을 위한 주요 Kafka 고려 사항

• 토픽 설계: 본인 인증 프로세스의 다양한 단계(예: verification-requests, liveness-checks, aml-screenings, verification-results)에 대한 전용 Kafka 토픽을 생성합니다. 이를 통해 개별 구성 요소의 모듈식 처리 및 쉬운 확장이 가능합니다.
• 파티셔닝: 사용자 ID 또는 세션 ID를 기반으로 토픽을 전략적으로 파티셔닝하여 단일 사용자에 대한 관련 본인 인증 단계가 동일한 소비자 그룹에 의해 순서대로 처리되도록 하여 경쟁 조건을 방지합니다.
• 소비자 그룹: Kafka 소비자 그룹을 활용하여 본인 인증 서비스의 여러 인스턴스가 메시지를 병렬로 처리하여 워크로드를 효과적으로 분산할 수 있도록 합니다.
• 보존 정책: 토픽에 대한 적절한 데이터 보존 정책을 구성합니다. 본인 인증 요청의 경우 더 짧은 보존 기간이 필요할 수 있으며, 감사 로그 또는 결과의 경우 더 긴 저장 기간이 필요할 수 있습니다.

새로운 사용자가 본인 인증 흐름을 시작하는 시나리오를 고려해 보세요. 초기 요청(예: 신분증 문서 및 셀카 제출)은 verification-requests 토픽에 게시됩니다. 라이브니스 감지 마이크로서비스 또는 신분증 문서 파서와 같은 다운스트림 서비스는 이 토픽에서 소비하고 특정 검사를 수행하며 결과를 후속 토픽 또는 verification-results 토픽에 게시합니다.

본인 인증 서비스의 탄력적인 확장을 위한 Kubernetes

Kafka는 큐잉 메커니즘을 제공하지만, Kubernetes는 실제 본인 인증 작업을 수행하는 마이크로서비스를 배포, 확장 및 관리하기 위한 운영 백본을 제공합니다. K8s의 컨테이너 오케스트레이션 기능은 신원 확인 시나리오에서 일반적인 변동하는 로드를 처리하는 데 중요합니다.

확장 가능한 KYC 서비스를 위한 K8s 모범 사례

• 마이크로서비스 아키텍처: 본인 인증 로직을 작고 독립적인 마이크로서비스(예: id-parser-service, liveness-service, aml-service)로 분해합니다. 각 마이크로서비스는 별도의 Kubernetes 배포로 배포될 수 있습니다.
• 수평형 Pod 자동 스케일링(HPA): 본인 인증 서비스 배포를 위해 HPA를 구성합니다. CPU 사용률 또는 사용자 지정 메트릭(예: Kafka 소비자 지연)을 기반으로 Kubernetes는 수동 개입 없이 Pod 수를 자동으로 확장하거나 축소하여 시스템이 본인 인증 요청의 급증을 처리할 수 있도록 합니다.
• 리소스 관리: 리소스 경합을 방지하고 안정적인 성능을 보장하기 위해 Pod에 대한 명확한 리소스 요청 및 제한을 정의합니다. 예를 들어, 라이브니스 감지 서비스는 CPU 집약적일 수 있으므로 더 많은 CPU 리소스가 필요합니다.
• Kafka용 StatefulSet: Kafka를 자체 호스팅하는 경우 Kubernetes StatefulSet을 사용하여 Kafka 브로커를 관리하여 안정적인 네트워크 식별자 및 순서 있는, 정상적인 배포 및 확장을 보장합니다.

Kafka에서 소비하는 서비스에 대한 간단한 Kubernetes 배포는 다음과 같습니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: id-parser-service
spec:
  replicas: 3
  selector:
    matchLabels:
      app: id-parser-service
  template:
    metadata:
      labels:
        app: id-parser-service
    spec:
      containers:
      - name: id-parser
        image: your-repo/id-parser:1.0.0
        env:
        - name: KAFKA_BROKERS
          value: "kafka-broker-1:9092,kafka-broker-2:9092"
        - name: KAFKA_TOPIC
          value: "verification-requests"
        resources:
          requests:
            cpu: "200m"
            memory: "512Mi"
          limits:
            cpu: "1000m"
            memory: "1Gi"
--- # HPA for id-parser-service
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: id-parser-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: id-parser-service
  minReplicas: 3
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 70

본인 인증 처리를 위한 반응형 워크플로우 구현

반응형 프로그래밍 패러다임은 고처리량 본인 인증 큐와 같은 비동기식 이벤트 기반 시스템에 자연스럽게 적합합니다. 반응형 접근 방식을 채택함으로써 서비스는 이벤트가 도착하는 대로 처리하여 응답성과 효율성을 향상시킵니다.

실행 중인 반응형 원칙

• 논블로킹 I/O: 스레드를 묶지 않고 동시 요청을 처리하기 위해 논블로킹 I/O를 지원하는 프레임워크(예: Spring WebFlux, Akka, async/await가 있는 Node.js)를 사용합니다.
• 이벤트 기반 처리: 서비스는 작업을 폴링하는 대신 이벤트(Kafka의 메시지)에 반응합니다. 이는 대기 시간과 리소스 소비를 줄입니다.
• 역압 관리: 다운스트림 서비스가 과부하될 때의 상황을 처리하기 위한 메커니즘을 구현합니다. Kafka의 소비자 오프셋 관리는 소비자가 성공적인 처리 후에만 오프셋을 커밋하므로 암시적으로 일부 역압을 제공합니다.
• 멱등성: 본인 인증 작업이 멱등성을 갖도록 보장합니다. 실패로 인해 메시지가 다시 처리되더라도 결과는 동일해야 하며, 중복 본인 인증 또는 잘못된 상태 변경을 방지합니다.

예를 들어, 서비스는 verification-request를 소비하고, 라이브니스 검사를 수행한 다음, 비동기적으로 결과를 다음 토픽에 게시할 수 있습니다. 외부 API 호출(예: AML 공급자에게)이 포함된 경우 반응형 접근 방식은 스레드를 차단하지 않고 보류 중인 상태를 효율적으로 관리할 수 있습니다.

Didit이 본인 인증 큐를 구축하고 최적화하는 데 도움이 되는 방법

Didit은 이러한 복잡한 아키텍처 과제 중 많은 부분을 캡슐화하는 포괄적인 신원 플랫폼을 제공합니다. 당사의 단일 API 및 시각적 워크플로우 빌더를 통해 복잡한 Kafka 및 Kubernetes 인프라를 처음부터 구축하고 유지 관리할 필요 없이 정교한 신원 확인 흐름을 오케스트레이션할 수 있습니다.

• 사전 구축된 모듈: Didit은 신분증 문서 확인, 수동 및 능동 라이브니스, 얼굴 일치, AML 심사를 포함한 18개의 구성 가능한 모듈을 제공합니다. 이 모듈은 고성능에 최적화되어 있으며 워크플로우에 쉽게 통합될 수 있습니다.
• 워크플로우 오케스트레이션: 당사의 노코드 워크플로우 빌더를 사용하면 본인 인증 단계를 드래그 앤 드롭하고, 조건부 로직을 정의하고, 임계값을 구성할 수 있습니다. 이는 핵심 로직에 대한 명시적인 토픽 관리 및 소비자 그룹 조정의 필요성을 추상화합니다.
• 즉시 확장성: Didit의 인프라는 전 세계적으로 수백만 건의 본인 인증 요청을 처리할 수 있도록 확장성을 위해 구축되었습니다. 운영 오버헤드 없이 최적화된 Kafka 및 Kubernetes 배포의 이점을 누릴 수 있습니다.
• 성공당 지불 가격: Didit을 사용하면 성공적으로 완료된 본인 인증 단계에 대해서만 비용을 지불하므로 비용이 실제 가치와 일치하고 중단된 세션에 대한 인프라 비용 관리에 대한 걱정을 덜 수 있습니다.
• 통합 유연성: 호스팅된 본인 인증 링크, 웹/모바일 SDK 또는 RESTful API 및 웹훅을 통해 직접 통합하여 기존 아키텍처에 원활하게 통합됩니다.

Didit을 활용하면 개발 시간과 운영 복잡성을 크게 줄일 수 있으므로 팀은 고처리량 본인 인증 및 확장 가능한 KYC 솔루션을 위한 인프라가 아닌 핵심 비즈니스 로직에 집중할 수 있습니다.

시작할 준비가 되셨습니까?

Kafka 및 Kubernetes를 사용하여 확장 가능한 본인 인증 큐를 구축하는 것은 최신 신원 플랫폼에 대한 강력한 접근 방식입니다. 그러나 복잡성이 상당할 수 있습니다. Didit은 이러한 부담을 덜어주고 원활하게 통합되는 강력한 사전 구축된 솔루션을 제공합니다. 당사 플랫폼을 탐색하고 고처리량 본인 인증 시스템을 구현하는 것이 얼마나 쉬운지 확인하십시오. Didit의 투명한 가격 정책을 확인하거나 오늘 당사의 기술 문서를 자세히 살펴보고 신원 확인 프로세스를 간소화하십시오.

FAQ

고처리량 본인 인증 큐는 무엇입니까?

고처리량 본인 인증 큐는 대량의 신원 확인 요청을 효율적이고 안정적으로 처리하도록 설계된 아키텍처 패턴입니다. 일반적으로 Apache Kafka와 같은 분산 메시징 시스템을 사용하여 여러 처리 서비스에 걸쳐 본인 인증 작업을 관리하고 분배하여 빠른 응답 시간과 확장성을 보장합니다.

신원 확인에 Kafka와 Kubernetes를 사용하는 이유는 무엇입니까?

Apache Kafka는 신원 확인에서 대량의 이벤트를 처리하는 데 필수적인 내구성 있고 내결함성이 있으며 고성능 메시징 백본을 제공합니다. Kubernetes는 컨테이너화된 본인 인증 서비스를 오케스트레이션하여 자동 스케일링, 로드 밸런싱 및 자가 복구 기능을 가능하게 합니다. 이는 다양한 부하에서 확장 가능한 KYC에 대한 안정성과 효율성을 유지하는 데 중요합니다.

반응형 워크플로우가 본인 인증 처리를 어떻게 개선합니까?

반응형 워크플로우는 논블로킹 비동기 처리를 사용하여 본인 인증 작업을 처리합니다. 이 접근 방식은 서비스가 I/O 작업이 완료될 때까지 기다리지 않고 응답성을 유지하도록 하여 리소스 활용도를 개선하고 여러 동시 본인 인증 요청의 더 빠른 처리를 가능하게 합니다. 이는 외부 API 호출을 포함하는 복잡한 신원 확인 단계에 특히 효과적입니다.

고처리량 본인 인증을 위해 Didit을 사용하는 이점은 무엇입니까?

Didit은 IDV, 생체 인식 및 AML을 위한 사전 구축된 확장 가능한 모듈을 갖춘 올인원 플랫폼을 제공하여 고처리량 본인 인증 시스템 구축을 단순화합니다. Kafka 및 Kubernetes 인프라 관리의 복잡성을 추상화하고, 노코드 워크플로우 빌더를 제공하며, 고성능과 안정성을 보장하여 기업이 핵심 제품에 집중하면서 강력하고 규정을 준수하는 본인 인증 솔루션의 이점을 누릴 수 있도록 합니다.