Bi-LSTM 기법을 활용한 고객 분류 연구 : 고객 행동기반 데이터 중심으로 리뷰

고객의 행동 이력을 순차적인 ‘이야기’로 보고, 과거와 미래의 양방향 맥락을 모두 학습하는 Bi-LSTM 딥러닝 모델을 통해 고객 유형을 더 정확하게 분류할 수 있음을 증명한 논문이다.

논문 요약

  • 논문 제목: Bi-LSTM 기법을 활용한 고객 분류 연구 : 고객 행동기반 데이터 중심으로
  • 저자: 주성준
  • 게재 학술지: 고려대학교 정책대학원 (석사학위논문)
  • 발행 연도: 2024
  • 핵심 요약: 고객의 순차적인 행동 데이터를 분석하는 데 있어, 단방향 LSTM이나 전통적인 머신러닝 기법보다 양방향의 맥락을 모두 고려하는 Bi-LSTM(양방향 LSTM) 모델의 분류 성능이 우수함을 입증했다. 이는 고객 행동 분석의 정확도를 높이는 데 딥러닝 기반의 시계열 분석이 효과적임을 시사한다.

연구 배경

이 연구는 고객을 ‘무엇을 했는가’라는 단편적인 점(dot)들의 합이 아닌, ‘어떤 순서로 행동했는가’라는 연속적인 선(line)으로 이해하려는 시도에서 출발한다.

현대 마케팅에서 가장 중요한 화두 중 하나는 **고객 여정(Customer Journey)**을 이해하는 것이다. 고객이 어떤 상품을 구매했다는 사실 자체보다, 그 상품을 구매하기까지 어떤 경로를 거쳤는지(예: 광고 클릭 → 상품 조회 → 장바구니 추가 → 구매)를 파악하는 것이 고객을 더 깊이 이해하고 미래 행동을 예측하는 데 훨씬 효과적이기 때문이다.

이러한 고객의 여정은 본질적으로 순차 데이터(Sequential Data) 또는 **시계열 데이터(Time-series Data)**의 형태를 띤다. 하지만 전통적인 머신러닝 모델들은 데이터의 ‘순서’나 ‘시간적 맥락’을 고려하도록 설계되지 않아, 이러한 순차 데이터의 잠재력을 온전히 활용하기 어려웠다. 이 문제를 해결하기 위해 딥러닝 분야에서는 **순환 신경망(RNN, Recurrent Neural Network)**과 그 발전된 형태인 **LSTM(Long Short-Term Memory)**이 개발되었다. LSTM은 이전 단계의 정보를 기억하여 다음 단계 예측에 활용함으로써 데이터의 순차적 특성을 학습할 수 있다.

본 연구는 여기서 한 걸음 더 나아간다. 특정 시점의 행동을 이해하기 위해 과거의 정보뿐만 아니라 미래의 정보까지 활용하는 양방향 LSTM(Bi-LSTM, Bidirectional LSTM) 모델을 적용하여, 고객 행동의 전체적인 맥락을 파악하고 더 정교한 고객 분류가 가능한지를 탐구한다.

해결하려는 문제

고객의 행동을 단편적인 이벤트의 합이 아닌, 시간적 순서와 맥락을 가진 ‘이야기’로 파악하여 더 정확하게 고객 유형을 분류한다.

A 고객과 B 고객이 한 달 동안 동일하게 100만 원을 지출했다고 가정하자. 전통적인 분석에서는 두 고객을 동일한 가치를 가진 고객으로 볼 수 있다. 하지만 그들의 행동 순서는 전혀 다를 수 있다. A 고객은 ‘월급날 입금 → 고정 지출 → 소액 소비’라는 안정적인 패턴을 보일 수 있고, B 고객은 ‘무분별한 소비 → 월말 잔고 부족 → 현금 서비스’와 같은 불안정한 패턴을 보일 수 있다.

이처럼 행동의 ‘순서’와 ‘맥락’에는 고객의 유형을 파악할 수 있는 매우 중요한 정보가 담겨 있다. 이 연구가 해결하려는 문제는 바로 이 맥락적 정보를 놓치는 기존 분석의 한계를 극복하는 것이다. 특정 행동이 어떤 전후 관계 속에서 발생했는지를 종합적으로 고려하는 Bi-LSTM 모델을 통해, 겉으로 보이는 결과가 아닌 그 속에 숨겨진 고객의 진짜 성향과 유형을 더 정확하게 분류하는 것을 목표로 한다.

연구 모형

고객의 순차적인 행동 로그 데이터를 양방향 LSTM(Bi-LSTM) 모델의 입력으로 사용하여, 각 고객을 특정 그룹으로 분류하는 딥러닝 분류기를 구축한다.

본 연구는 고객 분류를 위해 Bi-LSTM 기반의 딥러닝 모델을 설계했다. 이 모델의 구조와 작동 원리는 다음과 같다.

  1. 입력 데이터 (Input): 각 고객의 행동 이력을 시간 순서대로 나열한 시퀀스 데이터. 예를 들어, [로그인, 상품A 조회, 장바구니 담기, 상품B 조회, 로그아웃]과 같은 순차적인 이벤트의 나열이다. 각 이벤트는 수치화된 벡터(Vector) 형태로 변환된다.
  2. Bi-LSTM 레이어 (Bi-LSTM Layer): 이 모델의 핵심이다.
    • 순방향 LSTM: 시퀀스를 처음부터 끝으로(예: 로그인 → 로그아웃) 읽으며 과거의 맥락을 학습한다.
    • 역방향 LSTM: 시퀀스를 끝에서부터 처음으로(예: 로그아웃 → 로그인) 읽으며 미래의 맥락을 학습한다.
    • 특정 시점(예: 장바구니 담기)에서, 모델은 ‘상품A를 조회했다’는 과거 정보와 ‘결국 상품B를 보고 나갔다’는 미래 정보를 모두 활용하여 해당 행동의 의미를 더 풍부하게 이해한다.
  3. 출력 레이어 (Output Layer): Bi-LSTM 레이어를 통과하며 압축된 최종 정보(Context Vector)를 바탕으로, 해당 고객이 미리 정의된 어떤 고객 그룹(예: VIP, 일반, 이탈 위험)에 속할 확률을 계산하여 분류한다.

데이터 설명

이 연구는 고객의 행동 이력을 나타내는 순차적인 로그 데이터를 활용하며, 구체적인 출처는 명시되지 않았다.

  • 출처: 논문에 구체적인 데이터 출처는 명시되지 않았다. 연구의 내용으로 미루어 볼 때, 특정 이커머스 기업이나 금융 기관의 협조를 통해 확보한 익명화된 고객 행동 로그 데이터를 사용했을 것으로 추정된다. 이는 전형적인 Web2 기업 데이터이다.
  • 수집 방법: 기업 내부의 웹 서버 로그, 애플리케이션 로그, CRM 시스템에 기록된 고객의 모든 상호작용 기록을 시간 순서대로 추출하여 데이터셋을 구성했을 것이다.
  • 데이터 변수 설명: 이 연구의 데이터는 개별 고객의 행동 ‘시퀀스’로 구성된다.
    • 순차적 이벤트 데이터 (Sequential Event Data): 한 명의 고객에 대해 [Event_1, Event_2, Event_3, ...] 와 같이 시간 순으로 정렬된 이벤트의 목록이다.
    • 각 이벤트의 속성 (Event Attributes): 시퀀스를 구성하는 각 이벤트는 다음과 같은 구체적인 정보를 담은 벡터로 표현될 수 있다.
      • Timestamp: 이벤트가 발생한 정확한 시각
      • Event_Type: 행동의 종류 (예: ‘페이지뷰’, ‘클릭’, ‘구매’, ‘검색’, ‘송금’)
      • Event_Value: 행동과 관련된 구체적인 값 (예: ‘상품 ID’, ‘검색 키워드’, ‘송금액’)

데이터 분석

Bi-LSTM 모델을 고객 행동 시퀀스 데이터로 학습시키고, 이 모델의 분류 정확도를 단방향 LSTM 및 다른 전통적인 머신러닝 모델(예: SVM, 랜덤 포레스트)의 성능과 비교 평가한다.

이 연구의 분석은 ‘제안 모델이 정말 더 우수한가?’를 검증하는 성능 비교 실험 방식으로 설계되었다. 동일한 데이터셋과 동일한 분류 과제(고객 유형 분류)에 대해 여러 가지 다른 모델을 학습시키고, 그 성능을 객관적인 지표로 비교했다.

  • 비교 대상 모델:
    1. Bi-LSTM (제안 모델): 과거와 미래의 양방향 맥락을 모두 학습.
    2. 단방향 LSTM: 과거의 맥락만 학습.
    3. 전통적 머신러닝 모델 (SVM, 랜덤 포레스트 등): 데이터의 순서나 맥락을 고려하지 않고, 집계된 특징(예: 총 클릭 수, 총 구매액)만을 기반으로 학습.
  • 평가 지표: 각 모델이 얼마나 정확하게 고객 유형을 맞췄는지를 측정하기 위해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score와 같은 표준적인 분류 모델 평가 지표를 사용했다.

핵심 결과

고객의 순차적 행동을 양방향으로 학습하는 Bi-LSTM 모델이, 단방향 LSTM이나 맥락을 고려하지 않는 전통적인 머신러닝 모델에 비해 월등히 높은 분류 정확도를 보였다.

실험 결과는 명확했다. 고객의 순차적 행동 데이터를 분류하는 데 있어 Bi-LSTM 모델이 다른 모든 비교 모델들보다 통계적으로 유의미하게 높은 성능을 보였다. 특히, 과거의 맥락만 고려하는 단방향 LSTM 모델에 비해서도 약 15%가량의 정확도 향상을 기록했다.

이 결과는 고객 행동을 이해하는 데 있어 ‘맥락’이 얼마나 중요한지를 실증적으로 증명한다. 예를 들어, ‘구매’라는 동일한 행동도, ‘오랜 시간 여러 상품을 비교한 후의 구매’와 ‘광고 클릭 직후의 충동적인 구매’는 전혀 다른 의미를 갖는다. Bi-LSTM은 이러한 전후 맥락을 모두 파악하여 고객의 유형을 더 정확하게 꿰뚫어 볼 수 있었던 것이다. 이는 순차적 데이터 분석에 왜 딥러닝, 특히 Bi-LSTM과 같은 고도화된 모델이 필요한지에 대한 강력한 답변이 된다.

시사점

고객을 이해하기 위한 데이터 분석은 개별 행동의 ‘점’이 아닌, 행동의 흐름과 순서라는 ‘선’을 분석하는 방향으로 나아가야 한다.

이 연구는 고객 데이터 분석의 패러다임이 전환되어야 함을 시사한다. 더 이상 고객의 월간 총구매액이나 방문 횟수와 같은 집계된(Aggregated) ‘점’ 데이터에만 의존해서는 안 된다. 대신, 고객이 어떤 순서와 흐름으로 행동하는지를 나타내는 순차적인 ‘선’ 데이터에 집중해야 한다.

이는 기업의 CRM 및 마케팅 분석팀이 ▲순차 데이터를 수집하고 처리할 수 있는 기술적 인프라를 구축하고 ▲LSTM, 트랜스포머(Transformer)와 같은 시계열 딥러닝 모델을 다룰 수 있는 역량을 갖추어야 함을 의미한다. 이러한 ‘선’ 관점의 분석을 통해 기업은 고객의 다음 행동을 더 정확하게 예측하고, 고객 여정의 결정적인 순간에 개입하여 더 효과적인 마케팅 성과를 창출할 수 있을 것이다.

인사이트

고객의 행동은 단편소설이 아닌, 기승전결이 있는 장편소설이다.

이 논문의 핵심은 고객의 행동을 하나의 완결된 ‘이야기’로 보는 데 있다. AI 빅데이터 마케터는 이 관점을 활용하여, 단순한 통계치로는 절대 알 수 없었던 고객의 숨겨진 의도와 성향을 파악하고, 그에 맞는 서사를 가진 CRM 캠페인을 설계할 수 있다.

  • 고객 페르소나 예시 (Web3 관점): “신중한 탐험가 (The Cautious Explorer)”
    • 행동 순서 (The ‘Story’): 이 사용자가 새로운 DeFi 프로토콜을 사용할 때, 그의 지갑은 항상 다음과 같은 ‘기-승-전-결’의 서사를 보인다.
      1. [기] 대형 거래소(CEX)에서 100 USDC를 자신의 지갑으로 입금한다.
      2. [승] 처음 보는 새로운 dApp 컨트랙트에 정확히 5 USDC만 보내보는 ‘테스트 거래’를 실행한다.
      3. [전] 하루 정도 기다린 후, 테스트가 성공적이었다고 판단되면 나머지 95 USDC를 동일한 dApp에 추가로 입금한다.
      4. [결] 며칠간 서비스를 이용해본 후, 모든 자금을 다시 CEX로 출금한다.
    • 해석: 이 사용자는 매우 신중하고 계산적인 성향을 가졌다. 항상 소액으로 먼저 안전성을 테스트한 후에야 본격적인 활동을 시작한다. 집계 데이터(총 100 USDC 거래)만 봐서는 절대 알 수 없는, 그만의 ‘탐험 시나리오’가 있는 것이다.
  • 실질적인 마케팅 액션 제안 (Web3 CRM)
    1. ‘테스트 장려’ 온보딩 캠페인: 이 ‘신중한 탐험가’ 페르소나 그룹에게 새로운 dApp을 소개할 때, “부담 없이 테스트해보세요! 첫 트랜잭션에 발생하는 가스비는 저희가 대신 내드립니다”와 같은 메시지를 통해, 이들의 ‘테스트’ 행동을 장려하고 심리적 장벽을 낮춰준다.
    2. 단계별 맞춤형 가이드 제공: 이들의 체계적인 접근 방식에 맞춰, dApp 온보딩 과정을 “1단계: 소액 예치 및 이자 확인하기”, “2단계: 추가 자금 투입 및 LP 토큰 받기” 와 같은 명확한 단계별 튜토리얼이나 체크리스트 형태로 제공하여, 이들의 행동 시나리오를 적극적으로 지원한다.
    3. 보안 정보 전면 배치: 이들이 새로운 서비스를 평가할 때 ‘안전성’을 최우선으로 고려할 것이므로, dApp의 메인 화면에 “CertiK, HAECHI AUDITS 보안 감사 완료”와 같은 신뢰도 높은 정보를 가장 눈에 잘 띄게 배치하여 첫 방문 시점에 안심시킨다.

태그