예측 분석

예측 분석은 과거 데이터와 통계 또는 머신러닝 모델을 사용하여 미래 결과의 가능성을 추정합니다. 상업적 응용 분야에서는 일반적으로 개인 또는 계정을 대상으로 특정 기간 내 구매, 이탈, 프로모션 반응, 채무 불이행, 특정 고객 생애 가치(LTV) 달성 등의 확률에 따라 점수를 매기고, 이러한 점수를 기반으로 조치의 우선순위를 정하는 것을 의미합니다.

비즈니스 가치는 전적으로 그것이 변화시키는 의사결정에서 비롯됩니다. 정확하게 예측하지만 실질적인 조치를 취하지 않는 이탈 예측 모델은 수익 창출보다는 보고서만 생성할 뿐입니다. 따라서 유용한 접근 방식은 의사결정에서 시작하여 각 점수 수준에서 어떤 조치가 달라질지 파악하고, 차별화된 조치가 실행 가능하고 비용 대비 효과가 있는지 확인한 다음, 그제서야 모델을 구축하는 것입니다. 기존 데이터를 기반으로 예측 대상을 찾는 프로젝트는 흔히 정확한 모델을 만들어내지만 아무도 활용하지 않는 경우가 많습니다.

모델의 품질은 알고리즘 선택보다는 목표 정의와 데이터에 더 크게 좌우됩니다. 어떤 고객 유형을 대상으로, 어떤 기준으로 이탈을 정의하느냐에 따라 모델의 학습 내용이 결정되며, 모호한 정의는 일관성 없는 결과를 예측하는 모델을 만들어냅니다. 예측이 필요한 시점에 특징 데이터가 사용 가능해야 하므로, 사후에 기록된 데이터는 사용할 수 없습니다. 또한, 특징 데이터가 예측 대상 결과에 대한 정보를 담고 있는 경우, 이는 검증 단계에서는 우수한 성능을 보이지만 실제 운영 환경에서는 완전히 실패하는 모델의 가장 흔한 원인입니다.

평가는 일반적인 정확도 수치보다는 실제 운영 상황을 반영해야 합니다. 드문 결과의 경우, 아무 일도 일어나지 않을 것이라고 예측하는 것이 대개 맞기 때문에 전반적인 정확도는 무의미합니다. 운영 임계값에서의 정밀도와 재현율, 실제로 치료받을 고객층 내에서 기준선 대비 개선 효과, 그리고 결과적인 의사결정의 기대 가치가 중요한 측정 기준입니다. 모델은 행동, 제품, 시장 상황이 변화함에 따라 성능이 저하되고, 모니터링되지 않는 모델은 아무도 알아차리지 못하는 사이에 수개월 동안 변동할 수 있으므로, 시간 경과에 따른 안정성은 특정 시점의 정확도만큼 중요합니다.

예측은 일단 실행에 영향을 미치게 되면 신중하게 다뤄야 합니다. 예측에 따라 행동하면 다음 모델이 학습하는 데이터가 바뀌기 때문입니다. 전환 가능성이 낮다고 예측되는 고객에게 마케팅을 중단하면 전환 기회가 사라져 예측이 확정되고 패턴이 강화됩니다. 마찬가지로, 고위험 고객에게 유지 혜택을 제공하면 고객 행동이 바뀌므로 후속 학습 데이터는 더 이상 처리되지 않은 관계를 반영하지 않습니다. 무작위 대조군을 확보하는 것이 표준적인 안전장치이며, 이는 프로그램이 가치를 창출하는지 여부를 측정하는 유일하게 신뢰할 수 있는 방법이기도 합니다.

상용 환경에서는 모델 성능 벤치마크 결과보다 설명 가능성이 훨씬 중요합니다. 예측 결과를 실무팀에 설명할 수 없는 모델은 신뢰를 잃고 무시당할 가능성이 높으며, 특히 위험 고객에 대한 자신만의 관점을 가진 영업 및 서비스 담당자에게 더욱 그렇습니다. 단순히 점수만 제공하는 대신 각 점수에 영향을 미치는 주요 요인을 함께 제시하면 모델 도입률을 높일 뿐만 아니라, 담당자가 실제로 조치를 취할 수 있는 근거를 제공합니다. 예를 들어, 주요 사용자층의 사용량 감소로 인해 계정이 위험에 처했다는 설명과 계약 갱신 시점이 다가와 위험에 처했다는 설명은 서로 다른 맥락에서 논의될 수 있습니다. 또한, 이를 통해 해당 분야 전문가가 모델이 잘못된 정보를 학습했을 때 이를 파악할 수 있습니다.

예측 결과가 개인에게 제공되거나 부과되는 서비스에 영향을 미치는 경우 윤리적, 규제적 차원이 직접적으로 적용됩니다. 과거 데이터를 기반으로 학습된 모델은 차별적인 패턴을 포함한 과거의 패턴을 재현하며, 예측된 가치에 기반한 차별적인 가격 책정이나 접근은 여러 관할권에서 평판 및 법적 위험을 초래할 수 있습니다. 실제로 이러한 프로그램은 다음과 같은 방식으로 구축됩니다. 데이터 분석 의사결정 프레임워크와 홀드아웃 설계가 함께 합의되었습니다. 성장 관리그리고 이러한 모델은 누가 치료를 받을 자격이 있는지를 결정하는 것이 아니라 진정으로 유용한 치료의 우선순위를 정하는 데 활용될 때 가장 타당성이 높습니다.