[Data Analysis] Four pitfalls of hill climbing(A/B 테스트의 4가지 함정)

현재 회사에서는 A/B 테스트를 통해 아주 많은 의사 결정을 내리고 있다. 그런 환경에 있다가 A/B 테스트가 부를 수 있는 함정에 대한 좋은 아티클을 발견하여 번역한 것이다.

 

 

 

1. Four pitfalls of hill climbing(A/B 테스트의 4가지 함정)

---

제품을 디자인할 때, 눈에 띄게 발전된 부분 중 하나가 바로 A/B 테스트의 도입이다. 우리의 고객에게 무엇이 최상일지 추측하는 것이 아니라, 일부 고객에게 제품에 대한 변형을 제공하고 그 효과가 얼마나 좋은지를 측정하는 것이다. A/B 테스트는 분명 유용하지만, 때로 “언덕 오르기(hill climbing)”를 지나치게 부추긴다는 지적을 받기도 한다. “언덕 오르기”란 쉽고 즉각적인 성공을 강조하는, 점진적이고 근시안적인 제품 개발 방식을 의미한다.

이에 대한 논의는 때때로 다소 모호해질 수 있어서, 해당 방식에 의해 지나치게 의존하는 경우 발생할 수 있는 4가지 함정에 대해 애니메이션을 바탕으로 살펴본다.

 

 

[ Local Maxima ]

점진적으로 언덕을 오르다 보면 Local Maxima(지역적 최고점)에 도달해 훨씬 더 큰 보상을 받을 수 있는 Global Maxima(전역적 최고점)에 도달할 기회를 놓칠 수 있다. Local Maxima에 대한 우려는 종종 점진주의(incrementalism)에 대한 비판으로 포장되기도 한다.

Local Maxima와 Global Maxima는 다음의 다이어그램과 같이 묘사될 수 있다. 실제로 제품이 탐색할 수 있는 차원은 여러 가지이다.

 

 

[ Emergent maxima ]

A/B 테스트를 짧게 돌리거나 혹은 네트워크 효과를 완벽하게 포착하지 못하면, 처음에는 나빠 보였던 변화가 장기적으로는 좋을 수 있다는 사실을 깨닫지 못할 수 있다. 이는 점진주의(incrementalism)에 대한 우려와 다르다.

제품이 변할 때, 초기에는 부정적인 영향이 있다. 하지만 위에서 살펴볼 수 있듯이 결국 고객들은 새로운 버전을 즐기기 시작한다. 처음에는 부정적으로 보였던 포지션에서 기다리다 보면, 결국 새로운 산을 발견하고 단기 최적화를 통해 얻을 수 있는 것보다 더 큰 보상을 받을 수 있다.

 

 

 

[ Novelty Effects ]

단기 최적화는 새로운 산을 반견하지 못하게 할 뿐만 아니라 일부 언덕은 일시적일 수있어서 좋지 않을 수 있다. 언덕이 사라지는 이유 중 하나는 신규성 효과 때문인데, 새 기능이 단기적으로는 고객의 관심을 끌 수 있지만, 장기적으로는 흥미롭지 않거나 심지어 부정적일 수 있다.

 

 

 

[ Loss of Differentiation ]

언덕이 사라질 수 있는 또 다른 이유는 더 우세한 경쟁자와의 차별점을 상실하는 것이다. 우리의 제품이 틈새 시장을 차지하고 있을 수 있다. 이때 경쟁사를 모방하려고 하면 처음에는 약간의 이점을 얻을 수 있다. 하지만 어느 시점에 이르면 더 우세한 경쟁업체와 별다른 차이가 없어 고객이 떠날 수 있다. 차별화는 어떤 측면에서는 다른 것들보다 더 중요하다.

산업은 각 회사마다 고유한 보상 기능을 가진 역동적인 생태계라고 생각할 수 있다. 한 회사가 움직이면 자체 보상 함수는 물론 다른 회사의 보상 함수에도 변화가 생긴다.

 

 

 

[ 정리 ]

Hill Climbing에 대한 모든 비판에는 분명한 타당성이 있지만, 사람들이 이에 대해 과민하게 반응하기 쉬울 수 있다. Hill Climbing을 옹호할 때에는 몇 가지 주의해야 할 사항이 있다.

• 위의 도표에서 보상 함수의 변화 규모와 빈도는 과장되어 있을 수 있다.
• 미래의 풍경이 어떤 모습일지에 대해서는 불확실성이 크고 의견이 다를 수 있다. 대부분의 경우 보상이 증가하는(감소하기 보다는) 영역을 탐색하고 필요한 경우 장기적인 실험을 실행하는 것이 좋다.
• 공간은 고차원적이다. 제품이 한 차원에서 로컬 최대치에 도달하더라도 탐색하고 측정해야 할 다른 차원은 많다.
• 우리는 과감한 제품 출시와 회사의 성공 사이의 인과 관계를 과대평가할 수 있다. 투자자들은 종종 과감한 변화를 시도하지 않는 기업은 실패할 운명이라고 생각한다. 여기에 인과관계가 있다는 것을 의심하지 않지만, 역의 인과관계도 있다고 생각한다. 과감한 변화에는 많은 자원이 필요하다. 대담한 변화를 감당할 수 있는 충분한 자원을 보유한 기업은 대부분 성공을 거둔 기업일 것이다.

 

 

 

 

 

현재 회사에서는 A/B 테스트를 통해 아주 많은 의사 결정을 내리고 있다. 그런 환경에 있다가 A/B 테스트가 부를 수 있는 함정에 대한 좋은 아티클을 발견하여 번역한 것이다.

 

 

 

참고 자료

• https://chris-said.io/2016/02/28/four-pitfalls-of-hill-climbing