앱 스토어 A/B 테스트

A/B 테스트의 핵심은 특정 요인에 변화를 주었을 때의 성과를 관찰하고, 지속적인 변화 주기와 테스트를 통해 결과물을 ‘꼬리물기’처럼 개선하는 것입니다. 그렇기 때문에, 가설을 설정할 때 ‘내가 측정하고자 하는 것이 무엇인지’를 명확히 해야만 인사이트를 도출해내고 유의미한 테스트를 지속할 수 있습니다.

A/B 테스트의 목적은 당장의 전환율을 끌어올리는 것이 아니라, 고객의 행동으로부터 인사이트를 도출하여 궁극적으로 더 나은 의사 결정을 만들어내는 것입니다. 그렇기 때문에 내 잠재 고객들의 행동 패턴과 선호도에 대한 지속적인 분석이 중요합니다.
최초 테스트를 통해 도출한 인사이트와 채택된 안을 유지하면서, 다양한 변형을 시도하여 테스트를 진행해 주세요.
사실 변형을 주었다고 해서, A/B 테스트의 결과가 온전히 해당 변수에 의해서 기인되었다고 판단하기는 아주 어렵습니다. 그렇기 때문에 테스트 준비 과정에서 변형하고자 하는 요소 이외의 환경을 최대한 동일하게 일치시켜준 후, 테스트를 진행

---

1. ios 앱스토어에서 아이콘 정보 변경 시 별도 베포가 필요함. 구글 플레이 스토어에서 A/B테스트를 여러 차례 거쳐 진행 후 IOS 앱스토어에 적용하기

2. 주목도가 높은 부분(동영상, 스플래시 이미지 상위 3개) 먼저 변경 후 주목도가 상대적으로 낮은 부분(앱 요약글)은 후차적으로 fine-tuning
= 굵직한 부분들을 먼저 바꾸고 Fix한 후, 세부 사항에 대한 Fine-tuning을 하는 것이 더욱 낫다

3. 동영상은 앱의 기능 설명 부분만 잘라 포함하는 것이 가장 이상적이다. 30초 동영상의 경우 앞단의 브랜딩 영역, 뒷단은 앱의 기능을 설명하는 부분이라면 풀 영상 대비 기능을 설명한 부분만 잘라 첨부하는 것이 훨씬 효과적이다.

4. 최적의 안을 선정해 적용할지라도 플레이스토어에서 검수 후 반려할 가능성이 있다. 즉 A/B 테스트 시에는 검수를 하지 않으나, 최종안 선정 및 전체 모수에게 적용 시에는 검수를 한다. 예를 들어 스토어의 각 영역에 동일한 설명이 2번 이상 들어간 경우, 반려 대상이 된다.

5. 디자인팀에게 성공 경험 공유
이 작업을 왜 하는 것인지, 실제로 작업을 했더니 어떠한 성과가 나는지 알려주어 동기부여하는 것이 중요

출처 : 스토어 전환율 높이는 A/B 테스트 : 안드로이드, IOS
-정리 깔끔함
https://blog.thebackend.io/?p=3122

 

---

[권장사항]
명확한 목표를 정합니다. 실험을 설계할 때는 달성할 목표나 해결하려는 문제를 염두에 둡니다.

한 번에 하나의 속성만 테스트합니다. 완전히 다른 디자인을 비교하여 테스트하는 것이 아니라면 한 번에 하나의 변형만 테스트하여 명확한 결과를 얻으세요. 또한 아이콘과 그래픽 이미지의 유사한 변경사항을 함께 테스트합니다. 예를 들면 게임에서 개체 사용과 캐릭터 사용을 비교할 수 있습니다.

가장 먼저 앱 아이콘을 테스트합니다. 앱 아이콘은 사용자가 검색결과와 카테고리 목록에서 앱을 선택하는 데 큰 영향을 줄 수 있으므로 가장 먼저 테스트하세요.

등록정보의 모든 속성을 테스트합니다. 아이콘을 테스트한 후에는 스크린샷과 간단한 설명을 테스트하세요. 이 항목은 검색결과와 카테고리 목록에서 사용자에게 표시되므로 중요합니다. 스토어 등록정보 페이지에서 큰 비중을 차지하는 그래픽 이미지도 우선적으로 테스트하세요.

최소 7일 동안 실험을 진행합니다. 며칠 만에 충분한 트래픽으로 의미 있는 결과를 얻었더라도 평일과 주말의 행동을 모두 파악할 수 있도록 일주일 동안 테스트를 진행하세요.

사용자의 50%를 대상으로 실험을 실행합니다. 가능한 한 많은 테스트 사용자를 실험 대상에 포함하면 결과를 빠르게 얻을 수 있습니다. 적은 비율의 사용자에게만 표시되는 현지화 테스트의 경우에 특히 유용합니다.

그래픽과 텍스트를 테스트할 때 3개 이상의 대안을 준비합니다. 고해상도 아이콘, 그래픽 이미지, 스크린샷, 프로모션 동영상, 간단한 설명, 자세한 설명의 경우 몇 가지 버전을 테스트하여 가장 우수한 성과를 얻을 수 있는 버전을 확인하고 스크린샷의 순서를 실험해 보세요.

반복합니다. 다양한 미적 요소를 대담하게 테스트하고 반복 실행하여 발견한 점을 확인하여 개선하세요.


출처 : 앱 스토어 A/B 테스트 권장사항 및 Google Play Store 주요기능
https://developer.android.com/distribute/best-practices/grow/store-listing-experiments

---

 

[주의할점]
정말 될 법한 가설을 세우고 제한된 리소스내에서 해당 A/B 테스팅을 진행할 가치가 있는지에 대한 고민을 먼저 한다면 더욱 좋은 결과를 낼 수 있을 것이라고 생각된다 (사용자를 잘 이해하고 있다면 생각보다 가설이 잘 들어맞는다).

출처 : 알라미의 A/B 테스팅 일지
https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%9D%98-a-b-%ED%85%8C%EC%8A%A4%ED%8C%85-%EC%9D%BC%EC%A7%80-1-eb811fe72a17

알라미의 A/B 테스팅 일지 #1

 

---

[ASO] Apple App Store 에서도 A/B test 가능! 그렇지만 불편한 점도...🤔
https://21eve.tistory.com/21

[ASO] Apple App Store 에서도 A/B test 가능! 그렇지만 불편한 점도...🤔