ABテストツール導入時における検討ポイント ～相談できる人が周りにいるか～
株式会社エイチームライフデザイン 様
エイチームライフデザインは、【一人ひとりの暮らしの「まよい」を「よかった」に】をミッションとし、専門知識がないと難しい金融商品や、引越し、自動車、結婚式、インターネット回線などライフイベントで一人ひとりに最適な情報を提供するために、比較サイトなどを通じて日々の暮らしに有益な情報を多数提供する企業です。
◎インタビュー背景
ABテストツールは、各事業者毎に独自の課題や検討ポイントがあることが想定されます。
今回は多様なメディアを運営されているエイチームライフデザイン様に、ABテストツール導入に際して何が検討ポイントとなるか、インタビューをさせていただきました。
◎インタビューにご協力いただいた方
木村様：プロモーションマーケティング本部 本部長
大野様：プロモーションマーケティング本部 マネージャー
■導入の背景と選定ポイント
ーー貴社におけるABテストツール導入の背景を教えてください。
私たちチームが携わっている各種メディアサイトは、検索フォームなど動的な変化を求めるサイト構造になっている為、まずは我々のサイトに対応できるものなのかという視点で、国内外の様々なツールをテスト導入してきました。
Googleオプティマイズや、OptimizelyなどメジャーなABテストツールは一通り試しました。
実際にテスト導入してみると、様々な表記崩れが発生してしまったり、データがとれなかったりと当初からなかなか苦戦を強いられました。
ーー具体的にはどういう選択をされて、どんな点が選定ポイントでしたか
検討の結果、インハウスでエンジニアやデザイナーがABテストを実装する体制と合わせて、Googleオプティマイズを併用するという形をとっています。Googleオプティマイズは無料のプランでも利用できる内容が充実しており、圧倒的に導入時のハードルが低いというのが一番のポイントでした。
また他と比較すると使いやすい印象もありました。
検討をする上で、重視していたポイントをまとめると以下3点でした。
1つ目が開発リソースの軽減です。
理想としてはエンジニアの手を借りる事なく、マーケ部署だけでABテストが完結できる体制を目指していました。元々インハウスでABテストを実装していましたが、エンジニアの手が必要となる為、できる限り運用時にはエンジニアリソースの行列待ちが生まれない状態を求めていました。
2つ目が導入コストです。
使った事が誰もない、経験者がいない状態での導入時のイニシャルコストがかかってくるのはどんなツールでも同様に苦労する点かと思われます。
コストパフォーマンスを考えるとGoogleオプティマイズは無料でも使えるためアドバンテージがありました。
ただ導入当時のGoogleオプティマイズは、国内版でリリースされたばかりだったので、外部に情報が出てませんでした。Googleに問合せをしてみても、公開されていたQ&Aよりも効果的な情報は得づらく、試行錯誤しながら手探りで進行した記憶があります。
当時はリリースされたばかりなので収集できる情報の深度が浅かったり、無料のプランなのでサポート面が弱いのは仕方がないとある程度割り切って使っていました。ただ弊社はエンジニアもいるのでそれでもカバーができましたが、自社にエンジニアがいない場合には適切なサポートがないと、当時だけでなく今でもかなり苦労されるのではないかと思います。
3つ目は正確なデータ取得です。
現在は問題ないのですが、Googleオプティマイズがリリースされた直後に導入した当初は、ABテストを実施した際に計測データが実際のデータとずれるというエラーが発生しました。なかなか解決せず、結果エンジニアの調査工数が必要となり、エンジニアの開発工数を減らすための導入なのに逆効果を生んでしまうなど、結構大変でしたね。
ーー入れたけどデータ計測がうまくいかないケースはよくありますね。
貴社の運用がうまく機能しているのは、マーケメンバーにもエンジニア素養のある方が多い点だったり、すぐに周りに聞ける環境があるからかもしれないですね。
■導入して実現したこと、しなかったこと
ーー実際にGoogleオプティマイズを利用された率直な感想としてはいかがでしょうか。
クイックにテストができて、気づきを得られる点は大きいですね。簡単なUI変更のABテストをしたい時などにデザイナーやエンジニアを巻き込む必要がないので。仮説を立てたものをスピーディーにテストして、その結果を踏まえて大きな改修に落とし込むという流れが作れた点は良かったです。
ーー逆に元々思い描いた所から実現しなかった点はありますか
動的なコンテンツにも対応できたら理想でしたが、マーケ部署が持つ知識やリソースだけでは外部に問題なくリリースできる実装はフロントサイドで完結できるUIのテストまでが限界でした。
あと、導入当初にファーストビューのテストを試した際に、画面表示時に、一瞬オリジナル画像が出てからテストのデザインに切り替わる挙動を回避できなかったので、あまり活用できなかったことがありました。
ーーフラッシングといわれている現象ですね。サイトの表示スピード・ツールによっては一定出てしまうものではあります。表示スピードの懸念はありましたか。
チームで検証しましたが、その懸念については特に問題はありませんでした。
■これから導入する企業へアドバイス
ーーこれから導入される企業に向けて、アドバイスはありますか？
・誰かに相談できる環境を作る
・やれることとやれないことを理解する
この2点が最も重要ではないでしょうか。導入すべきツール・タイミングなどは会社によって状況は異なります。どのツールを入れるかよりも、誰と進めるかのほうが重要な要素だと思います。
またどんなツールも万能ではありませんし、実際できる事には限界があります。やりたいことだけではなく、やれないこと・やらないことも明確にしておくことで導入後のギャップをなくせるのではないでしょうか。
ーーご協力ありがとうございました。