LINE DEVELOPER DAY 2019
2019/11/20~21 開催の LINE DEVELOPER DAY 2019 に参加してきました．
ざっくりまとめると...
- コミュニケーションアプリ「LINE」の機能改善を支えるデータサイエンス
- LINEのUIテスト自動化
目次
スライド
はじめに
2019年11月20日〜21日にグランドニッコー東京台場で開催された LINE DEVELOPER DAY 2019 に参加してきました．
今年は2日間開催に変わり，1日目は技術的な話，2日目はビジネス的な話が中心に行われました．
私は1日目のみの参加で，ここではその中でも強く興味を持った発表について紹介したいと思います．
コミュニケーションアプリ「LINE」の機能改善を支えるデータサイエンス
Data Science Drives Improvement of LINE Messenger
このセションは，LINEのグループ作成機能を例に，データドリブンで機能改善を行った例の紹介でした．
グループ作成のボタンはどこにあるか
実は1つではないことをご存知でしょうか？
- ホームタブ / グループ一覧画面
- 友だち追加画面
- トーク作成画面
実は，この全てにグループの新規作成画面があります．
ユーザーとユーザーをつなげる "Closing the Distance" を目標にしているので， グループで会話してもらうことを大事に考えています．
そこで，グループ作成がうまくできなかったユーザーの原因と改善を行った例が紹介されました．
(そういえば，確かに最近，グループ作成の流れが変わったときがあった気がする！)
改善のサイクル
本題に入る前に，LINEでは次のように改善サイクルを回しています．
- ユーザーリサーチ
- 直接ユーザーにインタビューする
- アンケートの実施
- ダッシュボードを用いた数値のモニタリング
- 計画・仮説を立てる
- 開発をしてみる
- テスト・試行をする
- ランダムに選んだユーザーへのオンラインA/Bテスト
- ベータ版テスト
- 数値評価
- 振り返りをする・フィードバックをもらう --> 2へ
仮説1 直感的ではない画面操作
最初に疑ったのは，グループの名前やアイコンを決めたあとに，メンバーを選ぶ流れが直感的ではないのではないか，でした．
そこで，この順序を入れ替えてみたところ，
意外なことに，違いはありませんでした．
調査の結果，グループの名前やアイコンの作成に躓いていることがわかりました．
また，失敗する人は，何回もグループの作成に失敗している人であることがわかりました．
- plan: 直感的ではない画面操作が良くない
- develop: グループの名前やアイコンを決めたあとに，メンバーを選ぶ流れを入れ替えてみた
- test: 違いはなし
- feedback: グループの名前やアイコンの作成段階で躓いている
- feedback: 1度もグループ作成をしたことがない人が作成失敗している
仮説2 グループメンバーの選び方を変える
仮説1の結果を踏まえ，メンバーを選ぶのが難しいのではないかと考えました．
そこで，次の2つの観点を試してみました．
- グループメンバーを選びにくい
- 今までどおりのメンバー選択画面
- 仲の良い友達を先頭に表示
- グループ作成の手順が多い
- 今までどおりの2段階(グループのアイコンや名前を選ぶ -> メンバーを選ぶ)手順
- 1つの画面にする
テストはA/Bテストで行いましたが，結果に違いは見られませんでした．
しかしながら，さらに調査を続けた結果，次のことがわかりました．
- メンバーを選ぶ時間は早くなった
- メンバー数1人のグループ作成成功率は増加
- メンバー数2人以上のグループ作成成功率は減少
- 複数ユーザートーク(グループではない)作成率が増加
グループ作成の成功率に有意差は見られなかったものの，作成までにかかった時間が短縮されたことがわかったので，現在の構成に至っています．
- plan: グループメンバーを選ぶことが難しい
- develop: メンバーを選ぶ画面を2通り試した
- test: 違いはなし
- feedback: 作成にかかった時間は短縮された
仮説3 グループ作成ボタンの位置がわかりにくい
グループ作成のボタンをトーク一覧画面に追加すると，グループの作成数が増加しました．
しかしながら，単純に増えたから良いといえるかは， 他の機能が犠牲になっていないか，もともとのユーザーの導線が揺らいでいないか を確認してから行ったそうです．
どんなツールを使って分析しているか
発表では次のツールの紹介がありました．
正直なところ
発表者の方に懇親会でお話する機会があり，実際に業務を進める上での課題をお教えいただきました．
① 開発工数がかかる
A/Bテストをする = 機能を2通り作る ため，開発の工数はかかります．
いまやスマホを持つ人の誰もが使うLINE． 新規ユーザー獲得より，サービス改善に力を入れていることから，開発工数を割くことにも理解を得ることができるとの事です．
② ログを集めるのも工数がかかる
ログを集めるためには，サーバー側だけでなくアプリにもログを貯める機能が必要になります．
UXを妨げることなくログを貯めることは工夫が必要なのだそうです．
③ 分析中に対象の機能が消える
せっかくログを貯め始めたのに，途中で対象の機能が消え，貯めたログを活用できないこともしばしば．
特に，ボタンの変更などで，クリックされた数などを集めることが活用できないことが多いそうです．
参考・引用元
LINEのUIテスト自動化
UI Automation Testing for LINE
ExhibitからはUIテスト自動化の取り組みを紹介します．
必要なのは実機とMacbook．
アプリ上のボタンをテンプレートマッチングと特徴量抽出で行い，Selenium/Appiumなどの自動テストライブラリを改良してUIテストを自動化しているそうです．
アプリの検証に膨大な人手を割いて行っている企業も多いと思いますが，これならそこまで難しくなさそうだと感じました．(実際はわからない...)
参考・引用元
その他に聞いたセション
専門的なR&Dから開発改善まで幅広く様々な発表があり，エンジニアならば興味がある発表が必ずあるのではないかと思いました．
- Keynote
- シンプルかつ効果的なデータ拡大により強力かつ堅固な深層モデルを作る
- LINEが開発した時系列データベース‘Flash’の紹介
- LINE NEWSの記事配信を支える技術
- NAVER ClovaのOCR（光学的文字認識）
会場の様子
今回の目玉の一つ，face-checkin は思っていた以上に瞬時に私を認識してくれました．
お昼はお弁当でした．3種類のなかから選部ことができ，私の選んだすき焼き弁当は絶品でした．
3時のおやつはLINEのオフィスがある地域の伝統菓子
次世代クローバのモック展示
夜の懇親会は豪華なお食事とともに
乾杯の挨拶は，もっとも多くの予約があったセションの発表者でした．
ノベルティ
LINEビーコンガチャでC賞の私はケーブルケースなどをいただきました．
最後に
今回で2回目の参加でしたが，毎年期待を超える発表が数多くあるのが LINE DEV DAY だと思います．
来年の発表が早くも楽しみです．
