Secret Ninja Blog

Support Engineering Manager してます

2018年をトレジャーデータのサポートのKPIで振り返る

もう少しで2018年も終わりますね。 トレジャーデータのサポートKPIを使って、2018年はどんなサポートだったかを簡単に振り返ってみます。 (KPIは全てグローバルでの数値になっています。それは僕がグローバルのサポートエンジニアリングマネージャだからです。)

新規チケット数

今年は1年間で約6500チケットが新規で発行されました。 2017年と比べて130%増えました。

f:id:toru-takahashi:20181230162341p:plain

一般的にサポートチケットというのは減っていかないといけないように思われがちですが、 SaaSのB2Bのビジネスにおいては、顧客数の増加や機能追加に伴う新規・既存顧客からの問い合わせも増えるので、チケット自体が増えること自体は悪いことではないです。

とはいえ、複数のお客さんから同じような内容をなんども聞かれないような仕組みというのをどんどん作っていきたいですね。

どんなコンポーネントに質問がきているか?

トレジャーデータにはたくさんの機能があります。問い合わせフォームで正確にどれについてか?というのをカテゴライズするのは大変なので、基本的にはチャットやメールをしながら、サポートチーム側でチケットにタグをつけていってます。

f:id:toru-takahashi:20181230162243p:plain (図: 問い合わせ数をコンポーネント毎にカテゴライズした図)

取り込みの仕組みであるDataConnector / Embulk、書き出しの仕組みであるResult Output (Embulkをベースとした仕組み) は外部サービスの連携ということもあり、外部サービスからの様々な挙動やエラーに関する調査や使い方の調査をすることが多かったです。 特にデジタルマーケティングに関わるようなサービスは、我々自身が普段使わないようなサービスも多くあり、問い合わせを受けてからサービスの使い方やAPIの仕様確認を素早くしていくことの重要性がますます増していっています。

Hive / Prestoに関しては単純なクエリの書き方からクエリのオプティマイゼーションに関する問い合わせまで様々です。分散クエリエンジンの動作をイメージし、複雑な分析クエリの改善を相手のデータの意味がわからない状態でどうやって把握し実現するか、というのが大量の問い合わせを捌く上では重要です。また、分散クエリである以上、一部のノードで稀に発生するようなパフォーマンス劣化なども即座に調査できるような仕組みづくりも行っており、調査時間自体も日々短縮できているかなと思います。

Treasure Workflow (Hosted Digdag)については、様々なコンポーネントとの組み合わせなので、単純なdigdagの書き方からPresto/Hiveと絡めたパフォーマンス調査など様々です。 書き方や使い方についてはもっと色々ドキュメントを増やしていったり、コード補完みたいなのがあるともっと手軽に使えるようになるかなーと思う次第です。

上記で書いた様々な改善によって、様々なコンポーネントに関する調査をサポート内だけで完結できるようになっており、開発チームへのエスカレーション率は10%以下を保つことができています。Hivemallに関しては機械学習に関する知識が多分に必要なケースが多く、サポートだけではまだまだ難しいケースがあります。チケット数自体は多くないので今はまあいいかなと感じで放置してます。(MLチームになんか言われたら勉強しよう・・・とそっと思っている。) Treasure CDPの機能もますます拡充しており、新機能ということもあるのでまだまだ開発チームやプロダクトチームへの確認が多くあり、エスカレーションが多いです。これはCDPに関する調査ツールを整備していけるといいなと思ってます。

f:id:toru-takahashi:20181230162546p:plain (図: 開発チームへのエスカレーション率)

サポートチーム

サポートチーム自体は2017年の終わりのときには5人でした。現在は7名にまで増え、2019年はさらに10名を超えるメンバーにしていきたいなと考えています。 また、サポートチーム内にはテクニカルサポートエンジニア以外にもテクニカルアカウントマネージャーやカスタマーオペレーションマネージャというロールのメンバも増え、僕も含めて9名になっています。チーム自体が大きくなり役割も増えていく中で、どうサポートチームがあるべきで、どうよくしていくのか、というのは2019年の僕自身の課題であり、いろんな会社さんのサポート組織から勉強させていただいてます。

さて、あんまり振りかえれていない気もしますが、なんとなくトレジャーデータのサポートがどんなことをしているか想像がついたら嬉しいです。 サポートに興味がわいたら下記まで!

Technical Support Engineer|TECH PLAY Career[テックプレイキャリア]

来年もよろしくお願いします。