日本テラデータ主催のイベントTeradata Universe Tokyo 2012のために来日していた、eBayの分析プラットフォーム担当ディレクターLiang Hu氏にインタビューしました（なお、同氏の講演は私自身の講演が同じ時間帯で入っていたため聞けていません）。
eBayは日本ですとほとんど存在感がないですが、世界最大のネットオークション会社であり、登録ユーザー数4億5,000万人、1日の新規出品数1,000万件以上という目もくらむような規模のネット企業です。同社のデータウェアハウスは、商用ではおそらく世界最大、Hadoopも活用しており、まさに「ビッグデータ」の典型と言えるシステムを活用しています。
栗原「まずは、Huさんの職務とバックグラウンドについて教えてください。」
Hu「中国にあるeBayオフショア開発センターで分析プラットフォームの担当ディレクターをしています。大学卒業後、IBMなどのいろいろなITベンダーやスタートアップ企業を経験してeBayに入社して8年になります。」
栗「eBayの開発チームは中国に集中しているのですか？」
Hu「中国に150名ほどのスタッフがいます。それはグローバルのほぼ半数で、残りは主にカリフォルニアにいます。分析系の開発者の大部分は中国にいます。」
栗「いわゆるデータサイエンティストと呼ばれるタイプの人々も中国にいらっしゃるのですか？」
Hu「中国では少数です、多くは米国と欧州に分散しています」
栗「マシン自体は米国にあるのですよね？」
Hu「中国にも開発マシンはありますが、メインのマシンはカリフォルニアとアリゾナにあります。」
栗「eBayは世界最大のデータウェアハウスを運用しているということですが。」
Hu「いわゆるエンタープライズ・データウェアハウスのサイズが6PBくらいです。これとは別にSingularityというプロジェクト名で呼んでいるクリックストリームの分析データベースがあります。これは40PBくらいです。どちらもTeradataベースです。」
栗「その40PBというのは生データ量でしょうか？」
Hu「ディスク容量です。圧縮がかかっていますから実際のデータ量はもっと多いです。」
栗「これに加えてHadoopも活用していると言うことですね。」
Hu「Hadoopは主にイメージやテキストの分析に使っています。Hadoopの分析結果をデータウェアハウス側にフィードしています。また、Cassiniと呼ばれている社内開発のサーチエンジンにも使っています。」
栗「Hadoopを社内で活用してみてどうでしょうか？」
Hu「非常にバグが多いと言わざるを得ませんね（苦笑）。eBayではかなりリライトやワークロード管理などの機能追加を行っておりオープンソース・コミュニティへの貢献を行っています。eBayのシステムの最大のポイントはやはり前述のSingularityです。クリックストリームという非構造化とまでは言えない準構造化データをきわめて効率的に分析できています。SQL+というUDFを追加開発してアドホックな分析に対応しています。」
栗「一般的にRDBMSはラージオブジェクトでの検索はあまり得意ではないと思うのですが？」
Hu「詳細は申し上げられないのですがきわめて効率的に稼働できています。」
栗「少し話を変えて中国における開発者の人材市場についてはどうでしょうか？」
Hu「きわめて健全ですね。優秀な人材が数多くいます。eBayでは優秀な学生をインターンとして雇っており、その多くが卒業後に正社員として入社します。新入社員の60%程度がインターン経験者です。」
栗「中国における従業員の離職率についてはどうでしょうか？お話ししにくいのあればあくまで一般論でもよいのですが。」
Hu「決して悪くありません。米国、さらには、インドよりも良好と言えるでしょう。また、仮に私のチームのメンバーが転職してスタートアップ企業に参加したとします。それでもLinkedIn等で常にコンタクトを取り、また戻ってくる意思があれば積極的に再雇用しています。もちろん、こちらで欲しくない人材は呼び戻しませんが、欲しい人材が戻ってくるケースは結構あります。」
栗「それは健全な環境と言えますね。ところで、eBayは中国ではあまり存在感がないようですが、その理由は何だとお思いですか？」
Hu「『あまり』どころかまったくないと言ってよいですね、その理由は私からはちょっと言えません（笑）。ネットを探せば他の人の分析が見つかるんじゃないでしょうか？ただ、一点だけ申し上げておきたい統計値があります。eBayに米国向けに出品されている商品のおよそ50%（12/03/21修正： 15%の間違いでしたどうもすみません）は中国からのものです。つまり、eBayは中国経済に十分根付いていると言ってよいと思います。」
栗「本日はどうもありがとうございました。」
投稿のフィード