Lucene Revolutionの2日目です。

2日目のキーノートは米国のリサーチ会社Redmonk社のStephan氏による”All Data Big and Small”という講演。Redmonkは大昔にこのブログでも触れたと思いますが、リサーチレポートはCreative Commnsベースで無料で提供し、カスタムリサーチやコンサルティングで収益を上げるというビジネスモデルのブティック系リサーチ会社です（テックバイザーもこのモデルを真似たいのですが全然できてません）。このプレゼンテーション資料（ちょっと高橋メソッド入ってます）もRedmonkのサイトでCCベースで公開されています。

内容としては、今まではRDBMSで何でもやろうとしてたけどこれからは複数ツールの使い分けになるよというよく聞くお話しですがよくまとまっているなあという感じ。ただ、Big Data系のテクノロジーが大量に生まれている最近の状況を指して「非リレーショナル・テクノロジーのカンブリア爆発」とたとえたのはちょっと面白かったです（会場でもウケてました）。もうひとつ注目すべきが「Big Data系のテクノロジーが必要なほどのデータを抱えている企業はそれほど多くない、ほとんどの企業にとってNoSQLなどのBig Dataテクノロジーはoverkill（やり過ぎ、過剰設備）である」という見解です。米国企業は日本企業と比べて多くのデータを所有する傾向があると言われていますが、それでも大多数の企業がNoSQLデータストアやHadoopを必要とするようなレベルまではまだ至っていないというのが実情のようです（もちろん近い将来にこの状況が変わることは十分予測されます）。

キーノートの次のパネルはLuceneのコミッターによるパネル。正直自分には全然わかりませんでした（笑）。さすがにコード書いてないと付いていくのは困難。Luceneのコミッターの多くはLucid Imagination社の人（その典型はSolrの創始者であるYonik Seeley氏）ですが、それ以外の組織に属している人も結構いるようです。

Lucid Imagination社のCEO、Eric Gries氏と単独インタビューしました（内容は別エントリーで書きます）。しかし、自分は寝癖ひどすぎますね（笑）。

ミクシィの伊藤敬彦氏によるサーチにおける「もしかして機能」の実装のお話し。なかなか興味深かったです。ログをHadoopでブルートフォースに分析して変換間違い/入力間違いの変換表を作るというやり方なんですね。

ウチダスペクトラムのRahul Agarwalla氏によるサーチアプリケーションサーバSMART/Insightの紹介。以前はFAST ESPをサーチエンジンとして使っていたのですが、MicrosoftによるFASTの買収等に伴いLuceneを中心にする方向性に転換したそうです。FASTと比較してLuceneは半分のコストで5倍の性能、つまり、価格性能比が一桁違うそうです。もうサーチエンジンのコア部分はOSSで必要にして十分じゃないかという見解の根拠のひとつになるのではと思います。

イベント最後のパネルはPostgreSQLコミッター、Luceneコミッター、The Guardianの中の人による”Search for Tomorrow (RDBMS for Yesterday)”というパネル。タイトルは刺激的ですが、まあ、結局は使い分けですよねえみたいな感じでした。ここでも、再度、「NoSQLは多くの場合overkillだよねえ」みたいな話が出ていたのが興味深かったです。

次回のエントリーでは個別のインタビューに関して書きます。

サンフランシスコで5/25から2日間にわたり開催されているサーチエンジンのイベントLucene Revolutionに来ています。Luceneはまだ日本ではあまり有名ではないかもしれませんが、Apacheのトッププロジェクトとなっているオープンソースの全文検索ソフトです。サブプロジェクトとして管理機能やキャッシュ機能を付加したサーチサーバSolr（ソーラー）（注：aがないのはミススペルではありません）があります。

Lucene/Solrはtwitter、eBay、Yammer、LinkedIn、Salesforce.com等々の大手Web系企業を中心に普及が広まっています。機能的には商用のサーチソフトと同等、スケーラビリティ的には商用ソフトを上回るとの評価があります。昨年の秋頃にtwitterのサーチ機能が急にまともになりましたが、あれはLuceneを採用したからなのです。

今回のイベントはその名の通りLucene/Solrに特化した開発者向けのイベント、主催者は、Lucene/Solrのサポート、研修、コンサルティング等を提供しているLucid Imaginationという会社です（Linuxの世界で言えばRedHatに相当するような会社と考えればよいでしょう）。

参加者数は約450名、こじんまりしたイベントです。

スポンサー企業はこんな感じ、Salesforce.comの名があります。

Lucid Imagination社CEOのEric Gries氏自ら司会進行、アットホームだなあ。

DBMSによる定型データ管理からサーチによる非定型データ管理へというパラダイムシフトについて説明、言うまでもなく確実に起きているトレンドです。

キーノートはLucid Imagination社CTOのMark Krellenstein氏によるサーチの歴史と将来の話、すばらしいオーバービューでした。同氏には個別インタビューもしておりますがいかにもサーチオタクという感じのtechieな方でした。個別インタビューについては別途エントリーにします。

もうひとつのキーノートは英国の歴史ある新聞The GuardianのStephen Dunn氏による新聞サイトのオープン化（プラットフォーム化のお話し）、紙のイメージをそのまんまWeb化して「ネット対応した」と言ってるどこかの国の新聞社に是非聞いて欲しいお話しでした。これも別のエントリーとして書く予定です。

Yammerのエンジニアによるソーシャルメディアのサーチ機能における課題のお話し、複数更新の競合やレプリカの不整合の調停処理に苦労したというようなお話しでした。

ユーザーからの質問にLunce/Solrのコミッターが直接答えるというパネル、正直、内容は実際にコーディングしたことがないと理解困難でした。まあ、ユーザーが直接開発者と対話できるオープンソースならではという感じがします。

初日を通じて感じたことは、OSの世界（少なくともWeb向けのOSの世界）におけるLinuxがそうであるように、サーチの世界でももうオープンソースで全然OKなんじゃないかということです。サーチ機能本体ではなくサーチを使って何をするかというところでマネタイズしていく時代が来たことを強く感じました。