Fulltext search with Node.js and elasticsearch

2012 11/18 tokyo nodefest 2012 @swdyh

今日のスライド http://swdyh.github.com

• ブラウザ拡張開発
  • AutoPagerize
  • ページの自動継ぎ足し
  • http://autopagerize.net
• JavaScriptやRuby、Goに興味

• システム開発に検索はつきもの
• 小規模なら全件走査 LIKE '%query%'
• それで間に合わなくなってくると全文検索エンジン
  • あらかじめindexを作る。本の最後にあるindex
• Namazu, Hyper Estraier, Senna, Tritonn, Groonga, Sphinx, Lucene, Solr, elasticsearch

http://www.elasticsearch.org

• Open Souce
• Apache Lucene
• シンプルなRESTful API
• 分散検索
• ドキュメントストア (MongoDB, CouchDB)

• Solrを知らないので分からない…
  • Apache Solr vs ElasticSearch http://solr-vs-elasticsearch.com/
• どちらも開発が活発
  • 機能差はなくなる傾向
• elasticsearchは開発者の使いやすさや管理しやすさを重視
  • APIがシンプル
  • クラスタリングの手間を少なく

• http://www.elasticsearch.com
• 会社設立
• 資金調達して順調
  • "ビッグデータをリアルタイムで（アドホックで）検索〜分析するElasticsearchが$10Mを調達"
  • http://jp.techcrunch.com/archives/20121108big-data-search-and-analytics-startup-elasticsearch-has-raises-10m-from-benchmark/

• Mozilla Foundation, StumbleUpon, Sony Computer Entertainment, Infochimps, Assistly, Ataxo Social Insider, Bazzarvoice, Klout, Sonian Inc., IGN, InSTEDD
  • http://www.elasticsearch.org/users
• Sound Cloud
  • http://backstage.soundcloud.com/2012/08/evolution-of-soundclouds-architecture/

• Restful API
• DocumentStore
• 日本語

• HTTP (GET / POST / PUT / DELETE)
• JSON (request / response)
• http://localhost:9200/index/type/document_id
  • index: RDBMSでいうデータベース
  • type: RDBMSでいうテーブル、type内のドキュメントは同じmapping(スキーマ定義)が適用される
  • document: JSONデータ

% curl -X PUT localhost:9200/demo-index% curl -X PUT localhost:9200/demo-index/x/1 -d '    {"text": "hello world" }'% curl localhost:9200/demo-index/x/_search -d '    { "query": { "text": { "text": "hello" } } }'

• Document Oriented(MongoDB, CouchDB)
• JSON(object, array, string, number, boolean, null)
• date, geopoint, geoshape, ip, binary(base64), attachment(base64)
• 検索エンジン側にデータがあると、条件付き検索やソートがしやすい

文章に区切りがないのでそれをなんとかする必要がある

• 分かち書き: 今日 | は | 天気 | が | いい
• Ngram (2 gram): 今日 | 日は | は天 | 気が | がい | いい

• kuromoji plugin https://github.com/elasticsearch/elasticsearch-analysis-kuromoji

• mappingsでanalyzerにkuromojiを指定

  bin/plugin -install elasticsearch/elasticsearch -analysis-kuromoji/1.0.0

• nGgram Analyzer, nGram Tokenizer
• デフォルトの設定が 1 - 3 gram
  • 1 gramはヒットし過ぎる
• "ElasticSearch でいろんなデータに自由に全文検索インデックスを張る"
  • http://give-me-money.g.hatena.ne.jp/fuba/20120909/1347204261
  • nGram Tokenizerの設定を2-3 gramに

• elasticsearchを起動したサーバを用意
• それらを見つけられるようにする
  • 見つける方法
    • サーバ名を設定ファイルに書く
    • multicastで近くのネットワークを探す
    • aws-cloud plugin: AWSのユーザkeyとsecretからec2インスタンスを取得、elasticserachがそこから動いてるサーバを見つける

• node: elasticsearchインスタンス、ふつう1サーバ
• shard: 分割されたデータを持つ、Luceneインスタンス
• replica: shardの複製、フェイルオーバーとパフォーマンス

3 shards 1 replica: 1 nodeの場合、replicaはできない

3 shards 1 replica: nodeを追加、replicaが作成される

3 shards 1 replica: さらにnodeを追加、shardがリバランスされる

3 shards 1 replica: node3が落ちると、2nodeのときのようになる

• Three Nodes and One Cluster (デモ動画) http://www.elasticsearch.org/videos/2012/06/05/three-nodes-and-one-cluster.html

• どのshardに保存するか、どのshardから検索するか
• routingパラメータでキーを指定する
• 同じキーなら同じshard
• 通常の検索は全てのshardを検索して結果を集めて返すが、routingを指定した場合はそのデータがあるshardだけを検索するので効率がいい
• ユーザidで、ログを年月で、など。デフォルトはドキュメントのid

curl -X PUT localhost:9200/demo-index\     /x/1?routing=201211 -d ...curl localhost:9200/demo-index\    /x/_search?routing=201211 -d ...

• elasticsearch用モジュール(elastical, elasticsearchclient, es...)
• http client
  • 標準のhttpクライアント
  • request (おすすめ、JSONが扱いやすい)

var request = require('request')request.put({    uri: 'http://localhost:9200/demo-index',    json: true}, function(err, res, val) {    console.log(err, val)})

request.put({    uri: 'http://localhost:9200/demo-index',    json: { mappings: { demo: {        properties: { text: { type: 'string',                              analyzer: 'kuromoji' } } } } }}, function(err, res, val) {    console.log(err, val)})

request.put({    uri: 'http://localhost:9200/demo-index/demo/1',    json: { text: 'こんにちは世界' }}, function(err, res, val) {    console.log(err, val)})

// idが自動で付加されるrequest.post({    uri: 'http://localhost:9200/demo-index/demo',    json: { text: 'こんにちは世界' }}, function(err, res, val) {    console.log(err, val)})

request({    uri: 'http://localhost:9200/demo-index/demo/_search',    json: {         query: { text: { text: '世界' } }    }}, function(err, res, val) {    console.log(err, val)})

• Queries: match, multimatch, bool, boosting, ids, customscore, customboostfactor, constantscore, dismax, field, filtered, flt, fltfield, fuzzy, haschild, hasparent, matchall, mlt, mltfield, prefix, querystring, range, spanfirst, spannear, spannot, spanor, spanterm, term, terms, topchildren, wildcard, nested, customfiltersscore, indices, text, geo_shape
• Filters: and, bool, exists, ids, limit, type, geobbox, geodistance, geodistancerange, geopolygon, geoshape, haschild, hasparent, matchall, missing, not, numericrange, or, prefix, query, range, script, term, terms, nested

Yet Another npm Search: elasticsearchとNode.jsでつくったnpm検索
http://ya-npm-search.herokuapp.com/

• npm search
  • 全データを同期してシーケンシャルな文字列マッチ、遅い
  • どれを選べばいいのか分からない
• elasticearchで検索、expressでWeb UI、CLI
• githubのスター数、フォーク数を属性に追加
• npmの依存数、スター数
• herokuとbonsai elasticsearch addonで運用

• elasticsearchはlocalhostで起動済み(localhost:9200)
• 約200件のtweets(tweets.json)をelasticsearchに入れて検索する
• 簡単なmappingを用意済(mappings.json)
  • indexの作成
  • データの追加
  • 検索
  • ExpressでかんたんなWeb UI