SHIMODA Piro Hiroshi
null+****@clear*****
Sat Oct 4 19:54:41 JST 2014
SHIMODA "Piro" Hiroshi 2014-10-04 19:54:41 +0900 (Sat, 04 Oct 2014) New Revision: 5942d246a3b0bcb64d7833eb56fb61ed6c87330d https://github.com/droonga/droonga.org/commit/5942d246a3b0bcb64d7833eb56fb61ed6c87330d Message: Use plain text format patterns Modified files: _po/ja/tutorial/1.0.7/benchmark/index.po ja/tutorial/1.0.7/benchmark/index.md tutorial/1.0.7/benchmark/index.md Modified: _po/ja/tutorial/1.0.7/benchmark/index.po (+60 -91) =================================================================== --- _po/ja/tutorial/1.0.7/benchmark/index.po 2014-10-04 14:22:45 +0900 (f2148ce) +++ _po/ja/tutorial/1.0.7/benchmark/index.po 2014-10-04 19:54:41 +0900 (c5bd248) @@ -8,9 +8,6 @@ msgstr "" "Content-Transfer-Encoding: 8bit\n" "Plural-Forms: nplurals=1; plural=0;\n" -msgid "Then dump schemas and data separately and load them to the Droonga cluster." -msgstr "それでは、スキーマ定義とデータを別々にダンプ出力し、Droongaクラスタに流し込みましょう。" - msgid "" "---\n" "title: \"How to benchmark Droonga with Groonga?\"\n" @@ -544,6 +541,32 @@ msgstr "" msgid "" "~~~\n" +"(on Ubuntu server)\n" +"% sudo apt-get -y install software-properties-common\n" +"% sudo add-apt-repository -y universe\n" +"% sudo add-apt-repository -y ppa:groonga/ppa\n" +"% sudo apt-get update\n" +"% sudo apt-get -y install libgroonga-dev\n" +"% sudo gem install rroonga\n" +"~~~" +msgstr "" + +msgid "" +"~~~\n" +"(on CentOS server)\n" +"# rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.r" +"pm\n" +"# yum -y makecache\n" +"# yum -y ruby-devel groonga-devel\n" +"# gem install rroonga\n" +"~~~" +msgstr "" + +msgid "Then dump schemas and data separately and load them to the Droonga cluster." +msgstr "それでは、スキーマ定義とデータを別々にダンプ出力し、Droongaクラスタに流し込みましょう。" + +msgid "" +"~~~\n" "(on 192.168.100.50)\n" "% time (grndump --no-dump-tables $HOME/groonga/db/db | \\\n" " grn2drn | \\\n" @@ -672,25 +695,31 @@ msgstr "" "これは、GroongaとDroonga（`droonga-http-server`）が既定の状態で最大で100件までの結果をキャッシュするためです。\n" "期待されるキャッシュヒット率が50%なのであれば、用意するべきユニークなリクエストの数は`N = 100 ÷ 0.5 = 200`と計算できます。" -msgid "### Prepare list of search terms" -msgstr "### 検索語句のリストを用意する" +msgid "### Format of request patterns file" +msgstr "### リクエストパターンファイルの書式" msgid "" -"The package `drnbench` includes a utility command `drnbench-generate-select-pa" -"tterns` to generate request patterns for benchmarking, from a list of unique t" -"erms, like:" +"The format of the request patterns list for `drnbench-request-response` is the" +" plain text, a list of request paths for the host.\n" +"Here is a short example of requests for Groonga's `select` command:" msgstr "" -"`drnbench`パッケージは、以下のようなユニークな語句の一覧からベンチマーク用のリクエストパターンを生成する、`drnbench-generate-s" -"elect-patterns`というユーティリティコマンドを含んでいます:" +"`drnbench-request-response`用のリクエストパターンのリストは、HTTPリクエストのパスのリストであるプレーンテキスト形式で作成しま" +"す。\n" +"以下はGroongaの`select`コマンド用のリクエストの一覧の例です:" msgid "" "~~~\n" +"/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=" "AAA\n" +"/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=" "BBB\n" -"CCC\n" +"...\n" "~~~" msgstr "" +msgid "### Prepare list of search terms" +msgstr "### 検索語句のリストを用意する" + msgid "" "To generate 200 unique request patterns, you have to prepare 200 terms.\n" "Moreover, all of terms must be effective search term for the Groonga database." @@ -737,11 +766,9 @@ msgid "### Generate request pattern file from given terms" msgstr "### 与えられた語句からリクエストパターンファイルを生成する" msgid "" -"OK, let's generate request patterns by `drnbench-generate-select-patterns` and" -" `drnbench-extract-searchterms`, from a select result." -msgstr "" -"それでは、`drnbench-generate-select-patterns`と`drnbench-extract-searchterms`を使って、検索" -"結果からリクエストパターンを生成してみましょう。" +"OK, let's generate request patterns by `drnbench-extract-searchterms`, from a " +"select result." +msgstr "では、`drnbench-extract-searchterms`を使って、Groongaの検索結果からリクエストパターンを生成してみましょう。" msgid "" "~~~\n" @@ -749,85 +776,27 @@ msgid "" "% curl \"http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_reque" "sts&output_columns=title\" | \\\n" " drnbench-extract-searchterms | \\\n" -" drnbench-generate-select-patterns \\\n" -" > ./patterns.json\n" -"~~~" -msgstr "" - -msgid "The generated file `patterns.json` becomes like following:" -msgstr "生成されたファイル `patterns.json` は以下のような内容になります:" - -msgid "" -"~~~\n" -"{\n" -" \"with-query\": {\n" -" \"frequency\": 1.0,\n" -" \"method\": \"get\",\n" -" \"patterns\": [\n" -" {\n" -" \"path\": \"/d/select?limit=10&offset=0&query=AAA\"\n" -" },\n" -" {\n" -" \"path\": \"/d/select?limit=10&offset=0&query=BBB\"\n" -" },\n" -" ...\n" -" ]\n" -" }\n" -"}\n" +" sed -r -e \"s;^;/d/select?table=Pages\\&limit=10\\&match_columns=title,text\\&" +"output_columns=snippet_html(title),snippet_html(text),categories,_key\\&;\" \\\n" +" > ./patterns.txt\n" "~~~" msgstr "" msgid "" -"Like above, request patterns for the `select` command are generated with the p" -"arameter `query`, based on given terms." -msgstr "上の例のように、与えられた単語に基づく`query`パラメータを伴って、`select`コマンド用のリクエストパターンが生成されます。" +"Note that you must escape `&` in the sed script with prefixed backslash, like " +"`\\$`." +msgstr "sedスクリプトの中の`&`は、前にバックスラッシュを置いて`\\$`のようにエスケープする必要があることに注意して下さい。" -msgid "" -"However, these requests are too simple.\n" -"No table is specified, there is no output, no drilldown.\n" -"To construct more effective select requests, you can give extra parameters to " -"the `drnbench-generate-select-patterns` via its `--base-params` option, like:" -msgstr "" -"しかしながら、この生成結果は内容がシンプルすぎます。\n" -"テーブルが指定されていませんし、結果の出力も、ドリルダウンの指定もありません。\n" -"より有効な検索リクエストを生成するためには、以下のように、`drnbench-generate-select-patterns`コマンドに`--base-p" -"arams`オプションを使って追加のパラメータを指定します:" +msgid "The generated file `patterns.txt` becomes like following:" +msgstr "生成されたファイル `patterns.txt` は以下のような内容になります:" msgid "" "~~~\n" -"% n_unique_requests=200\n" -"% curl \"http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_reque" -"sts&output_columns=title\" | \\\n" -" drnbench-extract-searchterms | \\\n" -" drnbench-generate-select-patterns \\\n" -" --base-params=\"table=Pages&limit=10&match_columns=title,text&output_colu" -"mns=snippet_html(title),snippet_html(text),categories,_key\" \\\n" -" > ./patterns.json\n" -"~~~" -msgstr "" - -msgid "Then the generated file becomes:" -msgstr "すると、以下のようなファイルが生成されます:" - -msgid "" -"~~~\n" -"{\n" -" \"with-query\": {\n" -" \"frequency\": 1.0,\n" -" \"method\": \"get\",\n" -" \"patterns\": [\n" -" {\n" -" \"path\": \"/d/select?table=Pages&limit=10&match_columns=title,text&outpu" -"t_columns=snippet_html(title),snippet_html(text),categories,_key&query=AAA\"\n" -" },\n" -" {\n" -" \"path\": \"/d/select?table=Pages&limit=10&match_columns=title,text&outpu" -"t_columns=snippet_html(title),snippet_html(text),categories,_key&query=BBB\"\n" -" },\n" -" ...\n" -" ]\n" -" }\n" -"}\n" +"/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet" +"_html(title),snippet_html(text),categories,_key&query=AAA\n" +"/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet" +"_html(title),snippet_html(text),categories,_key&query=BBB\n" +"...\n" "~~~" msgstr "" @@ -870,7 +839,7 @@ msgid "" " --end-n-clients=20 \\\n" " --duration=30 \\\n" " --interval=10 \\\n" -" --request-patterns-file=$PWD/patterns.json \\\n" +" --request-patterns-file=$PWD/patterns.txt \\\n" " --default-hosts=192.168.100.50 \\\n" " --default-port=10041 \\\n" " --output-path=$PWD/groonga-result.csv\n" @@ -974,7 +943,7 @@ msgid "" " --end-n-clients=20 \\\n" " --duration=30 \\\n" " --interval=10 \\\n" -" --request-patterns-file=$PWD/patterns.json \\\n" +" --request-patterns-file=$PWD/patterns.txt \\\n" " --default-hosts=192.168.100.50 \\\n" " --default-port=10042 \\\n" " --output-path=$PWD/droonga-result-1node.csv\n" @@ -1023,7 +992,7 @@ msgid "" " --end-n-clients=20 \\\n" " --duration=30 \\\n" " --interval=10 \\\n" -" --request-patterns-file=$PWD/patterns.json \\\n" +" --request-patterns-file=$PWD/patterns.txt \\\n" " --default-hosts=192.168.100.50,192.168.100.51 \\\n" " --default-port=10042 \\\n" " --output-path=$PWD/droonga-result-2nodes.csv\n" @@ -1093,7 +1062,7 @@ msgid "" " --end-n-clients=20 \\\n" " --duration=30 \\\n" " --interval=10 \\\n" -" --request-patterns-file=$PWD/patterns.json \\\n" +" --request-patterns-file=$PWD/patterns.txt \\\n" " --default-hosts=192.168.100.50,192.168.100.51,192.168.100.52 \\\n" " --default-port=10042 \\\n" " --output-path=$PWD/droonga-result-3nodes.csv\n" Modified: ja/tutorial/1.0.7/benchmark/index.md (+23 -62) =================================================================== --- ja/tutorial/1.0.7/benchmark/index.md 2014-10-04 14:22:45 +0900 (3b6c0e2) +++ ja/tutorial/1.0.7/benchmark/index.md 2014-10-04 19:54:41 +0900 (84b1cb0) @@ -362,16 +362,22 @@ GroongaとDroongaの性能を正確に比較するためには、キャッシュ これは、GroongaとDroonga（`droonga-http-server`）が既定の状態で最大で100件までの結果をキャッシュするためです。 期待されるキャッシュヒット率が50%なのであれば、用意するべきユニークなリクエストの数は`N = 100 ÷ 0.5 = 200`と計算できます。 -### 検索語句のリストを用意する -`drnbench`パッケージは、以下のようなユニークな語句の一覧からベンチマーク用のリクエストパターンを生成する、`drnbench-generate-select-patterns`というユーティリティコマンドを含んでいます: +### リクエストパターンファイルの書式 + +`drnbench-request-response`用のリクエストパターンのリストは、HTTPリクエストのパスのリストであるプレーンテキスト形式で作成します。 +以下はGroongaの`select`コマンド用のリクエストの一覧の例です: ~~~ -AAA -BBB -CCC +/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=AAA +/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=BBB +... ~~~ + + +### 検索語句のリストを用意する + 200件のユニークなリクエストパターンを作るには、200個の語句を用意する必要があります。 しかも、それらはすべて実際にGroongaのデータベースで有効な検索結果を返すものでなくてはなりません。 もしランダムに生成した単語（例えば`P2qyNJ9L`, `Hy4pLKc5`, `D5eftuTp`……といった具合）を使った場合、ほとんどのリクエストに対して「ヒット無し」という検索結果が返されてしまうため、有効なベンチマーク結果を得ることができません。 @@ -395,69 +401,24 @@ title10 ### 与えられた語句からリクエストパターンファイルを生成する -それでは、`drnbench-generate-select-patterns`と`drnbench-extract-searchterms`を使って、検索結果からリクエストパターンを生成してみましょう。 +では、`drnbench-extract-searchterms`を使って、Groongaの検索結果からリクエストパターンを生成してみましょう。 ~~~ % n_unique_requests=200 % curl "http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_requests&output_columns=title" | \ drnbench-extract-searchterms | \ - drnbench-generate-select-patterns \ - > ./patterns.json -~~~ - -生成されたファイル `patterns.json` は以下のような内容になります: - -~~~ -{ - "with-query": { - "frequency": 1.0, - "method": "get", - "patterns": [ - { - "path": "/d/select?limit=10&offset=0&query=AAA" - }, - { - "path": "/d/select?limit=10&offset=0&query=BBB" - }, - ... - ] - } -} + sed -r -e "s;^;/d/select?table=Pages\&limit=10\&match_columns=title,text\&output_columns=snippet_html(title),snippet_html(text),categories,_key\&;" \ + > ./patterns.txt ~~~ -上の例のように、与えられた単語に基づく`query`パラメータを伴って、`select`コマンド用のリクエストパターンが生成されます。 +sedスクリプトの中の`&`は、前にバックスラッシュを置いて`\$`のようにエスケープする必要があることに注意して下さい。 -しかしながら、この生成結果は内容がシンプルすぎます。 -テーブルが指定されていませんし、結果の出力も、ドリルダウンの指定もありません。 -より有効な検索リクエストを生成するためには、以下のように、`drnbench-generate-select-patterns`コマンドに`--base-params`オプションを使って追加のパラメータを指定します: +生成されたファイル `patterns.txt` は以下のような内容になります: ~~~ -% n_unique_requests=200 -% curl "http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_requests&output_columns=title" | \ - drnbench-extract-searchterms | \ - drnbench-generate-select-patterns \ - --base-params="table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key" \ - > ./patterns.json -~~~ - -すると、以下のようなファイルが生成されます: - -~~~ -{ - "with-query": { - "frequency": 1.0, - "method": "get", - "patterns": [ - { - "path": "/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=AAA" - }, - { - "path": "/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=BBB" - }, - ... - ] - } -} +/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=AAA +/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=BBB +... ~~~ @@ -486,7 +447,7 @@ title10 --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50 \ --default-port=10041 \ --output-path=$PWD/groonga-result.csv @@ -547,7 +508,7 @@ CPU資源とメモリ資源を解放するために、ベンチマーク取得 --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50 \ --default-port=10042 \ --output-path=$PWD/droonga-result-1node.csv @@ -580,7 +541,7 @@ CPU資源とメモリ資源を解放するために、ベンチマーク取得 --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50,192.168.100.51 \ --default-port=10042 \ --output-path=$PWD/droonga-result-2nodes.csv @@ -621,7 +582,7 @@ Droongaクラスタの性能を有効に測定するためには、各ノード --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50,192.168.100.51,192.168.100.52 \ --default-port=10042 \ --output-path=$PWD/droonga-result-3nodes.csv Modified: tutorial/1.0.7/benchmark/index.md (+23 -62) =================================================================== --- tutorial/1.0.7/benchmark/index.md 2014-10-04 14:22:45 +0900 (6541a69) +++ tutorial/1.0.7/benchmark/index.md 2014-10-04 19:54:41 +0900 (803f04f) @@ -353,16 +353,22 @@ You can control the cache hit rate by the number of unique request patterns, cal `N = 100 / (cache hit rate)`, because Groonga and Droonga (`droonga-http-server`) cache 100 results at a maximum by default. When the expected cache hit rate is 50%, the number of unique requests is calculated as: `N = 100 / 0.5 = 200` -### Prepare list of search terms -The package `drnbench` includes a utility command `drnbench-generate-select-patterns` to generate request patterns for benchmarking, from a list of unique terms, like: +### Format of request patterns file + +The format of the request patterns list for `drnbench-request-response` is the plain text, a list of request paths for the host. +Here is a short example of requests for Groonga's `select` command: ~~~ -AAA -BBB -CCC +/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=AAA +/d/select?table=Pages&limit=10&match_columns=title&output_columns=title&query=BBB +... ~~~ + + +### Prepare list of search terms + To generate 200 unique request patterns, you have to prepare 200 terms. Moreover, all of terms must be effective search term for the Groonga database. If you use randomly generated terms (like `P2qyNJ9L`, `Hy4pLKc5`, `D5eftuTp`, ...), you won't get effective benchmark result, because "not found" results will be returned for most requests. @@ -386,69 +392,24 @@ To collect 200 effective search terms, you just have to give a select result wit ### Generate request pattern file from given terms -OK, let's generate request patterns by `drnbench-generate-select-patterns` and `drnbench-extract-searchterms`, from a select result. +OK, let's generate request patterns by `drnbench-extract-searchterms`, from a select result. ~~~ % n_unique_requests=200 % curl "http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_requests&output_columns=title" | \ drnbench-extract-searchterms | \ - drnbench-generate-select-patterns \ - > ./patterns.json -~~~ - -The generated file `patterns.json` becomes like following: - -~~~ -{ - "with-query": { - "frequency": 1.0, - "method": "get", - "patterns": [ - { - "path": "/d/select?limit=10&offset=0&query=AAA" - }, - { - "path": "/d/select?limit=10&offset=0&query=BBB" - }, - ... - ] - } -} + sed -r -e "s;^;/d/select?table=Pages\&limit=10\&match_columns=title,text\&output_columns=snippet_html(title),snippet_html(text),categories,_key\&;" \ + > ./patterns.txt ~~~ -Like above, request patterns for the `select` command are generated with the parameter `query`, based on given terms. +Note that you must escape `&` in the sed script with prefixed backslash, like `\$`. -However, these requests are too simple. -No table is specified, there is no output, no drilldown. -To construct more effective select requests, you can give extra parameters to the `drnbench-generate-select-patterns` via its `--base-params` option, like: +The generated file `patterns.txt` becomes like following: ~~~ -% n_unique_requests=200 -% curl "http://192.168.100.50:10041/d/select?table=Pages&limit=$n_unique_requests&output_columns=title" | \ - drnbench-extract-searchterms | \ - drnbench-generate-select-patterns \ - --base-params="table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key" \ - > ./patterns.json -~~~ - -Then the generated file becomes: - -~~~ -{ - "with-query": { - "frequency": 1.0, - "method": "get", - "patterns": [ - { - "path": "/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=AAA" - }, - { - "path": "/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=BBB" - }, - ... - ] - } -} +/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=AAA +/d/select?table=Pages&limit=10&match_columns=title,text&output_columns=snippet_html(title),snippet_html(text),categories,_key&query=BBB +... ~~~ @@ -477,7 +438,7 @@ You can run benchmark with the command `drnbench-request-response`, like: --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50 \ --default-port=10041 \ --output-path=$PWD/groonga-result.csv @@ -538,7 +499,7 @@ Run the benchmark. --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50 \ --default-port=10042 \ --output-path=$PWD/droonga-result-1node.csv @@ -571,7 +532,7 @@ Run the benchmark. --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50,192.168.100.51 \ --default-port=10042 \ --output-path=$PWD/droonga-result-2nodes.csv @@ -612,7 +573,7 @@ Run the benchmark. --end-n-clients=20 \ --duration=30 \ --interval=10 \ - --request-patterns-file=$PWD/patterns.json \ + --request-patterns-file=$PWD/patterns.txt \ --default-hosts=192.168.100.50,192.168.100.51,192.168.100.52 \ --default-port=10042 \ --output-path=$PWD/droonga-result-3nodes.csv -------------- next part -------------- HTML����������������������������...下载
