wrkに無理矢理なpatchをあてて、unix domain socket経由でHTTPサーバをベンチマークできるようにしてみました。
pullreqはしてない。
GazelleやRhebokといったアプリケーションサーバを作っていますが、TCP経由のベンチマークではEphemeral Portの枯渇やTIME WAITの上限にあたってしまい、ベンチマークがしづらいという問題があります。
そこでnginxをreverse proxyとして設置し、nginxとアプリケーションサーバ間をunix domain socketで繋いでベンチマークをとっていましたが、nginxがボトルネックになりやすく、直接アクセスしたいなと考えていたので、やってみました。
これを使ってRhebokとUnicornの “Hello World” ベンチマークを行ったところ、unix domain socketのベンチマーク結果はTCPに比べて、Rhebokで5倍、Unicornで3倍高速という数字がでました。
Rhebokは最新版でHTTP/1.1のサーバとなり、デフォルトでTransfer-Encoding: chunkedを使います。Unicornはchunked transferを行わないので、機能的にあわせるためrack middlewareを導入しているのが上記のグラフの「Unicorn + Chunked」です。
このベンチマーク結果をみると、やはりTCPの新規コネクションのコストは大きく、TCPの都度接続は避け、できるだけコネクションを使い回すか、unix domain socketの使用したいと思うでしょう。
ただ、Reverse Proxyとアプリケーションサーバ、もしくはクライアントとアプリケーションサーバ間のTCP接続をkeepaliveする場合、保持すべき接続数のチューニングが難しくなりがちなので、自分としてはお勧めしません。クライアントとのTCP接続の維持をReverse Proxyで行い、アプリケーションサーバ間との接続はunix domain socketを使うのがよいのでしょう。もちろん、両者が同じホスト上で動作していないと使えませんが。。
使い方
まずブランチ指定してcloneしてきて、make
$ git clone -b unixdomain https://github.com/kazeburo/wrk.git $ cd wrk $ make
-P オプションでパスを指定します。
$ ./wrk -t 1 -c 30 -d 30 -P /tmp/app.sock http://localhost/benchmark
簡単ですね
RhebokとUnicornのベンチマーク
ベンチマークはEC2のc3.4xlargeを使いました。コア数は16です。OSはAmazon Linuxです。
以下のカーネルチューニングをしました
$ sudo sysctl -w net.core.netdev_max_backlog=8192 $ sudo sysctl -w net.core.somaxconn=32768 $ sudo sysctl -w net.ipv4.tcp_tw_recycle=1
一番下はTCPのポート枯渇対策です。ただTCPのベンチマークはどれもtimeoutのエラーが出てしまっています。
Rubyはxbuildを使って2.1.0をインストール
$git clone https://github.com/tagomoris/xbuild.git $ ./xbuild/ruby-install 2.1.5 ~/local/ruby-2.1 $ export PATH=/home/ec2-user/local/ruby-2.1/bin:$PATH $ gem install rhebok unicorn
アプリケーションサーバのワーカー数は8とし、wrkはスレッド6個、同時接続数600で実行しました。
アプリケーションはconfig.ruに直接書いている
$ cat config.ru class HelloApp def call(env) [ 200, {}, ["hello world\n"] ] end end run HelloApp.new # run Rack::Chunked.new(HelloApp.new)
unicornの設定はこちら
$ cat unicorn.rb worker_processes 8 preload_app true #listen "/dev/shm/app.sock", :backlog=>16384 listen 8080, :backlog=>36384
Rhebok + unix domain socket
$ rackup -s Rhebok -O Path=/dev/shm/app.sock -O BackLog=16384 -E production -O MaxRequestPerChild=0 -O MaxWorkers=8 config.ru $ ./wrk -t 6 -c 600 -d 30 --timeout 60 -P /dev/shm/app.sock http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 1.73ms 244.96us 6.62ms 81.28% Req/Sec 57.64k 4.04k 66.56k 69.06% 9762337 requests in 30.00s, 1.28GB read Requests/sec: 325426.21 Transfer/sec: 43.76MB
Rhebok + TCP
$ rackup -s Rhebok -O Port=8080 -O BackLog=16384 -E production -O MaxRequestPerChild=0 -O MaxWorkers=8 config.ru $ ./wrk -t 6 -c 600 -d 30 --timeout 60 http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 36.02ms 194.43ms 1.83s 97.66% Req/Sec 11.87k 2.20k 21.89k 89.91% 2021671 requests in 30.00s, 271.85MB read Socket errors: connect 0, read 0, write 0, timeout 56 Requests/sec: 67392.13 Transfer/sec: 9.06MB
Unicorn + unix domain socket
$ unicorn -c unicorn.rb -E production config.ru TCP $ ./wrk -t 6 -c 600 -d 30 --timeout 60 -P /dev/shm/app.sock http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 3.21ms 170.17us 11.49ms 88.06% Req/Sec 32.71k 2.04k 43.67k 65.95% 5534941 requests in 30.00s, 543.69MB read Requests/sec: 184506.07 Transfer/sec: 18.12MB
Unicorn + TCP
$ unicorn -c unicorn.rb -E production config.ru TCP $ ./wrk -t 6 -c 600 -d 30 --timeout 60 http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 33.58ms 179.94ms 1.75s 97.80% Req/Sec 11.01k 2.04k 22.00k 89.73% 1873600 requests in 30.00s, 184.04MB read Socket errors: connect 0, read 0, write 0, timeout 49 Requests/sec: 62455.78 Transfer/sec: 6.13MB
Unicorn + chunked + unix domain socket
$ unicorn -c unicorn.rb -E production chunked.ru unix $ ./wrk -t 6 -c 600 -d 30 --timeout 60 -P /dev/shm/app.sock http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 5.24ms 265.60us 13.67ms 77.33% Req/Sec 19.76k 1.79k 26.00k 68.71% 3404283 requests in 30.00s, 457.77MB read Requests/sec: 113481.40 Transfer/sec: 15.26MB
Unicorn + chunked + TCP
$ unicorn -c unicorn.rb -E production chunked.ru tcp $ ./wrk -t 6 -c 600 -d 30 --timeout 60 http://localhost:8080/ Running 30s test @ http://localhost:8080/ 6 threads and 600 connections Thread Stats Avg Stdev Max +/- Stdev Latency 555.60ms 1.10s 3.43s 81.56% Req/Sec 7.85k 5.05k 26.89k 65.28% 1339932 requests in 30.00s, 180.18MB read Socket errors: connect 0, read 0, write 0, timeout 29 Requests/sec: 44659.91 Transfer/sec: 6.01MB
HTTP/1.1に対応したRhebok、Gazelleと共にお試しくださいませ。
