2015年8月12日水曜日

ベンチマークシリーズ Aurora vs MySQL 結果まとめ

* ベンチマークシリーズ Aurora vs MySQL 結果まとめ

** 結果比較
- Connection数別トランザクション/分
Conn Aurora MySQL
20 6279.833 TpmC 6829.467 TpmC
30 8390.400 TpmC 1374.767 TpmC
50 11216.900 TpmC 1913.100 TpmC
70 14481.650 TpmC 2498.600 TpmC
100 14155.450 TpmC 2253.400 TpmC (詳細結果紛失
200 14932.350 TpmC -------  TpmC

- 所感
 データ投入や20Connくらいの接続数の場合、MySQLの方に分があったけれど、Conn数を増やしていくと、
 Auroraがリニアにスコアを伸ばし、限界値が高いようです
 ※両方パラメータは吊るしの状態なためチューニングすればまた違った結果になると思われます。

- 気になった点
 ・初期データ投入がMySQLは8時間で終了したところ、Auroraは15時間必要だった
 ・MySQL側のRDSインスタンスが、30Conn以上の時にCPU使用率が15%くらいで頭打ち、スペックを活かせていないようだった

- さいごに
 本番想定のベンチマークを行ったため、生かしておくとお金が吸い取られるので
 一旦バックアップを取ってココで終了。。。
----
以下は見たい人用の細々したやつです


** MySQLの結果
 # ./tpcc_start -h 172.30.1.123 -P 3306 -d tpcc -u root -p coingame -w 50 -c 20 -r 180 -l 3600 -f ./mysql_tpcc.log
 =================================================
 <Raw Results>
   [0] sc:409768  lt:0  rt:0  fl:0
   [1] sc:409661  lt:0  rt:0  fl:0
   [2] sc:40977  lt:0  rt:0  fl:0
   [3] sc:40973  lt:0  rt:0  fl:0
   [4] sc:40980  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:409774  lt:0  rt:0  fl:0
   [1] sc:409766  lt:0  rt:0  fl:0
   [2] sc:40977  lt:0  rt:0  fl:0
   [3] sc:40973  lt:0  rt:0  fl:0
   [4] sc:40980  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  6829.467 TpmC
 =================================================

 # ./tpcc_start -h 172.30.1.123 -P 3306 -d tpcc -u root -p coingame -w 50 -c 30 -r 180 -l 3600 -f ./mysql_tpcc_30.log
 =================================================
 <Raw Results>
   [0] sc:82486  lt:0  rt:0  fl:0
   [1] sc:82299  lt:0  rt:0  fl:0
   [2] sc:8249  lt:0  rt:0  fl:0
   [3] sc:8247  lt:0  rt:0  fl:0
   [4] sc:8249  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:82486  lt:0  rt:0  fl:0
   [1] sc:82487  lt:0  rt:0  fl:0
   [2] sc:8249  lt:0  rt:0  fl:0
   [3] sc:8248  lt:0  rt:0  fl:0
   [4] sc:8249  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.42% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  1374.767 TpmC
 =================================================

 # ./tpcc_start -h 172.30.1.123 -P 3306 -d tpcc -u root -p coingame -w 50 -c 50 -r 180 -l 3600 -f ./mysql_tpcc_50.log
 =================================================
 <Raw Results>
   [0] sc:114786  lt:0  rt:0  fl:0
   [1] sc:114741  lt:0  rt:0  fl:0
   [2] sc:11479  lt:0  rt:0  fl:0
   [3] sc:11478  lt:0  rt:0  fl:0
   [4] sc:11479  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:114788  lt:0  rt:0  fl:0
   [1] sc:114791  lt:0  rt:0  fl:0
   [2] sc:11479  lt:0  rt:0  fl:0
   [3] sc:11478  lt:0  rt:0  fl:0
   [4] sc:11479  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                 1913.100 TpmC
 =================================================

 # ./tpcc_start -h 172.30.1.123 -P 3306 -d tpcc -u root -p coingame -w 50 -c 75 -r 180 -l 3600 -f ./mysql_tpcc_75.log
 =================================================
 <Raw Results>
   [0] sc:149916  lt:0  rt:0  fl:0
   [1] sc:149867  lt:0  rt:0  fl:0
   [2] sc:14991  lt:0  rt:0  fl:0
   [3] sc:14990  lt:0  rt:0  fl:0
   [4] sc:14989  lt:0  rt:0  fl:0
  in 3600 sec.
 <Raw Results2(sum ver.)>
   [0] sc:149916  lt:0  rt:0  fl:0
   [1] sc:149914  lt:0  rt:0  fl:0
   [2] sc:14991  lt:0  rt:0  fl:0
   [3] sc:14991  lt:0  rt:0  fl:0
   [4] sc:14990  lt:0  rt:0  fl:0
 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]
 <TpmC>
                  2498.600 TpmC
 =================================================

** Auroraの結果
 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 20 -r 180 -l 3600 -f  ./aurora_tpcc_20.log
 =================================================
 <Raw Results>
   [0] sc:376790  lt:0  rt:0  fl:0
   [1] sc:376635  lt:0  rt:0  fl:0
   [2] sc:37679  lt:0  rt:0  fl:0
   [3] sc:37679  lt:0  rt:0  fl:0
   [4] sc:37679  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:376801  lt:0  rt:0  fl:0
   [1] sc:376801  lt:0  rt:0  fl:0
   [2] sc:37679  lt:0  rt:0  fl:0
   [3] sc:37681  lt:0  rt:0  fl:0
   [4] sc:37679  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  6279.833 TpmC
 =================================================

 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 30 -r 180 -l 3600 -f  ./aurora_tpcc_30.log
 =================================================
 <Raw Results>
   [0] sc:503424  lt:0  rt:0  fl:0
   [1] sc:503208  lt:0  rt:0  fl:0
   [2] sc:50343  lt:0  rt:0  fl:0
   [3] sc:50342  lt:0  rt:0  fl:0
   [4] sc:50342  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:503431  lt:0  rt:0  fl:0
   [1] sc:503427  lt:0  rt:0  fl:0
   [2] sc:50343  lt:0  rt:0  fl:0
   [3] sc:50342  lt:0  rt:0  fl:0
   [4] sc:50344  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  8390.400 TpmC
 =================================================

 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 50 -r 180 -l 3600 -f  ./aurora_tpcc_50.log
 =================================================
 <Raw Results>
   [0] sc:673014  lt:0  rt:0  fl:0
   [1] sc:672842  lt:0  rt:0  fl:0
   [2] sc:67302  lt:0  rt:0  fl:0
   [3] sc:67302  lt:0  rt:0  fl:0
   [4] sc:67303  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:673032  lt:0  rt:0  fl:0
   [1] sc:673029  lt:0  rt:0  fl:0
   [2] sc:67303  lt:0  rt:0  fl:0
   [3] sc:67303  lt:0  rt:0  fl:0
   [4] sc:67304  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  11216.900 TpmC
 =================================================

 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 75 -r 180 -l 3600 -f  ./aurora_tpcc_75.log
 =================================================
 <Raw Results>
   [0] sc:868899  lt:0  rt:0  fl:0
   [1] sc:868770  lt:0  rt:0  fl:0
   [2] sc:86890  lt:0  rt:0  fl:0
   [3] sc:86884  lt:0  rt:0  fl:0
   [4] sc:86893  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:868917  lt:0  rt:0  fl:0
   [1] sc:868916  lt:0  rt:0  fl:0
   [2] sc:86892  lt:0  rt:0  fl:0
   [3] sc:86893  lt:0  rt:0  fl:0
   [4] sc:86893  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  14481.650 TpmC
 =================================================

 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 100 -r 180 -l 3600 -f ./aurora_tpcc_100.log
 =================================================
 <Raw Results>
   [0] sc:849327  lt:0  rt:0  fl:0
   [1] sc:849158  lt:0  rt:0  fl:0
   [2] sc:84932  lt:0  rt:0  fl:0
   [3] sc:84932  lt:0  rt:0  fl:0
   [4] sc:84932  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:849331  lt:0  rt:0  fl:0
   [1] sc:849340  lt:0  rt:0  fl:0
   [2] sc:84932  lt:0  rt:0  fl:0
   [3] sc:84935  lt:0  rt:0  fl:0
   [4] sc:84932  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.47% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  14155.450 TpmC
 =================================================

 # ./tpcc_start -h 172.30.2.234 -P 3306 -d tpcc -u root -p coingame -w 50 -c 200 -r 180 -l 3600 -f ./aurora_tpcc_200.log
 =================================================
 <Raw Results>
   [0] sc:895941  lt:0  rt:0  fl:0
   [1] sc:895836  lt:0  rt:0  fl:0
   [2] sc:89595  lt:0  rt:0  fl:0
   [3] sc:89594  lt:0  rt:0  fl:0
   [4] sc:89588  lt:0  rt:0  fl:0
  in 3600 sec.

 <Raw Results2(sum ver.)>
   [0] sc:895942  lt:0  rt:0  fl:0
   [1] sc:895982  lt:0  rt:0  fl:0
   [2] sc:89596  lt:0  rt:0  fl:0
   [3] sc:89600  lt:0  rt:0  fl:0
   [4] sc:89590  lt:0  rt:0  fl:0

 <Constraint Check> (all must be [OK])
  [transaction percentage]
         Payment: 43.48% (>=43.0%) [OK]
    Order-Status: 4.35% (>= 4.0%) [OK]
        Delivery: 4.35% (>= 4.0%) [OK]
     Stock-Level: 4.35% (>= 4.0%) [OK]
  [response time (at least 90% passed)]
       New-Order: 100.00%  [OK]
         Payment: 100.00%  [OK]
    Order-Status: 100.00%  [OK]
        Delivery: 100.00%  [OK]
     Stock-Level: 100.00%  [OK]

 <TpmC>
                  14932.350 TpmC
 =================================================

----

おわり

0 件のコメント:

コメントを投稿