Как мы тестируем серверы

Периодически в мою хабраленту попадают материалы о сравнительном тестировании разнообразных серверов, по прочтении которых возникает вопрос: "и что?". Что померили, в смысле, и как. Глядишь вот так, на результаты, полученные какой-нибудь SiSandra или PassMark и думаешь: а насколько эти тесты вообще имеют отношение к реальности? Или вот, скажем, мерили производительность дискового массива, а результаты получили для оперативной памяти...

Таким образом и родилась мысль, что неплохо бы подобрать среду для тестирования такую, которая предоставит результаты не в виде сферовакуумных попугаев, а в чем-то менее абстрактном.

В общем-то, простейшие тесты производительности можно произвести так: запустить ресурсоемкую задачу и замерить время выполнения. Например, скомпилировать что-нибудь:

time make -j$(echo "$(grep processor /proc/cpuinfo|wc -l)*2"|bc)

Попутно можно снимать данные о нагруженности системы, температуру с датчиков... А еще неплохо бы поделиться результатами с общественностью, да так, чтобы любой мог повторить тот же самый бенчмарк на своем железе и наглядно сравнить. Да и централизованная система по раздаче тестов явно не помешает, чтобы не бегать по ssh или rdp по куче серверов.

Как нельзя лучше под задачу подходит Phoronix Test Suite : бенчмарк-среда с открытыми исходным кодом и возможностью выкладывать и обмениваться результатами в Сети через тот же openbenchmarking.org, предоставляющий уйму тестов для тех или иных компонентов, либо всей системы в целом.

 Устанавливаем: 
$wget http://phoronix-test-suite.com/releases/repo/pts.debian/files/phoronix-test-suite_6.0.1_all.deb 
$sudo dpkg -i phoronix-test-suite_6.0.1_all.deb $sudo apt-get -f install

Настраиваем тестирование без лишних запросов с выкладыванием результатов на openbenchmarking.org:

$phoronix-test-suite batch-setup
These are the default configuration options for when running the 
Phoronix Test Suite in a batch mode (i.e. running phoronix-test-suite ba
tch-benchmark universe). Running in a batch mode is designed to be 
as autonomous as possible, except for where you'd like any end-user 
interaction.
    Save test results when in batch mode (Y/n): y
    Open the web browser automatically when in batch mode (y/N): n
    Auto upload the results to OpenBenchmarking.org (Y/n): y
    Prompt for test identifier (Y/n): Y
    Prompt for test description (Y/n): n
    Prompt for saved results file-name (Y/n): n
    Run all test options (Y/n): y
Batch settings saved.
Монтируем дисковый массив, на котором будет проводиться бенчмаркинг:
#mkfs.ext4 /dev/sda
#mount /dev/sda /var/lib/phoronix-test-suite/installed-tests

Подготавливаем нужные нам тесты:

#phoronix-test-suite install-dependencies fio blogbench ramspeed compress-7zip 
ffmpeg scimark2 nginx apache pgbench build-linux-kernel

В принципе, можно запустить все одним пакетом, но такое тестирование займет достаточно длительное время:

echo 'ProLiant DL360p Gen8'| phoronix-test-suite batch-benchmark 
fio blogbench ramspeed compress-7zip ffmpeg scimark2 nginx apache pgbench build-linux-kernel 

Веб-интерфейс

У phoronix есть вот такой веб интерфейс:

Веб-интерфейс Phoronix

2_mail_test_result_system.png

Запуcкается он так:

$phoronix-test-suite gui
o start server run new script: /tmp/tmp.OkRpZQCQTj/web-server-launcher
PHP 5.6.16-2 Development Server started at Thu Dec 24 11:13:54 2015
Listening on http://localhost:2737
Document root is /usr/share/phoronix-test-suite/pts-core/web-interface
Press Ctrl-C to quit.
WebSocket Server Active: localhost:2736
Launch: http://localhost:2737
Press [ENTER] to kill server...

Но лично мне он не понравился: как-то не слишком отзывчиво работает.

Также имеется бенчмарк-сервер Phoromatic, позволяющий запускать тестирование сразу на нескольких системах, собирая с них данные.

Бенчмарк-сервер Phoromatic

Запускаем:

$phoronix-test-suite start-phoromatic-server
Port 8961 chosen as random port for this instance. Change the default port via the 
Phoronix Test Suite user configuration file.
Phoronix Test Suite v6.0.1 (Hammerfest) starting Phoromatic Server
Phoronix Test Suite User-Data Directory Path: /home/c6/.phoronix-test-suite/
Phoronix Test Suite Configuration File: /home/c6/.phoronix-test-suite/user-config.xml
Phoromatic Server Log File: /home/c6/.phoronix-test-suite/phoromatic.log

WebSocket Server Active: localhost:8322
The Phoromatic Web Interface Is Accessible At: http://localhost:8961

Как видно, веб-интерфейс Phoromatic'a доступен по адресу http://localhost:8961. Следуя рекомендации сервера, выполняем на тестируемых машинах:

$phoronix-test-suite phoromatic.connect 192.168.3.196:8961/MTHM9F
phoronix-test-suite phoromatic.connect 192.168.3.196:8961/MTHM9F
Phoronix Test Suite v6.0.1
Server IP: 192.168.3.196
Server HTTP Port: 8961
Account ID: MTHM9F

Далее, можно сформировать профиль тестирования, укомплектовав нужными тестами:

Профиль тестирования Phoromatic

Обработка результатов

Что меня очень порадовало в Phoronix'e, так это как он представляет результаты: их экспортировать в csv для дальнейшей обработки, в pdf, либо автоматически выложить на сайт openbenchmarking.org. Если опция отправки результатов включена, то по окончании теста, phoronix предоставит ссылку:

Apache Benchmark 2.4.7:
    pts/apache-1.6.1 [Static Web Page Serving]
    Test 1 of 1
    Estimated Trial Run Count:    3
    Estimated Time To Completion: 9 Minutes (01:16 UTC)
        Running Pre-Test Script @ 01:07:34
        Started Run 1 @ 01:07:39
        Started Run 2 @ 01:08:26
        Started Run 3 @ 01:09:15  [Std. Dev: 1.88%]
        Running Post-Test Script @ 01:10:02
    
    Test Results:
        21711.44
        21062.92
        21807.64
    Average: 21527.33 Requests Per Second

Results Uploaded To: http://openbenchmarking.org/result/1512249-D7S2-151224144

Не стоит забывать про синхронизацию времени: если сильно расходится, будут проблемы при сборке и выкачивании некоторых архивов.

Итак, провели некторое количество тестов, результаты автоматически отправляются на openbenchmarking.org.

Например, Apache Benchmark, демонстрирующий, сколько запросов в секунду потянет система:

Так, здесь можно не только полюбоваться графиками и скачать отчет в нужном формате, но и добавить к сравнению результаты, проводимые другими пользователями:

А затем наглядно сравнить плюсы и минусы конфигураций:

Apach Benchmark плюсы и минусы

Так, можно оценить производительность процессоров для кодировании видео и, скажем, подобрать себе конфигурацию под видеохостинг.

Оценка производительности процессоров для кодировании видео

Или поглядеть табличку результатов систем других пользователей, проводивших данный тест:

Таблица результатов систем других пользователей, проводивших данный тест

Производительность оперативной памяти? Не проблема:

Benchmark оперативной памяти RAMspeed SMP v3.5.0

В общем, Phoronix Test Suite — это мощная и удобная система для оценки производительности, на голову превосходящая всевозможные десктопные тестилки, в том числе и коммерческие.

Акции
Принять ок!
Мы используем файлы cookie. Продолжив использование сайта, вы даете Согласие на обработку ПД и соглашаетесь с Политикой конфиденциальности.