Configuring and Performance Benchmarking a Storage Array for the University of Tartu HPC Center

Abstract

The University of Tartu HPC Center offers computational power and data storage to hundreds of researchers. In order to accommodate growing amounts of data, fine-tuning and profiling file systems meant for HPC use cases has become essential. The theoretical aim of this thesis is to describe the setup, profiling and benchmarking of a high performance file system. The thesis explains the various metrics and characteristics of setting up a filesystem and also includes performance results on multiple different configurations of a Lenovo DSS-G based filesystem. The practical aim of the thesis was to familiarize with the documentation of the Lenovo DSS-G251 storage array, set up the servers controlling the filesystem, determine the file system metadata and data block sizes in order to guarantee the necessary reliability of the file system and to test the final performance of the storage array.

Tartu Ülikooli Teadusarvutuste keskus pakub arvutusvõimsust ja andmehoidlat sadadele teadlastele. Suurenevate andmehulkade mahutamiseks on olulisemaks muutunud failisüsteemide peenhäälestus ja profileerimine, et garanteerida failisüsteemi jõudlus arvutuskeskude töövoogude jooksutamisel. Käesoleva lõputöö teoreetiline eesmärk on kirjeldada suure jõudlusega salvestusmassiivi seadistamist, profileerimist ja jõudluse testimist. Lõputöö selgitab erinevaid mõõdikuid ja parameetreid failisüsteem seadistamisel ning sisaldab andmeid Lenovo DSS-G põhise failisüsteemi jõudluse testimise tulemustest. Lõputöö praktiliste tegevuste käigus oli eesmärgiks Lenovo DSS-G251 andmehoidla dokumentatsiooniga tutvumine, juhtserverite ülesseadistamine, määrata failisüsteemi metaandmete- ja andmeplokkide suurused garanteerimaks kohane jõudlust andmemassiivile ning testida lõppseadistuses töötava süsteemi jõudlust.