儲存裝置(storage) Iometer performance verify
這篇文章主要目的是在提醒，當使用Iometer在做performance verify的時候，一些事前的準備工作，以及其他要注意的小細節。
How to prepare berfore Iometer performance verify
1. Host端 (主機端-Motherboard)
1. 除了Chip-set
driver以外，請不要install其他不必要的軟體或常駐程式。(盡量確保resource的最大值)
2. 淨空PCI-e的slot，只留下待測試的HBA。(也就是說VGA請盡量用on-board的，以避免外在因素的干擾)
3. PCI-e的bandwidth也要注意一下，目前市售的motherboard都有support到Gen:3 16x足以應付市面上的HBA。
4. Memory至少要在4G以上。
5. Iometer下載 https://www.iometer.org/doc/downloads.html
2. Initiator/Master端 (待測端-HBA)
1. 至少要有一個能夠比較的因素或device，記住：只能有一個變動因素，如下圖範例所示:PD x2 VS. Raid0 x2。(大概解釋一下：base-on HDDx1的performance，用兩顆HDD來做PDx2與Raid0x2的performance比對，唯一的變動因素，就只有non-RAID與RAID的區分)。
2. 關於RAID的initial：
◆ 針對Non-XOR RAID的話，請不要對RAID做任何initial的動作，因為initial還是會對RAID做Write的動作。
◆ 如果是針對XOR RAID的話，就必須要做initial，以避免I/O在access的時候又要計算Parity。
3. 關於Iometer的設定：
◆ RampUpTime=0second。(因為RampUpTime還是會有Write的動作)
◆ Maximum Disk Size=0，Starting Disk Sector=0。(直接做physics的direct access)
◆ Worker數，一定要等於CPU的kernel數。(請先將CPU的Hyper-Threading disable)
◆ Outstanding IO=32的設定已經足夠，Iometer更details的安裝與設定，可以參考
3. Target/Slave端 (設備端-HDD/SSD)
1. 在驗證之前，先confirm原廠的HDD/SSD production data sheet的performance。(如剛剛上圖範例所示：先驗原廠的基本值，也就是PD x1的performance)
2. SATA/SAS/NVMe device也不要接入Enclosure內。(因為direct attach比較不會有外在因素影響)
3. 不要對PD或RAID做任何format的動作。(因為file system還是有cache的存在)
4. 如果測試的Target是with SSD的話，先注意下列動作：
◆ 先將SSD做wipe-out。(erase SSD的block以及其他garbage)
◆ 測試的procedure依序為 Seq.Read → Rdm.Read → Seq.Write → Rdm.Write。(這樣受到SSD的limition也會比較小)
4. 關於Seq/Rdm.Read與Seq/Rdm.Write performance的IOPS
關係曲線如下圖範例所示：I/O Size越小→IOPS越多，反之，I/O Size越大→IOPS越少。
5. 關於multi-disks (disks >=2)的 balance
如下圖範例所示： 在multi-disks執行I/O的時侯，也要注意到每一個SATA/SAS/NVMe port I/O的balance是否都有到位。
