西西河

主题:【原创】家用硬盘阵列RAID实例-壹 -- 梦回唐朝

共:💬83 🌺127 新:
全看树展主题 · 分页首页 上页
/ 6
下页 末页
家园 瓶颈

133个硬盘,分别在9个盘柜,不知道RAID是如何划分的,要是分别跨不同盘柜的话读写速度能快点,要是只局限在同一个盘柜的话,速度可能受影响。

盘柜虽然是双路光纤连接到两个冗余控制器,但是工作的只有1条,其余的都是备份路径。按4G来算,最快速度也就280mb/s。

每个控制器和服务器是4路,有可能同时工作,速度应该是280×4mb/s。

再加上跑的应用,有可能不能给到控制器足够的读写命令和队列深度,用专门的多线程读写软件测试应该能快一点。不过我估计能达到200mb/s就不错了。毕竟实际跟理论是有差距的。

家园 您说的是Mbyte/s还是Mbit/s?

要是100Mbyte/s那可是相当好的速度了呀,公司的存储做Catia备份,网络传输速度也就是350Mb/sde 样子,折成字节50MB/s不到。光纤千兆实际能到800Mb/s的样子,也就是100Mbyte/s左右。

家园 It really depends ...

重要的数据RAID1有好处

但是对于p2p下载来的视频节目

本来就是娱乐的

没有了再下

全部上RAID1就奢侈了...

而像楼主那样七八块硬盘的

恐怕还是把服务器和工作用机分开的好

否则再加上大功率显卡什么的

功耗、噪声、散热都上台阶

开机后放在身边也不舒服啊

而且现在家里人均一台以上电脑也是很常见的

网络文件访问基本上是免不了的

追求访问性能那部分数据

用的时候再拖到工作机的本地硬盘就是

自己家里用

一般主机使用寿命至少有个两三年吧?

一次就把空位都采购满有点奢侈

去年1T的价,今年差不多是买2T了...

家园 不知你们用的HP的那种控制器

我们组用的HP MSA20,我觉得瓶颈是MSA20里的控制器,RAID6,12硬盘阵列,持续的速度,读35MB/s,写22MB/s。

看过一篇文章,谈到TB时代是RAID技术的终结,基本观点是对的。我个人觉也得RAID是过时的技术了,分布式冗余文件系统应该是以后的方向,速度、灵活性、健壮性都好得多。

家园 云存储?

是否就是您所提的分布式冗余文件系统的一种?

家园 Well said

干脆我把我家里的网络情况贴出来给大家看看。

家园 RAID1似乎太奢侈了点

家用就是讲究低成本,要不然我也不会上Green Power系列的硬盘了。我现在倒觉得RAID5再加外置备份应该是比较折中的选择。

RAID4
家园 欢迎方家补充

RAID4挺罕见的吧?

家园 【原创】家里的局域网和电脑们

也许将我家里的网络和电脑设置情况介绍一下可以给大家一个更清晰的了解。

网络拓扑

Netgear DG834G Modem/Wireless Router(储藏室)--- HP Procurve 1400 8-port Gigabit Switch(储藏室)

+---- file server (WinXP)(储藏室)

+---- work station (Win7 Pro 64-bit)(书房)

+---- HTPC (WinXP)(娱乐间)

+---- PS3(娱乐间)

+---- MNP-101 Media Player (wired)(客厅)

+---- SPA2001 VoIP adapter (10Mbpps)(客厅)

+---- Netgear WPN824 Wireless Access Point/Router (100Mbps/54Mbps)(客厅)

+---- Dreambox 500 Satellite Set Top Box (wired)(客厅)

+---- Teac HDRM7250 HD PVR (wired)(客厅)

+---- XPS 1330 Laptop (WinXP)

+---- PocketPC * 2 (WM6)

+---- Wii(客厅)

工作机

点看全图

主要任务:

上网,游戏,程序,photoshop, 视屏处理及其他各种工作。

配置:

CPU:Intel E8400

CPU风扇:Zalman CNPS9700 CPU Cooler

主板:GA-EP35-DS3 (rev. 2.1)

内存:2G G-Skill DDR2 x 2

显卡:XFX 5970 2G Black Edition

机箱:CoolerMaster HAF

电源:ThermalTake Toughpower 850W (没办法,9800GX2 的要求比较高)

显示器:HP LP3065 (很大很爽,就是对显卡要求太高了)

键盘:IBM 机械式键盘 (用了15年了,没想过要更换)

鼠标:Logitech G5 (best mouse I have ever used)

风扇控制器:Zalman ZM-MFC1 Plus Fan Controller

音箱:Yamaha 2.1

耳机:Senheiser HD515

软件: Windows 7 Pro 64-bit

硬盘:

SATA ST332062 320G

SATA WDC WD2500JS-55NCB1 250G

附配件图片:

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

文件/电视服务器

主要任务:

1. MediaPortal TV Server 负责录电视和提供电视streaming服务

2. 24×7 电驴和flashget下载

3. 给家里的局域网提供文件储存服务。

配置相对较低。

CPU: Intel E2160

主板:GA-P35C-DS3R (rev. 2.0)

内存: 1G Kingston DDR2 x 2

机箱:Antec Titan

电源:Antec NeoPower 500W

显卡: SAPPHIRE HD 4350 512MB DDR2 PCI-E HDMI

电视卡: Hauppauge HVR 2200

软件: Windows XP Pro SP3 + Media Portal 1.1.0 TV Server

硬盘: 共7个,总容量超过6TB

SATA WDC WD15EADS-00P8B0 1.5TB Green Power (Non-ADF)

SATA WDC WD15EARS 1.5TB Green Power x 2 (ADF technology)

SATA WDC WD64 640GB x 2 in RAID0, shown as disk 0 below.

SATA WDC WD5000AAKS 500GB x 2 in RAID0, shown as disk 4 below.

点看全图

外链图片需谨慎,可能会被源头改

备份硬盘:

SATA ST31500341AS 1.5TB, 备份时以e-sata方式连接。

附配件图片:

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

Laptop

Dell XPS 1330

点看全图

外链图片需谨慎,可能会被源头改

HTPC

点看全图

外链图片需谨慎,可能会被源头改

主要任务:

连接在电视机上,看电视,电影,偶尔玩玩小游戏。

配置:

CPU: AMD 4850e

主板:GA-MA78GPM-DS2H (integrated ATI Radeon HD 3200 Graphic)

机箱: Antec Fusion Remote Black

硬盘: WD Cavier 250GB SATA

内存: Kingston 1GB

电源: Antec NeoHE 380W

控制: Logitech diNovo Edge

软件: Windows XP SP3 + Media Portal 1.1.0 with TV Client

附配件图片:

点看全图

外链图片需谨慎,可能会被源头改

点看全图

外链图片需谨慎,可能会被源头改

有关HTPC的细节包括安装和使用,请参看 我的HTPC

有关我家的gigabit网络,请参看 DIY家庭布线工程

关键词(Tags): #局域网(嘉英)#家庭局域网(嘉英)#家庭网络(嘉英)
瓶颈
家园 你这个说法是中端控制器的问题

我们用的是最高端的,HP EVA8100。这个不可能有这样的问题。每个控制器单独的cache就是4GB。盘柜并不自己组织RAID,只是硬盘的接口而已。所有硬盘都在控制器统一调度,用4D+1的方式组织成多个RAID5,再类似RAID0拼接成需要的容量,并预留5%左右空间作为热备。9个盘柜的硬盘是可以被控制器同时访问的,两个冗余控制器事实上也是同时工作的,不是stand by spare。这里可能想象得到的瓶颈,如果HP这样的专业大厂都想不到、在最高端控制器里面还解决不了的话,那它早就倒闭多少回了。

至于多线程读写,我们是用的16-32路同时大读/写测试的,应当是可以发挥到硬件的极致了。

家园 MByte/s

我们最高端的控制器 HP EVA8100、4路光纤接口,最高端的NAS外加10GbE的出口,当然要到100Mbyte/s的性能才能接受了。即使是100Mbyte/s我也觉得低了呢

当然通过网络之后速度就直线下降了,即使我们的10GbE的网络上,读写速度也很慢的,比千兆网快不了多少,网络带宽利用率不足1%。这是网络文件系统的固有问题,和后端的盘阵的速度没有关系。

家园 你的RAID6是瓶颈

RAID6比RAID5性能还要差,只是更增加了一层容错,两个盘坏都可以保证数据不损失。但为了这个容错能力,要使用更多的数据进行交织校验,所以小写的性能就更差了。如果换成RAID5的话,应当可以达到50左右的速度。我们有一个12盘的集成NAS服务器,差不多就有这个速度。所以除非十分必要,我们一般不使用RAID6,即使用RAID5+spare也比RAID6好。

我们的控制器是EVA8100,那个是最高端的,RAID组织和磁盘管理方式都不一样的,控制器不应当成为瓶颈。

另外,分布式文件系统的读写性能是针对某些独特的操作优化的,所以如果你的操作不是这少数几个优化过的操作,其性能将极低,远低于单盘的性能。而通常的家用和工作组使用,那几个操作都是基本上用不上的,只有大型数据分析处理才用得上。而且现在的产品都不太成熟。所以使用这个要慎之又慎。

家园 谢宝

在高清电影和高像素相机的时代,大硬盘和RAID是太重要了。

恭喜:你意外获得【通宝】一枚

鲜花已成功送出,消耗 铢钱 1 个,可能得宝。可通过工具取消

提示:此次送花为【有效送花赞扬,加乐善、声望、帖得花总数】。

家园 此贴宝多

恭喜:你意外获得【通宝】一枚

鲜花已成功送出,消耗 铢钱 1 个,可能得宝。可通过工具取消

提示:此次送花为【有效送花赞扬,加乐善、声望、帖得花总数】。

谢宝
家园 正是:硬盘消耗很快

几个主要文件来源:

1. 照片:

单个21兆像素的单反相机RAW文件一个平均20兆左右,转换成全尺寸的jpg格式后平均10兆,如果将处理流程存成tiff或其他中间格式的文件,那么存储空间还要不止翻倍。

2. 高清摄像机:

12分钟5d Mark2拍摄的视频大约为4GB.后期处理转码后的文件可能略小于这个尺寸,取决于codec的选择。中间文件要存的话就更大了。

3. 高清电视录像:

2小时电视平均需要15GB左右。

两年前我总共有2TB容量,自以为很暴力很强大了,现在转眼已经扩展到6TB,所剩空间无几。

全看树展主题 · 分页首页 上页
/ 6
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河