西西河

主题:【原创】家用硬盘阵列RAID实例-壹 -- 梦回唐朝

共:💬83 🌺127 新:
全看树展主题 · 分页首页 上页
/ 6
下页 末页
家园 【原创】家用硬盘阵列RAID实例-贰

为什么要用RAID?

我的服务器上的Hauppauge HVR 2200电视卡有两个tuner. 也就是说它可以同时录两个频道。这也就意味着它需要同时进行两个磁盘写操作。为了提高写的性能,我以前的解决方式是让它们分别写入位于两个不同硬盘的两个文件夹中,这样两个写操作就不会干扰。但是这种解决方式就是的录像文件的管理麻烦一些。而且由于不总是录两个频道,因此一个常见问题就是其中的一个硬盘都快写满了,而另外一个硬盘却还基本是空的。

阵列正好可以解决这个问题。它把多个物理硬盘组合成一个逻辑盘,文件管理和负载平衡都被自然地解决了,同时还能保证较高的速度。

同时,家庭用户的几个主要文件来源都日趋庞大:

1. 照片:

单个21兆像素的单反相机RAW文件一个平均20兆左右,转换成全尺寸的jpg格式后平均10兆,如果将处理流程存成tiff或其他中间格式的文件,那么存储空间还要不止翻倍。

2. 高清摄像机:

12分钟5d Mark2拍摄的视频大约为4GB.后期处理转码后的文件可能略小于这个尺寸,取决于codec的选择。中间文件要存的话就更大了。

3. 高清电视录像:

2小时电视平均需要15GB左右。

因此我们需要越来越多的硬盘存储空间。

阵列正好也解决了这个问题,它把多个小的物理硬盘组合成一个大的逻辑盘。

为什么选择RAID 0?

对于一个文件服务器而言,多个同时进行的读写操作是常见的事。就拿我这个电视服务器来说,一个很常见的例子就是同步给两个频道录像,同时为电视客户端读取一个已有的录像文件。因此,稳定的持续的高速度读写是关键。正如你可以从这个帖子 RAID 0, 1, 5, 1+0 简介中可以看到的那样, 在常见阵列方案中,RAID 0最好地满足了这一需求。

此外,所有其他方案都需要牺牲一些磁盘容量来提供更好的可靠性,这对于一个家庭用户来说可以说是一种奢侈。

所以最终我选择了RAID0,付出的代价是可靠性被极大降低。

作为一个对此代价的补偿,我另外使用了一个外置硬盘作为永久备份用途,重要的数据会定期备份下来。不过说起来电视录像这个东西重要性不大,真丢了也就丢了,没什么大不了的。

家园 可以合理利用多块小硬盘

raid 01 得4块相同容量,最好是相同的硬盘。如果坏了一块则新增的至少容量也不能小于其他的。 组建、升级、维护成本都高。

如果raid0+同步,则需要两块相同的硬盘组raid0。然后一块容量不小于前面的作为rsync的同步目的盘,或者多块容量大小不限的硬盘,用rsync划分不同的目录同步到不同的硬盘,这样就可以把小容量硬盘合理利用上。

升级维护的成本相对小:假如你用2*1T组的raid0,一块2T作rsync备份;则升级方案有2:

1、全新升级。 新买两块2T硬盘作raid0,原来阵列盘作为rsync备份盘。于是 2*2T-->raid0, 2*1T+1*2T-->rsync备份.

2、部分升级。 新买1块2T配合已有的2T作raid0, 以前的2*1T阵列盘转作rsync备份盘。这样主力盘容量是4T,备份盘容量是2T,需要规划下最重要的数据才同步备份。

家园 有类似的软件

貌似没有rsync windows版本,不过有很多类似的软件,功能应该接近rsync吧。

家园 drobo

俺是懒人,觉得drobo的产品还可以,比较简便。

家园 RAID0不能提高多路并发写的性能多少

RAID0可以看成是写速度加倍的单个硬盘,而且仅仅是写速度加倍,寻道之类的时间是不能减少的。而多路并发写,其瓶颈恰恰在寻道上。所以RAID0对提高你的应用的性能很有限。事实是,单个硬盘的速度足以支持两路标清视频录像。

如果考虑你的应用,我倒觉得用JBOD+Ext2FS配以合适的参数是最恰当的。Ext2FS的特性是可以把不同的文件分布在产品的不同部位。而JBOD正好把组中不同磁盘的空间放到不同的线性地址上。而且JBOD可以使用不同大小的磁盘。

家园 老兄能不能再给分析一下lvm?说一下lvm和jbod的

区别?现在我用的是lvm,jbod倒只是听过个名字,不知道是什么东西

感觉上lvm的性能提升需要有好的分区方案。

因为楼主用的是windows所以我一直没说。存储服务器,特别是家用的,我认为最重要的是应该是可扩展性,现有的磁盘性能上做一般存储是足够了,用不着用组建raid阵列。家用的raid阵列一旦组建完成,再想扩充的话就非常麻烦,而且受到软硬件的制约。lvm方案主要是可以在可扩展性和性能方面找到一个平衡点。而且日后做数据转移也很快捷。当然,缺点是优化起来很麻烦,而且不能在winodows下应用。

家园 lvm类似windows的dynamic volumn吧

具体不知道,因为没用过。jbod=just bunch of disk,其实就是硬件支持的lvm或者dynamic volumn。lvm或者dynamic volumn与raid/jbod应该都可以同时使用。dynamic volumn还支持软件raid,linux也是支持的,不知道是否在lvm里面就是了。

按我的理解,做raid家用主要的目的当然是安全了,性能确实没有太大必要,目前的硬盘性能对家用大多数应用似乎足够,而确实需要提升性能的应用,raid本身却又解决不了。备份虽然是一个提升安全性的做法,但备份实在麻烦,谁回家还经常折腾计算机去备份这备份那?所以要稍微有点速度要求就RAID1或RAID1+0,速度无所谓就RAID5,会便宜一点。

其实我现在回家都不用计算机的,连笔记本的几乎不用。工作的时候一直用,回家哪还有心思折腾这玩意。我有电影什么的都放我们学校的服务器上有个10T的服务器现在还没人用,真是浪费。

家园 我在用ms的home server

觉得家庭用挺方便

自动备份文件和别的机子的系统相当方便

当然对访问速度有要求的就不行了

全看树展主题 · 分页首页 上页
/ 6
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河