西西河

主题:【原创】数据仓库软件的评测心得 -- 河蚌

共:💬58 🌺197 新:
全看分页树展 · 主题 跟帖
家园 不是我没看清您的需求

俺可没有希望既满足海量数据处理,又有高并发性请求。
是我的一个需求。

俺要的是,数据仓库软件在满足海量数据处理的高性能的同时,在功能上(而不是性能上),要支持所有数据库该有的功能,特别是对标准SQL的支持。而某些数据仓库软件连UPDATE这一基本的SQL功能都不支持了,这就有些过分了。

我感觉不提供是正常的,提供了当然更好。我碰到的一个类似数据仓库软件是用下面方式处理的。首先这个系统为了追求查询速度采用了特殊的索引,这种索引更新很慢。在这个系统以前版本中的每次UPDATE都触发索引的更新,性能惨不忍睹基本不可用。在新版本中,将UPDATE的数据存储在内部一个特殊区域中,等积攒够多了之后才更新索引。在更新索引之前的查询是分别对老索引和缓冲区进行查询再合并结果集。因此用户感觉UPDATE很快,系统也无须频繁重建索引。(当然有可能某次UPDATE导致必须重建索引而变慢)。

在我看来UPDATE可用当然更好,是能大大方便使用。

数据仓库的各个机器之间都可以千兆网络,而且如果有可能的话,上光纤也不是什么难事

千兆是最低档的连接方式,带宽小也罢了,主要是延迟太大。我想如果您查询过InfiniBand的价格就不会说

这些外围设备根本就不算钱

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河