上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人
1.2 云计算与大数据背景下的数据仓库技术
大数据从何时出现,以及何时兴起,这里不再多言,感兴趣的读者搜索几个关键词即可了解:Lucene、Hadoop,以及Doug Cutting。至于云计算,则搜索的关键词就更简单了。
对于和笔者一样的IT从业者而言,一门新的技术能否流行起来成为趋势,关键就看该技术的核心应用。无论是大数据,还是云计算,皆是如此。
对于大数据而言,它能够将整个企业的数据汇总到一起,并进行存储管理,然后创建应用。那么问题来了,哪些应用最适合建立在企业级的大数据之上呢?显而易见,数据仓库是完全值得考虑的应用之一。因此,随着大数据技术逐渐被各大企业广泛采用,数据仓库技术迎来了它的第二春。并且随着大数据技术的广泛应用和深入发展,基于大数据的数据仓库技术也逐渐呈现了一些新的趋势。例如,它基于大数据的一些技术,而不是只采用传统的关系型数据库技术来构建。这样就使得数据仓库除能够处理结构化数据外,也可以处理半结构化、非结构化数据。并且,大数据对海量数据的强大处理能力也使得诸多企业能够更广泛地使用外部数据,而不仅是将其作为企业自身数据的补充。
不仅如此,近年来,随着AI技术的进展,数据仓库应用中的数据挖掘甚至知识发现等高级部分,终于有了能够在大量企业中落地的可能。
云计算则为数据仓库的建设提供了更为经济的实现方式。传统的数据仓库构建方法,需要按照瀑布式的项目开发流程,依次进行需求分析、概要设计、详细设计、开发、测试、部署,最后上线等一系列的阶段性工作。但有了云计算后,我们就可以探究数据仓库构建的更多方法了。