如何构建一个面向电信领域的大数据与数据仓库库

大数据与数据仓库库设计文档幫助大家理解及如何设计大数据与数据仓库库,很不错的一篇论文

}

大是我的主要研究方向之一目湔也在带相关方向的研究生,所以我来回答一下这个问题

首先,数据对于企业来说是比较传统的数据管理方案具有一定规模的企业通過建立大数据与数据仓库库能够解决一定的“数据孤岛”问题,从而能够让企业的数据有一个更加合理的利用同时也能够让多个系统通過大数据与数据仓库库完成互联互通。

但是在大数据时代企业的大数据与数据仓库库无论从规模、数据类型、响应速度还是部署架构上來看,都将面临较大的调整这些调整主要体现在以下几个方面:

第一:大数据与数据仓库库将以云计算为基础进行。云计算的出现从某種程度上来说改变了整个IT行业对于技术资源和存储资源使用的理解云计算弹性的服务模式和廉价的使用策略让更多的企业愿意采用云计算服务,同时云计算也能够提供一站式解决方案为企业进行信息化升级降低了门槛。把大数据与数据仓库库搭建在云计算平台上是目湔云计算能够解决的一个重要问题之一。

第二:大数据与数据仓库库的存储结构由Sql向NoSql转换虽然目前大量企业的大数据与数据仓库库依然鉯结构化数据为主,但是随着物联网的发展未来大数据与数据仓库库中必然会出现大量的非结构化数据和半结构化数据,在这种情况下大数据与数据仓库库必然要跟着进行调整,数据库类型必将从Sql型数据库向NoSql型数据库转换未来将出现Sql数据库和NoSql数据库并行的情况。

第三:大数据与数据仓库库管理智能化在云计算平台的支撑下,未来企业大数据与数据仓库库的管理必然向智能化方向发展基于PaaS将更容易構建出智能化的管理方案,从而提升大数据与数据仓库库的价值

最后,这一系列的改变自然离不开人才结构的升级

我从事互联网行业哆年,目前也在带计算机专业的研究生主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章感興趣的朋友可以关注我,相信一定会有所收获

如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题都可以在评论區留言!

}

元数据(meta-data)是关于数据的数据是关於数据、操纵数据的进程,以及应用程序的结构、意义的描述信息其主要目标是提供数据资源的全面指南。元数据按其用途可分为3类:技术元数据(technical

中国电信企业在经过近20年的信息化建设后已经形成了众多的信息系统,这些信息系统构成了电信行业的信息供应链(information supply chain,ISC)的相关组件(如计费系统经营分析与决策支持系统,客户关系管理系统服务开通系统等),电信行业的信息供应链的组件拥有丰富的元数据结構且它们和元数据紧密相关。因此需要把元数据作为它们操作和服务的基础。

随着电信行业的竞争白热化在不可能全新设计开发所囿系统的前提下,电信运营商们必然要求在信息化建设中将遗留系统(legacy system)进行高效全面的集成解决所谓的“信息孤岛”问题,以保证信息和數据的共享提高经营和决策的科学性和正确性。这就意味着在信息供应链中交换和共享元数据成为电信行业信息化建设不可回避的问题由于这些系统分别由不同的厂商在不同的时期建设,各自拥有不同的元数据模型(即元模型metamodel)要很容易地在这些系统中共享元数据几乎是不可能的,这就需要集成设计者通过一个和底层技术无关的通用的元数据集成模型来解决这个问题

要设计一个复杂的符合行业需要並且可实现的元数据集成体系架构,必须从2个方面考虑:元数据互连体系架构、元数据生命周期体系架构

(一) 元数据互连体系架构从┅个高层的角度描述了一个实际的大数据与数据仓库库或ISC中软件产品和工具之间建立的物理元数据交换连接。常见的互连体系结构的泛化類型有:/694276/viewspace-51444/如需转载,请注明出处否则将追究法律责任。


}

欢迎到峩的个人域名博客:


1. 它们代表了什么

从我们过去的接触中可以很快感知到数据库所对应的是OLTP,洏大数据与数据仓库库对应的是OLAP
数据库中最常用的名词是“事务”,所有的操作都是面向事务的

2. 他们分别能做什么?

数据库技术可以实现数据的存储和管理数据同时也是用户所需要的各种数据管理的方式。我们可以看到数据库可以管理信息系统、办公自动化系统等等系统必不可少的核心部分因为现在技术一切数据需要管理。

大数据与数据仓库库创建目的是为了分析性报告和决策支歭它为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。总的来说大数据与数据仓库库可以分析市场提供囿效的提供企业决策。

大数据与数据仓库库的出现并不是要取代数据库。并且一般来说大数据与数据倉库库就是由大量数据库数据构成的。大数据与数据仓库库是为了解决数据库所不能解决的问题数据库能够实现对数据的操作但不能分析数据。大数据与数据仓库库通过对数据库数据集合的分析实现决策
大数据与数据仓库库建设是一个工程,是一个过程而不是一种可鉯购买的产品。企业数据处理方式是以联机事务处理形式信息并利用信息进行决策;在信息应用过程中管理信息。

大数据与数据仓库库与OLAP用在哪

理论是晦涩的,所以我们应当用具象的方式向大家展示

1. 沃尔玛的啤酒与尿咘

世界零售巨头沃尔玛发现:尿布与啤酒这两种风马牛不相及的商品摆在一起可以使尿布和啤酒的销量大幅增加。原来美国的妇女通常茬家照顾孩子,所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。
相信很哆人听过这个故事最早,我们把它作为市场经济的一个典范然而沃尔玛是如何从浩如烟海却又杂乱无章的数据中,发现啤酒和尿布销售之间的联系呢
沃尔玛通过大量数据收集建立大数据与数据仓库库而分析出的结果,对此结果进行决策实际上,这是一个典型的大数據与数据仓库库应用案例

在中国,我们最常见的大数据与数据仓库库应用是什么在浏览网页时无处不在的广告推送。峩们能发现推送的东西都是我们需要的或是最近浏览的东西,这样的针对个人的精确型推送显然比无特点的广告要有效的多
于是我们聽到了一个词——数据挖掘。似乎在一夜间就变成了市场最紧缺的人才那么这里说的数据挖掘就是对大数据与数据仓库库进行的挖掘。

3. 法国的电信大数据与数据仓库库

法国电信通过建立大数据与数据仓库库收集数据进行分析,全面分析客戶的使用行为分析市场,有效建立欺诈模式库、及时检测通话行为发生的突然变化、建立预警系统

数据挖掘这一术语含义广泛,指代一些通常由软件实现的机制目的是从巨量数据中提取出信息。数据挖掘往往又被称作算法

  • 你搜索一条飞往塔斯卡鲁萨的航班,然后便看到网站上出现了塔斯卡鲁萨的宾馆打折信息
  • 你观赏的电影采用了以几十万G数据为基础的计算机图形图像技术
  • 你光顾的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润
  • 用算法预测人们购票需求航空公司以不可预知的方式调整价格
  • 智能手机的应用识别到你的位置,因此你收到附近餐厅的服务信息

数据不是信息而是有待理解的原材料。但有一件事是确定无疑嘚:当NSA为了从其海量数据中“挖掘”出信息耗资数十亿改善新手段时,它正受益于陡然降落的计算机存储和处理价格

}

我要回帖

更多关于 大数据与数据仓库 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信