如何创建虚拟数据仓库论坛?

数据仓库论坛是面向主题的、集荿的、不可更新的、随时间的变化而不断变化的这些特点决定了数据仓库论坛的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 

    数据仓库论坛系统的原始需求不明确且不断变化与增加,开发者最初不能确切了解到用户的明确而详细的需求用户所能提供的无非昰需求的大的方向以及部分需求, 更不能较准确地预见到以后的需求因此,采用原型法来进行数据仓库论坛的开发是比较合适的因为原型法的思想是从构建系统的简单的基本框架着手,不断丰富与完 善整个系统但是,数据仓库论坛的设计开发又不同于一般意义上的原型法数据仓库论坛的设计是数据驱动的。这是因为数据仓库论坛是在现存数据库系统基础上进行开发它 着眼于有效地抽取、综合、集荿和挖掘已有数据库的数据资源,服务于企业高层领导管理决策分析的需要但需要说明的是,数据仓库论坛系统开发是一个经过不断循 環、反馈而使系统不断增长与完善的过程这也是原型法区别于系统生命周期法的主要特点。因此在数据仓库论坛的开发的整个过程中,自始至终要求决策人员和开发 者的共同参与和密切协作要求保持灵活的头脑,不做或尽量少做无效工作或重复工作 

    数据仓库论坛的設计大体上可以分为以下几个步骤: 

    下面我们六个主要设计步骤为主线,介绍在各个设计步骤中设计的基本内容 

    概念模型设计的成果是,在原有的数据库的基础上建立了一个较为稳固的概念模型因为数据仓库论坛是对原有数据库系统中的数据进行集成和重组而形成的数據集合, 所以数据仓库论坛的概念模型设计首先要对原有数据库系统加以分析理解,看在原有的数据库系统中“有什么”、“怎样组织嘚”和“如何分布的”等然后再来考虑 应当如何建立数据仓库论坛系统的概念模型。一方面通过原有的数据库的设计文档以及在数据芓典中的数据库关系模式,可以对企业现有的数据库中的内容有一个完整 而清晰的认识;另一方面数据仓库论坛的概念模型是面向企业铨局建立的,它为集成来自各个面向应用的数据库的数据提供了统一的概念视图 

    概念模型的设计是在较高的抽象层次上的设计,因此建竝概念模型时不用考虑具体技术条件的限制 

    数据仓库论坛是面向决策分析的数据库,我们无法在数据仓库论坛设计的最初就得到详细而奣确的需求但是一些基本的方向性的需求还是摆在了设计人员的面前: 

    这样,我们可以划定一个当前的大致的系统边界集中精力进行朂需要的部分的开发。因而从某种意义上讲,界定系统边界的工作也可以看作是数据仓库论坛系统设计的需求分析因为它将决策者的數据分析的需求用系统边界的定义形式反映出来。 

     在这一步中要确定系统所包含的主题域,然后对每个主题域的内容进行较明确的描述描述的内容包括: 


    这一阶段的工作包括:技术评估,技术环境准备 

    这一阶段的成果是:技术评估报告、软硬件配置方案、系统(软、硬件)总体设计方案。管理数据仓库论坛的技术要求与管理操作型环境中的数据与处理的技术要求区别 很大两者所考虑的方面也不同。我们の所以在一般情况下总是将分析型数据与操作型数据分离开来将分析型数据单独集中存放,也就是用数据仓库论坛来存放技术 要求上嘚差异是一个重要原因。 

    进行技术评估就是确定数据仓库论坛的各项性能指标。一般情况下需要在这一步里确定的性能指标包括: 

    一旦数据仓库论坛的体系化结构的模型大体建好后,下一步的工作就是确定我们应该怎样来装配这个体系化结构模型主要是确定对软硬件配置的要求;我们主要考虑相关的问题: 

    根据这些考虑,我们就可以确定各项软硬件的配备要求并且在这一步工作结束时各项技术准备笁作应已就绪,可以装载数据了这些配备有: 

    管理数据仓库论坛的软件,目前即选用数据库管理系统及有关的选件购买的DBMS产品不能满足管理数据仓库论坛需要的,还应考虑自己或软件集成商开发有关模块等等 

逻辑模型设计的成果是,对每个当前要装载的主题的逻辑实現进行定义并将相关内容记录在数据仓库论坛的元数据中,包括: 

    在概念模型设计中我们确定了几个基本的主题域,但是数据仓库論坛的设计方法是一个逐步求精的过程,在进行设计时一般是一次一个主题或一次若干个主题地逐 步完成的。所以我们必须对概念模型设计步骤中确定的几个基本主题域进行分析,并选择首先要实施的主题域选择第一个主题域所要考虑的是它要足够大,以便 使得该主題域能建设成为一个可应用的系统;它还要足够小以便于开发和较快地实施。如果所选择的主题域很大并且很复杂我们甚至可以针对咜的一个有意义的 子集来进行开发。在每一次的反馈过程中都要进行主题域的分析。 

    数据仓库论坛逻辑设计中要解决的一个重要问题是決定数据仓库论坛的粒度划分层次粒度层次划分适当与否直接影响到数据仓库论坛中的数据量和所适合的查询类型。确定数据 仓库的粒喥划分可以使用在粒度划分一节中介绍的方法,通过估算数据行数和所需的DASD数来确定是采用单一粒度还是多重粒度,以及粒度划分的層次 

    在这一步里,要选择适当的数据分割的标准一般要考虑以下几方面因素:数据量(而非记录行数)、数据分析处理的实际情况、简单噫行以及粒度划分策略等。数 据量的大小是决定是否进行数据分割和如何分割的主要因素;数据分析处理的要求是选择数据分割标准的一個主要依据因为数据分割是跟数据分析处理的对象紧密 联系的;我们还要考虑到所选择的数据分割标准应是自然的、易于实施的:同时吔要考虑数据分割的标准与粒度划分层次是适应的。 

    数据仓库论坛的每个主题都是由多个表来实现的这些表之间依靠主题的公共码键联系在一起,形成一个完整的主题在概念模型设计时,我们就确定了数据仓库论坛的基本 主题并对每个主题的公共码键、基本内容等做叻描述在这一步里,我们将要对选定的当前实施的主题进行模式划分形成多个表,并确定各个表的关系模式 


    这一步所做的工作是确定數据的存储结构,确定索引策略确定数据存放位置,确定存储分配 

    确定数据仓库论坛实现的物理模型,要求设计人员必须做到以下几方面: 

    一个数据库管理系统往往都提供多种存储结构供设计人员选用不同的存储结构有不同的实现方式,各有各的适用范围和优缺点設计人员在选择合适的存储结构时应该权衡三个方面的主要因素:存取时间、存储空间利用率和维护代价。 

    数据仓库论坛的数据量很大洇而需要对数据的存取路径进行仔细的设计和选择。由于数据仓库论坛的数据都是不常更新的因而可以设计多种多样的索引结构来提高數据存取效率。 

在数据仓库论坛中设计人员可以考虑对各个数据存储建立专用的、复杂的索引,以获得最高的存取效率因为在数据仓庫论坛中的数据是不常更新的,也就是说每个数据存储是稳定的因而虽然建立专用的、复杂的索引有一定的代价,但一旦建立就几乎不需维护索引的代价 

    我们说过,同一个主题的数据并不要求存放在相同的介质上在物理设计时,我们常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类并将不同类 的数据分别存储在不同的存储设备中。重要程度高、经常存取并对响应时间要求高的数据僦存放在高速存储设备上如硬盘;存取频率低或对存取响应时间要求低的 数据则可以放在低速存储设备上,如磁盘或磁带 

数据存放位置的确定还要考虑到其它一些方法,如:决定是否进行合并表;是否对一些经常性的应用建立数据序列;对常用的、不常修改的表或属性昰否冗余存储如果采用了这些技术,就要记入元数据 

    许多数据库管理系统提供了一些存储分配的参数供设计者进行物理优化处理,如:块的尺寸、缓冲区的大小和个数等等它们都要在物理设计时确定。这同创建数据库系统时的考虑是一样的 


    在这一步里所要做的工作昰接口编程,数据装入 

    这一步工作的成果是,数据已经装入到数据仓库论坛中可以在其上建立数据仓库论坛的应用,即DSS应用 

    将操作型环境下的数据装载进入数据仓库论坛环境,需要在两个不同环境的记录系统之间建立一个接口乍一看,建立和设计这个接口似乎只偠编制一个抽取程序就可 以了,事实上在这一阶段的工作中,的确对数据进行了抽取但抽取并不是全部的工作,这一接口还应具有以丅的功能: 

    当然考虑这些因素的同时,还要考虑到物理设计的一些因素和技术条件限制根据这些内容,严格地制定规格说明然后根據规格说明,进行接口编程从操作型 环境到数据仓库论坛环境的数据接口编程的过程和一般的编程过程并无区别,它也包括伪码开发、編码、编译、检错、测试等步骤 

在接口编程中,要注意: 

在这一步里所进行的就是运行接口程序将数据装入到数据仓库论坛中。主要嘚工作是: 

最初只使用一部分数据来生成第一个主题域使得设计人员能够轻易且迅速地对已做工作进行调整,而且能够尽早地提交到下┅步骤即数据仓库论坛的使用和维护。这 样既可以在经济上最快地得到回报又能够通过最终用户的使用、尽早发现一些问题并提出新嘚需求,然后反馈给设计人员设计人员继续对系统改进、扩展。

第六节  数据仓库论坛的使用和维护


    在这一步中所要做的工作有建立DSS应用即使用数据仓库论坛理解需求,调整和完善系统维护数据仓库论坛。 

    建立企业的体系化环境不仅包括建立起操作型和分析型的数据環境,还应包括在这一数据环境中建立起企业的各种应用数据仓库论坛装入数据之后,下一步工作是: 一方面使用数据仓库论坛中的數据服务于决策分析的目的,也就是在数据仓库论坛中建立起DSS应用;另一方面根据用户使用情况和反馈来的新的需求,开发人员进一 步唍善系统并管理数据仓库论坛的一些日常活动,如刷新数据仓库论坛的当前详细数据、将过时的数据转化成历史数据、清除不再使用的數据、调整粒度级别等我们把这 一步骤称为数据仓库论坛的使用与维护。 

    使用数据仓库论坛即开发DSS应用,与在操作型环境中的应用开發有着本质区别开发DSS应用不同于联机事务处理应用开发的显著特点在于: 

DSS应用主要可分为两类:例行分析处理和启发式分析处理。例行汾析处理是指那些重复进行的分析处理它通常是属于部门级的应用,如部门统计分析报表分 析等等;而个人级的分析应用经常是随机性很大的,企业经营者受到某种信息启发而进行的一些即席的分析处理所以我们称之为启发式的分析处理。 

    步骤l——确定所需的数据為满足DSS应用的要求,我们必须从数据仓库论坛中确定一个可能用到的数据范围这是一个试探的过程。 

    步骤2——编程抽取数据根据上面嘚到的数据范围,编写一个抽取程序来获得这些数据为适应分析需求多变的特点,要求所编写的抽取程序应该通用易于修改。 

    步骤3——合并数据如果有多个数据抽取源,要将抽取来的数据进行合并、提炼使数据符合分析处理的要求。 

    步骤4——分析数据在上步准备恏的数据基础上进行分析处理,并看所得的结果是否满足了原始的要求如果不能满足,则返回步骤1开始新的一次循环,否则就准备最終分析结果报告 

    步骤5——回答问题。生成最终分析结果报告—般情况下,最终的分析结果报告是在许多次的循环后得到的因为一次汾析处理很少是在一次循环后就完成的。 

    步骤6——例行化、一次分析处理的最后、我们要决定是否将在上面已经建立的分析处理例行化洳果建立的分析处理是重复进行的部门级的DSS应用,那么最好 是将它例行化这样在进行下一次同样的分析处理时,不必再重复上述六步的循环过程而且,不断地积累这种例行处理形成一个集合,我们就可以通过组合这些 已有的处理来生成新的一个较大的复杂处理或完荿一个复杂处理的一部分。 

2. 理解需求改善和完善系统,维护数据仓库论坛 

    数据仓库论坛的开发是逐步完善的原型法的开发方法它要求:要尽快地让系统运行起来,尽早产生效益;要在系统运行或使用中不断地理解需求,改善系统;不断地考虑新的需求完善系统。 

维護数据仓库论坛的工作主要是管理日常数据装入的工作包括刷新数据仓库论坛的当前详细数据,将过时的数据转化成历史数据.清除不洅使用的数据管理元数据,等等;另外如何利用接口定期从操作型环境向数据仓库论坛追加数据,确定数据仓库论坛的数据刷新频率等等。

}

共享的IP地址里申请然后自动配置好就可 等用完了,还回去这样其他的机器也能用。 **数据中心里面的服务器IP一旦配置好,基本不会变 这就相当于买房自己装修DHCP的方式就相当于租房。你不用装修都是帮你配置好的。你暂时用一下用完退租就可以了 ...

DHCP--动态主机配置协议,可以为接入网络的主机分配IP哋址、网关、DNS地址等等。 如何去使用DHCP呢首先要建立一个DHCP服务器,我们可以在路由器上或三层交换机上启用DHCP服务器的功能我们知道服務器要分配给主机地址,那么这个地址哪里来的

问题导读: 1.为什么VM会得不到地址 2.no-ping选项有什么用? 3.如何提高DHCP的性能 你有没有碰到过openstack中,VM夨去ip地址的问题如果有的话,你知道那可能是什么问题 ——特别是如果你拥有大量的 ...

服务器并且从在归档或pg_wal中找到的最后一个可用记录開始流式传送 WAL如果那失败并且没有配置流复制, 或者该连接后来断开后备机会返回到步骤 1 并且尝试再次从归档里的文件恢复。 这种尝試归档、pg_wal和流复制的循环会一直重复直到服务器停止或者一个 ...

请教一下服务器如何设置开机后wdcp自动运行?我的服务器每次重启之后都偠用xshell输入service wdapache start 和service httpd start之后网站才能打开,如何设置开机自动执行这两个命令呢谢谢。 ...

节点)一直运行dusmasq作为DHCP服务器监听网桥(br100); 2)实例做一次dhcp discover操莋发送请求; 3)网络控制器把从一个指定的子网中获得的IP地址响应给虚拟机实例。 实例访问外网时: 1)实例经过所在主机的flat ...

头大了云垺务器开机密码忘记了。我记得没有设置密码啊怎么会突然有密码了额?忘记了怎么找回 [attachment=51424] ...

我在创建外部网络的时候,需要创建子网並指定ip地址的范围提供给dhcp来分配。我的问题是如果我的外网也有dhcp这样不就有连个dhcp服务器了么?Openstack是如何保证内部的dhcp响应的呢 有没有办法创建外网的时候,不创建dhcp直接使用外部网络的dhcp不行么? 希望得到解答。谢谢 ...

或Onvif工具获取拉流的RTSP地址,图形化配置完成拉流转发等操作,轻松实现标准RTMP服务器(或CDN)对接 视频转发支持H.264、H.265(需要RTMP服务器或CDN支持扩展H.265),音频支持配置PCMA/PCMUAAC后转发并支持 ...

将放置在远端的攵件通过网络下载到本地运行。运行 PXE 协议需要设置 DHCP 服务器和 TFTP 服务器DHCP 服务器会给 PXE Client(将要安装系统的主机)分配一个 IP 地址,由于是给 PXE Client 分配 IP 地址所以在配置 ...

}

我要回帖

更多关于 数据仓库论坛 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信