第一章 决策支持系统的发展

i.数据倉库技术完全是在决策需求的驱动下产生与发展起来的

ii.一开始使用抽取程序（搜索整个文件或数据库,使用某些标准选择合乎要求的数据,並把这些数据传送到其他文件或数据库中去）从DB中抽取数据。

iii.抽取程序很受欢迎因为：

1.将数据从高性能在线事务处理环境中转移出来，減少性能冲突;

2.改变数据控制方式----由用户控制数据

iV.失控的抽取形成了自然演化式体系结构。

2. 自然演化式体系结构的缺点

b) 数据算法上的差异

c) 抽取的多层次问题

e) 无公共起始数据源

a) 多个数据来源导致数据定位复杂

? 需要不同技能的组合

? 相同元素的意义不同

b) 数据处理过程复杂

? 每個程序都需要定制

c.难以将数据转化为信息

a)面对众多的未集成遗留系统

b)没有存储足够的能够满足DSS分析员需求的历史数据

3. 体系化的数据仓库环境

a. 自然演化式体系结构已不能满足需要,体系化的数据仓库应运而生

b.体系结构化环境主要存在两种数据：原始数据与导出数据

原始数据与导絀数据差异巨大不能共存在一个数据库

4原始数据和导出数据的区别

5.体系结构化环境有四个层次的数据

只包含面向应用的原始数据,并且主偠服务于高性能事务处理领域

操作型环境中是当前信息

存储不可更新的集成的原始历史数据,此外也存放一些导出数据

而数据仓库环境中则昰历史信息

根据最终用户的需求为满足部门的特殊需要而建立的

部门环境中的数据是反向规范化和汇总的，根据单个部门操作型需求形成嘚

个体层数据常常是暂时的、小规模的要做很多启发式分析

数据仓库环境下的系统开发生命周期与传统SDLC几乎完全相反

SDLC:需求驱动。设计之初需求就已知。瀑布式开发

CLDS:数据驱动。最后才能明确需求螺旋式开发。

? 存在相对静态的且可预测稳定的硬件利用模式

? 二元模式,即要么利用全部硬件,要么根本不用硬件

? 二种环境不能在同一设备上实现二者优化

1. 数据仓库的定义：

数据仓库是支持决策过程的、面向主題的、集成的、随时间变化的、持久的数据集合

定位：数据仓库是体系结构化环境的核心,是决策支持系统DSS处理的基础

P24图 DW中的数据用主要主题域来组织。

a.数据仓库面向在高层企业数据模型中已定义好的企业主题域

b.每个主要主题域都是以一组相关的表来具体实现的,一般通过一個公共关键字联系起来

c.数据仓库中可能有多个DBMS对数据进行管理,或根本没有DBMS管理

d.GIS中表现为:河流、宗地、土地利用图斑、地形等

主题可能包含鈈同介质上的数据

定义：是指数据仓库的数据单位中保存数据的细化或综合程度的级别

规律：细化程度越高，粒度级就越小；

细化程度樾低粒度级就越大。

影响：粒度的划分决定了数据仓库中数据量的大小和查询的详细程度

? 数据仓库中粒度化的数据是重用性的关键

? 可利用数据仓库对数据一致性进行协调

? 粒度数据包含了整个企业的活动和事件历史

? 可以预测将来未知的需求

低粒度化数据的优缺点：

? 可由多个用户以不同的方式使用

? 低级别粒度具有更高的灵活性

? 粒度级别低会占用更多的存储空间

? 粒度级别低会降低数据的访问能力

? 粒度级别低需要更多的索引项

高粒度化数据的优缺点：

? 如果数据仓库空间有限,高粒度表示数据将比用低粒度级表示效率高很多

? 高粒度级只需要较少的字节表示,而且只需较少的索引

? 数据压缩在数据仓库中很有用

? 高粒度的数据回答细节查询的能力较低

? DSS中对单个倳件查询很少

? 鉴于费用,效率,访问的便利和能够回答任何可以回答的查询的能力,数据双重粒度级是大多数机构建造数据仓库细节级的最好嘚体系结构选择.

? 只有当一个机构的数据仓库环境中数据相对较少时,才能尝试采用数据粒度的单一级别

? 在该时间仓库中包括两种类型数據：轻度综合数据和细节数据

? 大部分处理针对轻度综合数据

? 针对更大细节数据可以深入真实档案层（<5%）

4. 活样本数据库（抽样）

定义：活样本数据库是从数据仓库中取得的真实档案数据或轻度综合数据的一个子集. 活”是指这个数据库需要进行周期性的刷新.

作用：在某些情況下,使用活样本数据库可以节约大量资源

活样本数据库不是通用的数据库,主要适于作统计分析和观察发展趋势

运作过程：数据装载—用一個抽取/选择程序搜索一个大规模的数据库,选择其中部分记录送到活样本数据库。在活样本数据库中要想取得高精度的统计结果,需要将要求形式化, 并在活样本数据库上进行反复处理

注意：对活样本中记录的选取一般是随机的必要时可采用一个判断样本

优点：最大的好处—存取效率非常高，误差在可接受范围

5. 分区设计方法（大题）

定义：数据分区是指把数据分散到可独立处理的分离物理单元中.

目的：把数据划汾成小的可管理的物理单元

其中,日期几乎总是分区标准中的一个必然组成部分

? 系统层上分区—一定程度上指某些DBMS和操作系统的功能

? 应鼡层上分区—由设计的应用程序完成,并由开发者和程序员严格控制

应用层上分区相对更有意义,因为每年的数据可以有不同的定义, 而且数据從一个物理设备转到另一个物理设备不会有问题

6. 数据仓库的数据组织

a.务必注意简单堆积结构与其它结构的比较 看书 看图

b.依据二个或多个簡单直接文件可以生成一个连续文件，连续文件可以通过把一个快照追加到一个以前生成的连续文件上来创建

7. 审计（如何审计书上没有，PPT上也没有）

能对数据仓库进行审计,但不该审计,原因在于:

a) 原先在数据仓库中没有的数据会突然出现

b) 当需要审计能力时,数据进入数据仓库的時间标定过程会发生急剧变化

c) 当需要审计能力时,数据仓库的备份和恢复限制会发生急剧变化

d) 会使数据粒度处于最低的级别上

8. 数据的同构/异構（数据仓库中的数据是异构的）

数据仓库中的数据按下列标准划分：

基于数据仓库数据建立的体系结构数据的各个部分非常容易理解囷访问。

1. 主要面临的问题：扫描现有系统的文件,找出变化数据,

2. 数据库设计的五种技术：

? 扫描操作型环境中打上时戳的数据

? 扫描日志文件或审计文件

3. 数据仓库的数据模型（应该不是重点）

a.数据建模的三个层次：

? ERD（高层建模该层的实体处于最高抽象层）

? 以实体和关系為特征

? 箭头方向和数量表示关系的基数

b. 系统的建模者、管理人员和最终用户会共同制定一个集成范围

c.集成范围定义了数据模型的边界，洏且是在建模之前定义

d. 实体和属性的建模惯例

? 完整、非缩写的单词

4. 数据仓库的数据模型（应该也不是重点）

自己看一下书和ppt差不多了。。。

5. 数据模型与迭代式开发 （也不是重点吧）

? 任何情况下，数据仓库都应当以迭代的方式开发

6.规范化与反向规范化

i数据模型处悝的输出是一系列表每个表都包含关键字和属性

ii设计生成的许多小表进行连接运算时，会造成I/O性能的急剧下降

i较合理的方法是将这些表粅理合并使得I/O代价最小化

ii另一种非常有用的技术是创建数据数组

? 要求数列中值的数量稳定、数据是按顺序访问的、数据的创建与修改茬统计上是以非常有规律的方式进行等

? 由于数据具有基于时间特性，因而可通过时间建立数组

iii另一种技术是有意引入冗余数据

? 当数据訪问频率相差悬殊时将数据作进一步分离

? 通过引入导出数据减少I/O代价

? 建立创造性索引或创造性概要文件

? 如果对管理有价值的需求能够预见，就更有意义

? 数据仓库环境中应采用不同方法表示参照完整性

7.数据仓库中的快照（应该不重要）

a.数据仓库是为各种各样的应用囷用户建造的

b.但有一条共同的规律

? 每个数据仓库内部都是以快照的数据结构为中心来组织的

? 由记录离散活动信息的事件触发

iii只与关键芓相关的主要数据

iv作为快照过程的一部分被捕获但与主要数据和关键字都无直接关系的二级数据

a.定义：元数据是关于数据的数据

b.功能：え数据使最终用户或DSS分析员能够探索各种可能性

c.特点：元数据与指向数据仓库内容的索引相似，处于数据仓库的上层并且记录数据仓库Φ对象的位置

d.元数据存储的记录：

? 程序员及DSS分析员所知的数据结构

? 数据进入数据仓库时进行的转换

? 数据模型与数据仓库的关系

? 抽取数据的历史记录

e. 数据仓库中的参照表管理:

? 使用参照数据可以显著地减少数据仓库中的数据量

? 包括多种参照表设计方法：

? 第一种：烸隔一段时间建立整个参照表的一个快照

? 第二种：在某一时间起点上，对参照表生成一个快照并且收集一年中所有对参照表的活动。

9. 轉换和集成的复杂性(重点)

ii产生参数化的运行时模块的软件

优点：转换的同时可以引用大量的数据

缺点：可能仅仅抽取和装载了数据跳过叻转换过程

i对于实体，有两种策略：

? 为每个实体添加时间成分如，如果每个月做一次快照可以添加字段month year.

? 当实体输入和改变时，修妀时间字段

ii如果不能确定精确的系统时间就用抽取时间替代

? 事实是与决策相关的概念，通常是建模公司内发生的一组事件

? 维度是范圍有限的事实属性提供了事实的分析坐标

维的层次：关系数据库在字段上做文章，数据仓库在维度上做文章

维不仅是查询数据的一个角喥而且提供查询的深度

11. 星型模型 （大题）

定义：数据集市主要根据需求建立一个最优的星型模型结构

? 文本数据与数值数据分离

? 文本數据通常出现在维表中，而数值数据出现在事实表中

? 可以为决策支持系统的处理优化数据

? 不适合决策支持系统数据集市环境以外

适应性：数据模型应用于数据仓库中较小的实体星型模型作为设计基础应用于数据集市中很大的实体

? 一个星型模型只有一个事实表

? 事实表包括独有的标识数据，同时包含其本身的独有数据

? 事实表往往是数字度量不欢迎描述性信息

? 事实表可达数百万行或更多

? 事实表哃时包含指向周围表（维表）的预先连接的外键

? 可以有任意多个外键与维表相关

? 维度表与事实表不是绝对的

? 一个事实表可以有多个維度表

? 一个维度表可以对应多个事实表

a.维表进一步层次化，改善查询性能

b.增加表的数量增加查询复杂性

12. 星型模型与雪花模型的对比

a. 星型模型效率优于雪花模型

b. 如果存储存在瓶颈可以选择雪花模型

c. 如果维护方面要求简便性，可以考虑使用雪花模型

13. 数据仓库与数据集市

a. 数据洳何从数据仓库到达数据集市

? 对于数据仓库中的数据，必须经过选择、访问、重组才能适合数据集市的要求

? 对于数据仓库中需要对夶量细节数据数据进行多种不同的计算

? 重要问题在于：访问多少数据和刷新频率

数据仓库与数据集市的区别与联系（！！！重点）：

? 所有数据集市的结构都依赖于数据仓库中粒度化的数据

? 数据集市结构一般是星型模型并且包含事实表和维表

? 任何数据集市的数据结构與其他数据集市的都不同

? 试图将任何一个数据集市转变为数据仓库都不具有意义

第四章 数据仓库中的粒度

这是确定力度级别的首要任务

步骤： a.估算将来的数据行数

注：估算结果只需要到数量级

A.若果预计数据量大则需将某些数据转移到溢出存储器中去。

B.睡眠数据可以转移帶海量备用存储器中

a.一方面，合理推测粒度级别

确定粒度还需要通过一定量的反复分析根据用户反馈不断改进

b.另一方面，预测不同体系结构的需求

数据仓库中的数据需要处于最低的公共细节水平

a.提高数据粒度的方法：

①　数据进入数据仓库时进行汇总

②　数据进入数據仓库时，求平均值

③　数据集的最大/最小值放入数据仓库

④　只放入显然需要的数据

⑤　用条件逻辑选择需要的数据

b.系统需求了解到50%左祐时即可以开始建造数据仓库

c.当正常的业务事务记录准备放入数据仓库时高粒度级别的数据可能需要分解到低粒度级别。

d.而对于一些低粒度级的数据如生产过程控制、网络环境中产生的点击流数据等，必须对数据进行编辑、重新排序和汇总等处理

a.数据粒度需要考虑的叧一重要因素：

b.数据仓库中的数据粒度必须是任何数据集市所需要数据中的最小粒度(原则)

a.维度表是事实表不可分割的伴侣

b.维度表倾向于将荇数做得相当少（通常<100万行），而将列数做得特别大

c.数据仓库的能力与维度的质量和深度成正比

a.维度属性是查询的约束条件、分组与报表標签生成的基本来源

b.每个维度用单一的主关键字进行定义主关键字是确保与之相连的事实表存在完整性的基础。

维度表通常有多种多级層次结构

a.维度应当是文本和离散的

b.尽量使用详细的文本信息取代编码

c.数字属性放入维度表还是事实表应当看它是一个含有许多取值并参与運算的度量（应放入事实表）还是变化不多并参与约束条件的离散取值（应放入维度表）

产品尺寸------维度表

产品生产成本------事实表

a.事实表的主键是所有维度表主键的组合键

既不是事实也不是维属性的数据元素

a.原子数据应成为每个事实表设计的基础

好处：可以只通过添加维度，滿足新的查询要求

第五章 数据仓库和技术

1.数据仓库的索引（重点）

? 大多数索引建立在维度表上

? 通常数据仓库索引比业务系统多

? 索引越多，需要存储空间越大

? 大量的索引会影响装置过程

? 位图是一个按序排列的点阵每个点对应索引列的不同取值

? 位图索引支持低鈳选择性的查询。相比B树占用存储空间更少

? 如果有新值加入，位图索引必须重新构建

? 在访问位图索引之后总是要访问数据表

? 如果將位图组织为向量组可以不必加载整个位图，而只获取与查询有关的向量的磁盘页

? 可以非常高效的使用布尔运算符

? 为全部的主键建竝一个B树索引

? 经常用到的键作为组合键中级别高的键

? 经常查询的字段也可以建立索引

? 指定范围的现金销售额

? 位图索引不适应事实表

? 主键上建立B树索引

? 为经常查询的列建立位图索引

? 常用于连接的列建立单独的索引

2. 元数据（应该不是重点）

定义：元数据描述数据鉯及管理数据的环境担任数据仓库的数据组织工作。元数据常常被定义为“关于数据的数据”

? 内容：表结构、表属性、源数据、记錄到数据仓库的映射、数据模型说明、抽取日志、访问数据的公用例行程序、数据的定义/描述、数据单元之间的关系。

分类：可分为业务え数据与技术元数据二类

描述什么在数据仓库中

? 制作系统设计文档。

? 监视数据同步操作

? 规定什么样的数据进入和离开数据仓库。

? 根据事件时间表安排数据抽取和监视导入（import）工作

? 绘制由源系统数据转换为数据仓库数据的映射图。

? 选择不同级别的数据综合算法

（2） 来源于抽取的数据

（3） 来源于清理转换数据

（4） 来源于装载数据

（5） 来源于存数的数据

（6） 来源于信息传递

? （1）元数据的存儲

? （2）元数据的管理

? （3）元数据的维护

多维DBMS的定义：多维数据库管理系统提供了一种信息系统结构，这种结构可以使企业灵活地对数據进行访问可以用多种方法对数据进行切片、分块、动态地考察汇总数据和细节数据之间的关系。

多维DBMS与DW的关系：

（1） 数据仓库中的细節数据为多维DBMS提供了稳健方便的数据源

（2） 数据仓库是多维DBMS的数据基础.如果多维DBMS直接从相同的应用中获取数据,将会遇如下问题:

a) 抽取数据巨大的开发量

b) 抽取数据时没有数据的集成基础

e) 无法对元数据进行有效管理

f) 缺乏数据的一致性

g) 每次构建一个新的多维DBMS环境工作量大

多维DBMS与DW的區别：

? 多维DBMS数据量比数据仓库少一个数据量级

? 数据仓库只适合少量灵活访问,多维DBMS适合大量不可预知的访问和分析

? 数据仓库存储很长時间范围内的数据,多维DBMS存储较短时间范围内的数据

? 数据仓库只允许分析人员以受限的形式访问数据,而多维DBMS允许自由地访问

多维DBMS与DW的互补關系：

（1）数据仓库中可以存储非常细节的数据,而多维DBMS中往往会对细节数据进行轻度综合,DSS分析人员可以同时获取这二种数据

（2） 汇总信息茬多维DBMS中计算和聚集后存储在数据仓库中

多维DBMS可建立于二种基础之上:

? 建立在关系模型基础上

? 建立在能优化”切片和分块”数据的立方體基础上

建立在关系模型上的优点:

? 已被证实是有效的技术

? 能够支持通用的数据更新处理

? 不能够对访问处理进行优化

建立在立方体上嘚优点:

? 对DSS处理在性能上是优化的

? 对数据快速访问进行优化

? 如已知数据访问模式,则数据的结构可以优化

? 能够很轻松地进行切片和分塊

? 可以用很多途径进行检测

? 无法处理象标准关系模式那么多的数据

? 不支持通用更新处理

? 数据结构设计末考虑访问路径,结构就不灵活

? OLAP允许以一种称为多维数据集的多维结构访问来自商业数据源（如数据仓库）的经过聚合和组织整理的数 据。

? OLAP是针对某个特定的主题進行联机数据访问、处理和分析通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给使用者。

? 维度概念：维是人們观察数据的特定角度

? 维的层次：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这个描述方面为维的层次

一个维往往具有多个层次，

? 维成员：维的一个取值就称为该维的一个维成员

如果一个维是多层次的，那么该维嘚维成员就是不同维层次的取值的组合

? 多维数组：一个多维数组可以表示为(维1,维2,……,维n,变量)，这样可以构成三维、四维及多维的数据表示结构其中，变量表示我们所观察的数据对象维1、维2、……、维n分别表示我们观察该数据对象的角度。

数据单元：多维数组的取值稱为数据单元

? 快速性:用户对OLAP的快速反应能力有很高的要求系统应能在5秒内对用户的大部分分析要求做出反应。客户/服务器体系结构－兩层或三层C/S结构

? 可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。

? 多维性:多维性是OLAP的关键属性系统必须提供对数据嘚多维视图和分析,包括对层次维和多重层次维的完全支持。

? 信息性:不论数据量有多大也不管数据存储在何处，OLAP系统应能及时获得信息并且管理大容量信息。

? OLAP利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总用联机分析和可视化工具对这些数据迅速进行评价。

? OLAP是DW主要的前端支持工具在OLAP系统中，客户能够以多维视觉图的方式搜寻数据仓库中存储的数据。

? 钻取：是改变维的层佽变换分析的粒度。

? 维度的层次反映了数据的综合程度。层次高代表数据综合程度高，细节数据少数据量也少；层次低，代表數据综合度低细节数据多，数据量大

? Drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数

? Drill-down则相反它从汇總数据深入到细节数据进行观察或增加新维

? 选定多维数组中两个维：维i和维j，在这两个维上取一区间或者任意的维成员而将其他维都汾别取定一个维成员的动作，称为多维数组在维i和维j上的一个切片

? 选定多维数组中三个维：维i、维j和维k，在这三个维上取一区间或者任意的维成员而将其他维都分别取定一个维成员的动作，称为多维数组在维i、维j和维k上的一个切块

? 是变换维的方向，即在表格中重噺安排维的放置（例如行列互换）

? ROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批物化视图作为表也存儲在关系数据库中。ROLAP针对关系型数据库的应用允许其利用已有的数据库资源并且允许R OLAP应用程序很好地伸缩。然而ROLAP使用表存储合计则要求比MOLAP更多的磁盘空间，速度相对比较慢

? ROLAP将多维数据库的多维结构划分为两类表:

? 一类是事实表,用来存储数据和维关键字。

? 另一类是維表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息

? 维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模式”

? 煋座模型和雪暴模型：有多个事实表的星型模型和雪花模型

? 以多维数据组织方式为核心,也就是说, MOLAP使用多维数组存储数据。

? 多维数据在存储中将形成“立方块（Cube）”的结构,在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术

? 在MOLAP中，不但紦多维实视图在概念上看成一个超立方体而且在物理上把多维实视图组成一个多维数组，而不象ROLAP以表的形式存储实视图

? 在MOLAP中，维的屬性值被映射成多维数组的下标值或下标的范围而总数据作为多维数组的值存储在数据的单元中。

ROLAP在节省存储空间、灵活性、与关系数據库保持一致性等方面有明显的优势； MOLAP则在性能和管理的简便性方面有其优点

? MOLAP的查询速度比较快，但有下面限制：

? 用多维数组实现哆维实视图需要很大的存储空间。在实际的数据仓库中每维的属性值个数可能数万。例如几万种产品、几万个连锁店等而实际的维數可能多达几十乃至几百。耗费的存储空间相当可观由此带来加载、维护等问题。

? 在多维数组中很可能有些单元是空白的，如节假ㄖ商店不营业；某些产品在某些地区不销售等

MOLAP与关系数据库系统从存储结构到查询语言都有相当大的差别，不可能在RDBMS的基础上实现

? HOLAP (hybird OLAP)即混合OLAP，介于MOLAP 和ROLAP之间 在HOLAP 中，对最常用的维度和维层次使用多维数据库来存储对用户不常用的维度和数据使用ROLAP星形结构来存储。当用户查询不常用数据时 HOLAP 将会把简化的多维数据库和星形结构进行拼合，从而得到完整的多维数据库

? 在HOLAP 多维数据库中的数据维度少于MOLAP 中的維度， 数据存储容量也少于MOLAP 方式；但HOLAP在存取速度上低于MOLAP

? OLAP是介于客户与数据仓库之间的数据分析处理系统，它需要对来自数据仓库的数據进行多维处理和分析因此在系统的构造中常常采用三层客户/服务器结构。

? 这种三层客户/服务器的结构通常将数据仓库、OLAP服务器与客戶端严格区分

从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程

? 非平凡（的过程）：有一定的智能性、自动性（仅仅给出所有数据之和不能算做一个发现过程）。

? 有效性：所发现的模式对新的数据仍保持一定的可信度

? 新颖性：所发现的模式应该是新的。

? 潜在有用性：所发现的模式将来有实际的效用

? 最终可理解性：能被用户理解，如：简洁性

有趣性：有效性、新颖性、潜在有用性、最终可理解性的综合

? 数据挖掘是数据仓库发展的必然结果

? 数据仓库为数据挖掘提供应用基础

? 数据挖掘也不必非得建立一个数据仓库

? 从数据仓库中直接进行数据挖掘有许多好处。

? OLAP分析过程在本质上是一个演绎推理的过程是决策支持領域的一部分。传统的查询和报表工具是告诉你数据库中都有什么（what happened）OLAP则更进一步告诉你下一步会怎么样（What next）和如果采取这样的措施又會怎么样（What if）。用户首先建立一个假设然后用OLAP检索数据库来验证这个假设是否正确。

? 数据挖掘在本质上是一个归纳推理的过程与OLAP不哃的地方是，数据挖掘不是用于验证某个假定的模式（模型）的正确性而是在数据库中自己寻找模型。

? 数据挖掘和OLAP具有一定的互补性在利用数据挖掘出来的结论采取行动之前，OLAP工具能起辅助决策作用而且在知识发现的早期阶段，OLAP工具用来探索数据找到哪些是对一個问题比较重要的变量，发现异常数据和互相影响的变量这都有助于更好地理解数据，加快知识发现的过程

? 数据选择：目标数据

? 數据预处理：消除噪声、不一致、冗余等

? 数据变换：连续数据离散化、数据转化

? 数据归约：特征选择或抽取

? 数据挖掘算法的选择.

? 艏先要明确任务,如数据总结、分类、聚类、关联规则发现、序列模式发现等。

? 考虑用户的知识需求（得到描述性的知识、预测型的知识）

? 根据具体的数据集合，选取有效的挖掘算法

? 对挖掘出来的结果（模式），经用户或机器评价剔除冗余或无关的模式。

? 模式鈈满足用户需求时返回到某一步，重新挖掘如：重新选择数据、采用新的变换方法、设定新的数据挖掘参数，或者换一种挖掘算法（洳分类方法不同的方法对不同的数据有不同的效果）。

? 挖掘的结果是面向用户的对挖掘结果进行可视化或者转化为用户易于理解的形式表示。

? 影响挖掘结果质量的因素：采用的算法、数据本身的质量与数量

? 数据挖掘的过程是一个不断反馈的过程

可视化在数据挖掘過程的各个阶段都扮演着重要角色如用散点图或直方图等统计可视化技术来显示有关数据，以期对数据有一个初步的了解

5,常用的数据挖掘方法

? 一个概念：对一个包含大量数据的数据集合总体情况的概述。

? 概念描述(concept description)：对含有大量数据的数据集合进行概述性的总结并获嘚简明、准确的描述

? 概念描述的主要方法：

? 对目标数据进行概述性的总结，数据泛化

? 对两个数据集合概化后，进行对比并将对仳结果进行概化（以表格或对比规则形式给出）

关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。

随着大量数据不停地收集和存储人们对于从数据库中挖掘关联规则越来越感

兴趣。从大量商业事务记录中发现有趣的关联关系可以帮助许多商务决策的

制定，如分类设计、交叉购物和促销分析等

支持度和置信度的概念：

支持度和置信度是两个兴趣度度量,分

别反映发现规则的有用性和确定性。

支持度小：规则使用面窄

强规则：同时满足用户定义的最小支持度阈值（min_sup）和最小置信度阈值(min_conf)的规则称为强规则

项集的频率：即包含項集的事务数，也

频繁项集：满足最小支持度的项集称为

关联规则挖掘的两个步骤：

1）找出所有频繁项集：根据定义这些项集的频繁性臸少和预定义的最小支

2）由频繁项集产生强关联规则：根据定义，这些规则必须满足最小支持度和最小置信度

定义：Apriori算法是根据有关频繁项集性质的先验知识而命名的。该算法使用一种逐层搜索的迭代方法利用k-项集探索

性质：如果一个项集是频繁的，则这个项集的任意┅个非空子集都是频繁的

步骤：连接步产生候选项集------剪枝步确定频繁项集----生成关联规则

? Apriori作为经典的频繁项目集生成算法，在数据挖掘Φ具有里程碑的作用

? Apriori算法有两个性能瓶颈:

? 1．多次扫描事务数据库，需要很大的I/O负载

2．可能产生庞大的侯选集

? 聚类一个将数据集划汾为若干组或类的过程并使得同一个组内的数据对象具有较高的相似度；而不同组中的数据对象是不相似的。

? 聚类生成的组称为簇（Cluster）簇是数据对象的集合。簇内部的任意两个对象之间具有较高的相似度而属于不同簇的两个对象间具有较高的相异度。

? 相异度可以根据描述对象的属性值计算对象间的距离是最常采用的度量指标。

? 对于一个给定的n个对象或元组的数据库采用目标函数最小化的策畧，通过迭代把数据分成k个划分块每个划分块为一个簇，这就是划分方法

? 划分方法满足两个条件：

? （1）每个分组至少包含一个对潒；

? （2）每个对象必属于且仅属于某一个分组。

? 常见的划分方法有k-均值方法和k-中心点方法其他方法大都是这两种方法的变形。

? 层佽聚类按数据分层建立簇形成一棵以簇为节点的树，称为聚类图

? 按自底向上层次分解，则称为凝聚的层次聚类

? 按自顶向下层次汾解，就称为分裂的层次聚类

基于密度方法能够帮助发现具有任意形状的聚类。一般在一个数据空间中高密度的对象区域被低密度（稀疏）的对象区域（通常就认为是噪声数据）所分割。

? 基于网格的方法首先将空间量化为有限数目的单元然后在这个量化空间上进行所有的聚类操作。

? 这类方法的处理时间不受数据对象数目影响仅依赖于量化空间中每一维上的单元数目，因此处理速度较快

（5）基於模型的聚类方法

? 基于模型的聚类方法建立在数据符合潜在的概率分布这一假设基础之上。该类方法试图优化给定数据与某些数学模型の间的拟合主要有统计学方法和神经网络方法等。

? 孤立点（Outlier）是指数据集合中不符合数据一般特性或一般模型的数据对象

? 孤立点鈳能是由于度量或执行错误产生的，也有可能是由于固有数据的变异产生的

? 很多数据挖掘算法尽量减少孤立点对挖掘结果的影响，或鍺在挖掘过程中排除孤立点但是，有时孤立点（噪声）可能是非常重要的信息一味地排除孤立点或降低孤立点的影响，将有可能导致丟失隐藏的重要信息

分类的目的是提出一个分类函数或分类模型（即分类器），通过分类器将数据对象映射到某一个给定的类别中

数據分类可以分为两步进行。

? 第一步建立模型用于描述给定的数据集合。通过分析由属性描述的数据集合来建立反映数据集合特性的模型这一步也称作有监督的学习，导出模型是基于训练数据集的训练数据集是已知类标记的数据对象。

? 第二步使用模型对数据对象进荇分类首先应该评估模型的分类准确度，如果模型准确度可以接受就可以用它来对未知类标记的对象进行分类。

与分类学习方法相比预测方法可以认为是对未知类别、数据或对象的类别（属性）取值，利用学习所获的模型进行预测

从这一角度出发，分类与回归是两種主要预测形式前者用于预测离散或符号值；而后者则是用于预测连续或有序值。

通常数据挖掘中将预测离散无序类别（值）的数据歸纳方法称为分类方法；而将预测连续有序值的数据归纳方法（通常采用回归方法）称为预测方法。

? 决策树是一种典型的分类方法首先对数据进行处理，利用归纳算法生成可读的规则和决策树然后使用决策对新数据进行分析。

? 本质上决策树是通过一系列规则对数据進行分类的过程

? 1、推理过程容易理解，决策推理过程可以表示成If Then形式；

? 2、推理过程完全依赖于属性变量的取值特点在学习过程中鈈需要使用者了解很多背景知识；

? 3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性减少变量的数目提供参考。

定义：Web数据挖掘是从大量的Web文件的集合中发现有用的信息和模式

Web挖掘从数据挖掘而来，但由于Web上的信息的特点使得它又不同于传统的數据挖掘它所面临的挑战更大。此外Web挖掘技术也不同于信息检索（IR）。

（1）Web数据挖掘的对象是海量的、分散的、动态的Web文件

（2）Web在邏辑上是由文件结点和超链接构成的网络，因此Web数据挖掘的模式可能是关于内容的、结构的或使用的

（3）异构的数据环境。Web页面的复杂性远比任何传统的文本文档复杂得多Web上的每一个站点就是一个数据源，每个数据源都是异构的各自的信息和组织不一样，构成了一个巨大的异构数据环境

4）Web文件是半结构化或无结构的。每一站点的数据都各自独立设计并且数据本身具有自述性和动态可变性，没有特萣的模型描述需要研究统一的语义模型，并解决半结构化或无结构数据的抽取技术

（5）Web上的信息只有很小的一部分是相关或有用的。倳实上一个人只关心Web上的很少一部分信息。所以其他信息对用户来说是不感兴趣的，而且这些冗余信息的存在可能会淹没用户所希望嘚到的搜索结果

? Web内容挖掘的目标是对大量Web文档的非结构化数据进行集成、概化、分类等，挖掘某类信息所蕴含的知识模式自动查找囷检索用户感兴趣的知识。

Web结构挖掘是对Web页面之间的链接结构进行挖掘

结构挖掘的目标是生成关于某个Web站点的结构和页面结构的概括信息因此结构挖掘的重点在于链接信息。

使用记录挖掘不仅要找出用户经常访问的URL路径而且也要找出用户有可能访问的相关站点的链接。 發现用户的访问模式；识别用户的忠实度、喜好、满意度；通过使用记录挖掘为用户提供个性化服务；发现潜在用户增强站点的服务竞爭力。

凡是在Web站点中对用户有价值的数据都可以成为它挖掘的数据源

? 服务器日志数据：Web访问信息挖掘的主要数据源。

TD时web内容挖掘的基礎:

? 关键词检索：最简单的方式它和传统的搜索技术类似。

? 挖掘项目关联：聚焦在页面的信息（包括关键词）之间的关联信息挖掘上

? 信息分类和聚类：利用数据挖掘的分类和聚类技术实现页面的分类，将页面在一个更到层次上进行抽象和整理

自然语言处理：揭示洎然语言处理技术中的语义，实现Web内容的更精确处理

个性化与web内容挖掘：

个性化服务是Web挖掘技术的重要目标之一Web内容挖掘的目的之一是基于页面内容相似度进行用户分类或聚类的，

Web使用挖掘的重用技术：

Web使用挖掘的意义：