数据仓库:教你轻松掌握数据仓库的规划和构建策略来源: 发布时间:星期四, 2009年2月5日 浏览:0次 评论:0
="t18">这篇论坛专题(赛迪网技术社区)主要介绍针对数据仓库
 规划构建策略进行了详细介绍 具体内容请大家参考下文:
数据仓库作为决策支持系统(DSS)基础具有面向主题、集成、不可更新、随时间不断变化特性 这些特点介绍说明了数据仓库从数据组织到数据处理都和原来数据库有很大区别这也就需要在数据仓库系统设计时寻求 个适合于数据仓库设计思路方法在般系统开发规划中首先需要确定系统功能这些系统功能般是通过对用户需求分析得到从数据仓库应用角度来看DSS分析员般是企业中中高层管理人员他们对决策支持需求不能预先做出规范标准介绍说明只能给设计人员个抽象地描述这就需要设计人员在和用户不断交流沟通中将系统需求逐步明确并加以完善因此数据仓库开发规划过程实际上是个用户和设计人员对其不断了解、熟悉和完善过程
数据仓库开发应用规划是开发数据仓库首要任务只有制定了正确数据仓库规划才能使组织主要力量有序地实现数据仓库开发应用在数据仓库规划中般需要经历这样几个过程:选择实现策略、确定数据仓库开发目标和实现范围、选择数据仓库体系结构、建立商业和项目规划预算
当数据仓库规划完成后需要编制相应数据仓库规划介绍说明书介绍说明数据仓库和企业战略关系以及和企业急需处理、范围相对有限开发机会重点支持职能部门和今后数据仓库开发工作建议实际使用方案和开发预算作为数据仓库实际开发依据
1、选择数据仓库实现策略
数据仓库开发策略主要有自顶向下、自底向上和这两种策略联合使用自顶向下策略在实际应用中比较困难 数据仓库功能是种决策支持功能这种功能在企业战略应用范围中常常是很难确定数据仓库应用机会往往超出企业当前实际业务范围而且在开发前就确定目标会在实现预定目标后就不再追求新应用是数据仓库丧失更有战略意义应用由于该策略在开发前就可以给出数据仓库实现范围能够清楚地向决策者和企业描述系统收益情况和实现目标因此是种有效数据仓库开发策略该思路方法使用时需要开发人员具有丰富自顶向下开发系统经验企业决策层和管理人员完全知道数据仓库预定目标并且了解数据仓库能够在那些决策中发挥作用
自底向上策略般从某个数据仓库原型开始选择些特定为企业管理人员所熟知管理问题作为数据仓库开发对象在此基础上进行数据仓库开发因此该策略常常用于个数据集市、个经理系统或个部门数据仓库开发该策略优点在于企业能够以较小投入获得较高数据仓库应用收益在开发过程中人员投入较少也容易获得成效当然如果某个项目开发失败可能造成企业整个数据仓库系统开发延迟该策略般用于企业洗碗对数据仓库技术进行评价以确定该技术应用方式、地点和时间或希望了解实现和运行数据仓库所需要各种费用或在数据仓库应用目标并不是很明确时数据仓库对决策过程影响不是很明确时使用
在自顶向下开发策略中可以采用结构化或面向对象思路方法按照数据仓库规划、需求确定、系统分析、系统设计、系统集成、系统测试和系统试运行阶段完成数据仓库开发而在自底向上开发中则可以采用螺旋式原型开发思路方法使用户可以根据新需求对试运行系统进行修改螺旋式原型开发思路方法要求在较短时间内快速生成可以不断增加功能数据仓库系统这种开发思路方法主要适合于这样些场合:在企业市场动向和需求无法预测市场时机是实现产品重要组成部分不断地改进对和企业市场调节是必需；持久竞争优势来自连续不断地改进系统地改进是基于用户在使用中不断发现
自顶向下和自底向上策略联合使用具有两种策略优点既能快速完成数据仓库开发和应用还可建立具有长远价值数据仓库方案但在实战中往往难以操作通常需要能够建立、应用和维护企业模型、数据模型和技术结构、具有丰富经验开发人员能够熟练从具体(如业务系统中元数据)转移到抽象(只基于业务性质而不是基于实现系统技术逻辑模型)；企业需要拥有由最终用户和信息系统人员组成有经验开发小组能够清楚地指出数据仓库在企业战略决策支持中应用=a14c id=zoom> 2、确定数据仓库 开发目标和实现范围
为确定数据仓库开发目标和实现范围首先需要对企业管理者等数据仓库用户解释数据仓库在企业管理中应用和发展趋势介绍说明企业组织和使用数据来支持跨功能系统重要性对企业经营战略支持以确定开发目标在该阶段确认和使用数据仓库有关业务要求这些要求应该只支持最主要业务职能部门将使用精力集中在收益明显业务上使数据仓库应用立即产生效果不应该消耗太多精力在各个业务上同时铺开数据仓库应用在确定开发目标和范围以后应该编制需求文档作为今后开发数据仓库依据
数据仓库开发首要目标是确定所需要信息范围确定用户提供决策帮助时在主题和指标域需要哪些数据源这就需要定义:用户需要什么数据？面向主题数据仓库需要什么样支持数据？为成功地向用户提交数据开发人员需要哪些商业知识？哪些背景知识？这就需要定义整体需求以文件形式整理现存记录系统和系统环境对使用数据仓库中数据候选应用系统进行标识、排序构造个传递模型确定尺度、事实及时间标记算法以便从系统中抽取信息且将他们放入数据仓库通过信息范围确定可为开发人员提供个良好分析平台和用户起分析哪些信息是数据仓库需要进行商业活动需要什么数据开发人员可以和用户进步定义需要例如数据分级层次、聚合层次、加载频率以及需要保持时间表等
数据仓库开发另个重要目标是确定利用哪些思路方法和工具访问和导航数据？虽然用户都需要存取并且检索数据仓库内容但是所存取粒度有所区别有可能是详细记录有可能是比较概括记录或十分概括记录用户要求数据概括程度区别将导致数据仓库聚集和概括工具需求区别数据仓库还有具有定功能来访问和检索图表、预定义报表、多维数据、概括性数据和详细记录用户从数据仓库中获得信息应该有电子表格、统计分析器和支持多维分析分析处理器等工具支持以解释和分析数据仓库中内容产生并且验证区别市场假设、建议和决策方案为将决策建议和各种决策方案向用户清楚地表达出来需要利用报表、图表和图像等强有力信息表达工具
数据仓库开发其他目标是确定数据仓库内部数据规模在数据仓库中不仅包含当前数据而且包含多年历史数据数据概括程度决定了这些数据压缩和概括最大限度如果要让数据仓库提供对历史记录进行决策查询功能就必须支持对大量数据管理数据规模不仅直接影响决策查询时间而且还将直接影响企业决策质量
在数据仓库开发目标中还有:根据用户对数据仓库基本需求确定数据仓库中数据含义；确定数据仓库内容质量以确定使用、分析和建议可信级别；哪种类型数据仓库可以满足最终用户需求这些数据仓库应该具有怎样功能；需要哪些元数据如何使用数据源中数据等
数据仓库开发目标多种多样十分复杂需要开发人员和用户在开发和使用过程中不断交互完善因此在规划中需要确定数据仓库开发范围使开发人员能够根据需求和目标重要性逐步进行并且在开发中吸取经验教训为数据仓库在企业中全部实现提供技术准备因此在为数据仓库确定总体开发方向和目标以后就必须确定个有限能够很快体现数据仓库效益使用范围在考虑数据仓库苦应用范围时主要从使用部门数量和类型、数据源数量、企业模型子集、预算分配以及开发项目所需时间等角度分析在分析这些原因时可从用户角度和技术角度两方面进行
从用户角度应该分析哪些部门最先使用数据仓库？是哪些人员为了什么目使用数据仓库？以及数据仓库首先要满足哪些决策查询？这些决策查询往往确定了有关数据维数、报表种类这些原因都将确定数据仓库定义时所需要数量关系查询格式越具体越容易提供数据仓库维数、聚集和概括规划介绍说明
从技术角度分析应该确定数据仓库中元数据库规模数据仓库元数据库是存储数据仓库中数据定义模型数据定义存储在仓库管理器目录中可以作为所有查询和报表工具构造和查询数据仓库依据元数据库规模直接表示了数据仓库中必须管理数据规模通过对元数据库规模管理实际上就确定了数据仓库中所需要管理数据规模
3、数据仓库结构选择
数据仓库结构可以进行灵活选择可将组织所使用各种平台进行恰当分割把数据源、数据仓库和最终用户使用工作站分割开来进行恰当设计=a14c id=zoom> (1)数据仓库 应用结构
基于业务处理系统数据仓库
在这种结构中将运作数据用于无需修改数据只读应用 中具有这种结构数据仓库元数据库是种虚库而不是数据仓库自身元数据在数据仓库元数据库直接指导下对数据仓库查询就是简单从数据库中抽取数据
单纯数据仓库
利用在数据仓库中数据源净化、集成、概括和集成等操作将数据源从业务处理系统中传输进集中数据仓库各部门数据仓库应用只在数据仓库中进行这种结构经常发生在多部门、少用户使用数据仓库情况下这里集中仅仅是逻辑上物理上可能是分散
单纯数据集市
数据集市是指在部门中使用数据仓库企业中各个职能部门都有自己特殊需要而统数据仓库可能不能满足这些部门特殊要求这种体系结构经常发生在个别部门对数据仓库应用感兴趣而组织中其他部门却对数据仓库应用十分冷漠的时由热心部门单独开发式所采用
数据仓库和数据集市
企业各部门拥有满足自己需要数据集市其数据从企业数据仓库中获取而数据仓库从企业各种数据源中收集和分配这种体系结构是种较为完善数据仓库体系结构往往发生在组织整体对数据仓库应用感兴趣的时所采用体系结构
(2)数据仓库技术平台结构
单层结构
单层结构主要是在数据源和数据仓库的间共享平台或者让数据源、数据仓库、数据集市和最终用户工作站使用同个平台共享个平台可以降低数据抽取和数据转换复杂性但是共享平台在应用中可能遇到性能和管理方面问题这种体系结构般在数据仓库规模较小而组织业务系统平台具有较大潜力的时所采用
客户/服务器两层结构
层为客户机层为服务器最终用户访问工具在客户层上运行而数据源、数据仓库和数据集市位于服务器上该技术机构般用于普通规模数据仓库
3层客户/服务器结构
基于工作站客户层、基于服务器中间层和基于主机第 3层主机层负责管理数据源和可选源数据转换；服务器运行数据仓库和数据集市软件Software并且存储仓库数据；客户工作站运行查询和报表运用且还可以存储从数据集市或数据仓库卸载局部数据在数据仓库稍具规模两层数据仓库结构已经不能满足客户需求要讲数据仓库数据存储管理、数据仓库应用处理和客户端应用分开的时可以采用这种结构=a14c id=zoom> 多层式结构 这是在 3层机构基础上发展起来 数据仓库结构在该结构中从最内数据层到最外层客户层依次是:单独数据仓库存储层、对数据仓库和数据集市进行管理数据仓库服务层、进行数据仓库查询处理查询服务层、完成数据仓库应用处理应用服务层和面向最终用户客户层体系层次可能多达 5层这种体系结构般用于超规模数据仓库系统
4、数据仓库使用方案和项目规划预算
数据仓库实际使用方案和开发预算是数据仓库规划中最后需要确定问题数据仓库主要用于对企业管理人员决策支持确保其实用性是十分重要因此需要让最终用户参和数据仓库功能设计这种参和是通过用户实际使用方案进行使用方案是个非常重要需求模型实际使用方案必须有助于阐明最终用户对数据仓库要求这些要求有只使用适当数据源就可以得到基本满足而有却需要来自企业外部数据源这就需要通过使用方案将这些区别要求联系起来
实际使用方案还可以将最终用户决策支持要求和数据仓库技术要求联系起来当用户确定最终要求后为元数据库范围确定个界限还可以确定所需要历史信息数量当根据特定用户进行数据仓库规划时就可确定最终用户所关心维度(时间、方位、商业单位和生产企业)维度和所需要概括操作有明显关系必须选择对最终用户有实际意义维度如:“月”、“季度”、“年”等最后还可以确定数据集市/数据仓库结构需要使设计人员确定采用单纯数据仓库结构还是单纯数据集市结构或者是两者相结合结构
在实际使用开发方案确定后还需要对开发方案预算进行估计确定项目投资数额投资方案确定可以依据以往软件Software开发成本但是这种预算评估比较粗糙另种思路方法是参照结构进行成本评估也就是说将数据仓库实际使用方案所确定构件进行分解根据各个构件成本进行预算估算数据仓库构件包含在数据源、数据仓库、数据集市、最终用户存取、数据管理、元数据管理、传输基础等部分中这些构件有在企业原有信息系统中已经具备有可以选择商品化构件有则需要自我开发根据这些构件区别来源可以确定比较准确预算
在完成数据仓库规划后就需要编制数据仓库开发介绍说明书介绍说明系统和企业战略目标关系以及系统和企业急需处理范围相对有限开发机会所设想业务机会介绍说明以及目标任务概况介绍说明、重点支持职能部门和今后工作建议数据仓库项目应有明确业务价值计划开始在计划中需要阐明期望取得有形和无形利益无形利益包含利用数据仓库使决策完成得更快更好等利益业务价值计划最好由目标业务主管来完成数据仓库是用户驱动应该让用户积极参和数据仓库建设在规划书中要确定数据仓库开发目标实现范围、体系结构和使用方案及开发预算0
相关文章读者评论发表评论 |
 |
专注于互联网--专注于架构 |
最新标签 网站地图 文章索引 Rss订阅 |
