数据中心项目投标文件 技术部分 证券有限责任公司

'财达证券有限责任公司数据中心建设项目投标书正本财达证券有限责任公司数据中心项目投标文件技术部分北京先进数通信息技术有限公司本文件涉及信息为北京先进数通信息技术有限公司专有信息，敬请视同机密文件处理。除因需要而得到授权的财达证券有限责任公司及本公司有关人员外，请勿以任何形式向他人或任何第三方透露。2011年10月18日第241页 财达证券有限责任公司数据中心建设项目投标书目录1总体概述101.1项目背景101.2总体设计目标101.3阶段建设目标101.4系统范围112整体解决方案122.1总体原则122.2总体架构132.2.1逻辑架构142.2.2物理架构142.2.3网络架构192.2.4标准化中间件192.2.5调度监控管理202.3数据仓库建模方案212.3.1数据模型设计思路和原则212.3.2证券业概念模型222.3.3数据仓库解决方案242.3.4元数据设计模型322.3.5数据建模工具和方法352.4数据存储架构方案382.4.1数据层次392.4.2数据流转服务402.4.3存储管理412.4.4系统性能设计422.5标准化流程、模板432.5.1ETL流程432.5.2数据质量控制流程48第241页 财达证券有限责任公司数据中心建设项目投标书2.5.3规范及模板542.6信息安全解决方案552.6.1数据安全和访问机制阐述552.6.2数据保护技术552.6.3数据访问控制552.6.4数据备份和恢复策略552.6.5ETL流程调度和监控562.6.6数据存储和传输的安全563应用系统解决方案573.1总体结构573.1.1总体结构图573.1.2报表实施流程603.2综合报表633.2.1综合报表分类描述643.2.2综合报表功能描述653.2.3报表服务平台673.2.4报表数据模型673.2.5综合报表实现683.3领导驾驶舱系统723.3.1功能结构图723.3.2数据模型733.3.3系统分析实现753.4分析型客户关系系统（ACRM）803.4.1360度客户基本信息视图803.4.2客户全方位分析视图813.4.3客户交易渠道分析863.4.4客户其他指标分析863.4.5客户数量分析873.4.6新开户客户分析87第241页 财达证券有限责任公司数据中心建设项目投标书3.4.7客户持仓分析873.4.8客户交易分析873.4.9客户交易与持仓分析873.4.10客户资金变动分析883.4.11营销分析883.4.12产品综合管理883.4.13数据模型893.4.14系统分析实现893.5数据接口及数据分发平台903.5.1数据模型923.5.2系统分析实现924软硬件配置清单944.1选型依据944.1.1ETL选型依据944.1.2BI选型依据954.1.3ODS/EDW选型依据964.1.4数据模型选型依据974.1.5硬件系统选型依据974.2软件配置994.3硬件配置1005网络架构方案1075.1设计思想1075.2网络方案设计1075.2.1总体描述1075.2.2核心局域网建设方案1085.2.3网络配置需求1085.3网络安全1095.3.1安全风险分析1095.3.2安全建设目标110第241页 财达证券有限责任公司数据中心建设项目投标书5.3.3安全系统设计原则1105.3.4网络系统安全设计1116项目实施方案1156.1总体实施计划1156.2人力资源投入计划1156.2.1项目组织结构图1156.2.2项目组织结构图说明1166.2.3项目各方职责1176.2.4人力资源计划1196.3第一期第一阶段实施方案1196.3.1阶段性实施目标1196.3.2阶段性实施策略1206.3.3阶段性实施计划1226.3.4项目开发体制1236.3.5阶段性项目验收1246.4第一期第二阶段实施方案1246.4.1阶段性实施目标1246.4.2阶段性实施策略1256.4.3阶段性实施计划1286.4.4项目开发体制1296.4.5阶段性项目验收1306.5第一期第三阶段实施方案1306.5.1阶段性实施目标1306.5.2阶段性实施策略1306.5.3阶段性实施计划1326.5.4项目开发体制1336.5.5阶段性项目验收1346.6第二期实施方案1346.6.1阶段性实施目标134第241页 财达证券有限责任公司数据中心建设项目投标书6.6.2阶段性实施策略1346.6.3阶段性实施计划1366.6.4项目开发体制1376.6.5阶段性项目验收1386.7项目质量控制1386.7.1项目管理规范1386.7.2项目质量保证1396.7.3配置管理1396.7.4配置管理活动1406.8项目风险及风险控制1416.8.1风险分析1416.8.2风险控制计划1426.9项目变更管理计划1426.10项目过程的沟通协调机制1426.10.1重大问题的汇报1436.10.2项目组内部的沟通协调1436.10.3与其他项目组的沟通协调1436.10.4与相关部门的沟通协调1436.11测试实施1436.11.1测试目标1436.11.2测试方法及内容1446.11.3实施规划1446.12项目验收1496.12.1开发文档文件的验收1496.12.2应用软件的验收1496.13项目成果移交1506.13.1应用系统源代码1506.13.2开发过程文档1506.13.3项目提交件质量标准1516.13.4知识转移153第241页 财达证券有限责任公司数据中心建设项目投标书6.14实施计划变更1546.15项目阶段描述1546.16售后服务1566.16.1服务承诺1576.16.2故障级别的定义1586.16.3障碍升级定义与标准1586.16.4故障申报及修正流程1596.16.5闭环的故障消除保障流程1596.16.6技术支持架构1606.16.7支持服务人员1606.16.8技术支持服务内容1616.16.9先进数通支持服务流程1626.16.10石家庄分支机构1636.16.11北京技术服务中心1636.16.12系统故障响应费用1637产品白皮书1647.1InfoSphereDataStage产品介绍1647.1.1产品简介1647.1.2特性介绍1657.2InfoSphereCDC产品介绍1737.2.1InfoSphereCDC的技术特点1747.2.2InfoSphereCDCapture解决方案的优势1757.2.3InfoSphereCDC方案的特性1767.2.4使用InfoSphereCDC用户可以得到的利益1767.3CognosBI产品介绍1777.3.1产品架构1777.3.2主要模块1797.3.3可扩展性1817.3.4安全性182第241页 财达证券有限责任公司数据中心建设项目投标书7.3.5灵活性1837.3.6流程1867.4InfoSphereWarehouse产品介绍1877.4.1产品架构1877.4.2产品功能特性1877.5MOIA.RSP产品介绍1947.5.1MOIA.RSP简介1947.5.2MOIA.RSP逻辑架构1957.5.3MOIA.RSP主要界面1957.5.4MOIA.RSP功能1977.6MOIA.DSP介绍1977.6.1内容提要1977.6.2Moia历史1987.6.3产品定位1997.6.4产品结构2007.6.5功能简介2007.6.6拓扑结构2027.6.7调度支持2037.6.8调度引擎2057.6.9支持的计算模式2097.6.10数据管理服务2107.6.11事件服务2137.6.12高级功能2137.6.13开发流程2147.6.14用户角色2147.6.15用户界面2157.6.16MOIA用户2157.6.17MOIA的价值2167.6.18应用案例216第241页 财达证券有限责任公司数据中心建设项目投标书8附件221第241页 财达证券有限责任公司数据中心建设项目投标书1总体概述1.1项目背景财达证券作为全国性证券公司，拥有大量客户，伴随着证券市场的日益成熟，证券交易活跃，市场竞争加剧，这些都对财达证券各项业务监管、风险控制、客户服务与营销、业务创新等提出了更高的要求。为了更好的满足公司业务、管理对数据集中应用的要求，财达证券需要建立统一的企业级数据仓库平台，及时有效地获取各项业务系统数据，进行数据集中管理和统一整合，建立统一的数据标准，形成准确、完备的数据访问平台，为各个业务部门数据分析、客户服务、公司营销及业务监管提供基础支撑。1.2总体设计目标财达证券数据中心的总体建设目标是建立基础数据模型、ETL平台、ETL管理调度平台、数据分发管理平台、经营绩效数据分析汇总及展现平台等，形成统一数据标准、确保数据采集完整、保证ETL数据质量、形成统一的数据展现。具体目标为：1、完成数据标准化工作，形成公司唯一的、标准化数据源，支撑各业务管理系统的数据访问。2、完成公司各项业务数据的统一采集、统一存储、统一访问管理等功能3、建立集中财达证券各项业务数据的基础数据平台，完成财达证券所要求的数据输入输出交换实施。4、使用专业成熟的ETL工具，进行不同种类数据的抽取、转换、加载等各项部署、实施，并能对启动条件、依赖关系、状态及错误日志统一管理。5、实现ETL全流程调度自动化管理，对ETL过程进行全面监控和管理维护。6、提供标准和灵活的数据交换接口，保证现有系统平滑过渡到数据中心，支持公司拟建和未来需要建设的各类系统。7、按需要提供各类数据的汇总，满足数据报表和不同主题数据集市的需要。8、通过对基础数据模型的分析，支持数据集市，展现经营状况。9、建立服务财达证券实际要求的数据中心技术架构。1.3阶段建设目标数据中心项目实施涉及系统众多、实施复杂度高、周期长的特点。为保障项目顺利实施，将周期为7.5个月的项目分成3个阶段进行实施，每个阶段具有相应的里程碑事件，具体目标如下：1、第一阶段计划实施工期1.5个月，2010/11/20～2010/12/31，具体建设目标如下：Ø完成与数据中心相关业务系统的调研。Ø建立数据模型。Ø完成数据标准化工作，形成数据标准化的整体规范，并经财达证券业务部门认可。Ø建立符合财达证券的企业级数据仓库技术架构。Ø实施ETL定时，完成集中交易系统、法人清算系统、融资融券系统、投资管理系统、营销管理系统、财务管理系统、客户服务综合平台的现有数据采集、整合、入库。Ø实现基于数据中心的综合查询系统。第241页 财达证券有限责任公司数据中心建设项目投标书1、第二阶段计划实施工期2个月，2011/01/01～2011/02/28，具体建设目标如下：Ø完善数据模型及数据仓库技术架构。Ø完成ETL的全部实施，并提供数据完整性、正确性以及可用性检查机制。Ø完成实时增量数据采集。Ø完成ETL管理调度平台建设。Ø初步实现数据分发管理平台开发。2、第三阶段计划实施工期4个月，2011/03/01～2011/06/30，具体建设目标如下：ØETL实施完善，并全部上线。Ø完成数据接口及数据分发管理平台开发部署及任务配置，并上线使用。Ø完成领导驾驶舱的系统开发，并正式部署上线。Ø完成ACRM的系统开发，并正式部署上线。Ø为公司其他在用和在建业务系统提供数据。1.1系统范围本次数据中心项目实施涉及到的源系统和目标系统如下所示：第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书1整体解决方案1.1总体原则数据中心建设是个系统化工程，为确保系统建设成功，在系统设计、技术实现过程中需要遵循如下一些原则：1、标准化原则系统方案的制定需要满足业界通用的系统建设准则，在系统需求与应用的结合、系统架构的确定、系统组件的划分、系统实施的考虑等方面，可以借鉴同业的建设经验，在业界标准、规范的系统建设准则下，结合系统建设要求制定出通用高效的方案。2、可扩充原则系统方案的制定需要结合信息化建设的长远规划，充分考虑业务需求与发展要求，满足系统容量与系统效率要求，在系统设计上即能做到适应不断发展扩大的业务需求，又能做到最大限度地保护现有的软硬件的投入，为联机分析应用的持续发展奠定良好的基础。3、开放性原则系统建设遵循开发标准，采用行业标准技术，采用可扩展的系统架构，开放式语言，保证系统可在异构的系统之间方便移植。能够实现与现有相关系统的完全对接。4、先进性原则系统技术架构与技术实现手段应在金融行业具有一定领先性。5、前瞻性原则系统在满足现有业务要求的基础上，必须为未来业务发展变化留有拓展空间，方便对新业务的扩展与支持。6、高效性原则因为涉及大数据量的处理，而且随着BI应用对业务人员、业务主管工作重要性的逐渐提升，目标系统对数据处理时间的要求会越来越严格，因此，在数据中心构建上需要确保高效性，在大数据量处理及大规模用户在线情况下系统仍能高效运行。7、稳定性原则系统满足高峰处理的需要，适应各种特殊情况给系统带来的压力。8、安全性原则系统必须建立在成熟稳定的硬件环境和应用软件基础上，通过完善的备份恢复策略、安全控制机制、运行管理监控和故障处理手段来保障系统的安全、稳定。9、可维护性原则系统应提供对对运行情况的完善的监测与控制功能，方便系统维护，在系统处理异常时能够根据日志，方便快捷的定位出错位置、原因，并可主动告警。10、实用性原则结合财达证券第241页 财达证券有限责任公司数据中心建设项目投标书各类业务系统的需求和发展现状提供系统产品平台，能够充分满足系统的业务功能需求，并能够兼顾到未来系统发展。1、一致性原则系统方案的制定需要考虑与现有的信息化建设发展规划保持一致性。由于现有系统纷繁复杂，数据存在交叉的情况，需要考虑这些系统作为数据源进行数据整合时，如何保持一致的处理逻辑，并保证在以后基于这些数据分析的结果具有一致性。一致性原则具体体现为：统一技术架构、统一数据架构、统一应用架构、统一技术标准和规范、统一的开发工具、统一开发流程。2、松耦合原则数据中心的主要功能定位是数据交换和加工、存储，因此数据中心的数据是尽量不能和任何应用需求产生紧耦合的，应确立数据中心和应用的松耦合原则。也就是说，所有应用都应该也只能访问自己的数据库（也称为数据集市），而不能用SQL等方式直接访问数据中心的数据。1.1总体架构在数据中心建设总体原则指导下，结合财达证券实际情况，综合各个方面的因素考虑，系统总体架构设计如下：数据中心从总体上包含以下五个主要部分：Ø基础设施(物理架构)n对于应用数据平台中使用的各种硬件资源的规划和部署；这些硬件资源包括：数据库服务器、ETL集群、调度服务器、报表集群、文件传输集群、共享文件存储等；Ø软件和工具n数据中心第241页 财达证券有限责任公司数据中心建设项目投标书应用建设中的基础软件和工具：操作系统、数据库服务器管理软件、ETL工具软件、报表工具软件、全局调度和监控软件等；Ø存储管理n数据存储策略、数据备份和恢复策略、数据生命周期管理、报表数据的存放和备份清理策略等；Ø数据架构：n数据的在数据分区间流转、数据的组织(数据模型)、数据在数据流转过程中的属性(元数据管理)；Ø标准、规范、流程和模板n贯穿数据中心及BI建设过程和处理流程中的各种规范性文档和实施流程。1.1.1逻辑架构数据中心是企业IT环境中重要的基础设施，其核心价值是提升企业经营管理辅助BI系统建设的ROI。因此其建设需要站在企业级的高度进行设计，整个企业内部构建一套标准的、可扩展的、开放的、先进的、高效的、稳定的、安全的、可维护的基础计算环境。通常企业信息化过程以应用为单位组织软硬件资源，为保证相关应用的平稳运行，需要为其最大化的配置相关资源，造成大量资源浪费。云计算及虚拟化是未来的企业级计算的发展方向，因此有必要将企业的计算资源统一规划、统一使用、统一维护管理，实现企业级计算资源的共享。1.1.2物理架构数据中心按照企业级共享计算资源池设计，遵循相关设计原则：第241页 财达证券有限责任公司数据中心建设项目投标书Ø标准化原则n该架构为当前业界主流数据整合硬件架构，符合行业标准。Ø可扩充原则n数据获取、数据加工、报表、数据库、数据分发、数据存储、应用服务器、调度监控全部采用集群技术，GridAnywhere。完美实现系统的横向扩展性。Ø开放性原则n所有硬件均采用行业标准硬件，具有标准化的相关接口，保证系统开。放性。Ø先进性原则n此架构为当前金融行业数据中心建设领先架构，符合云计算与虚拟化的流行技术方向。Ø前瞻性原则n系统高度可扩展，根据业务发展可以随需应变，满足未来需要。Ø高效性原则n系统采用主流的集群计算架构，实践证明该架构可以满足每天TB级数据整合架构处理。提供最廉价，性价比最优的解决方案Ø稳定性原则n采用成熟的硬件产品及集群计算架构，可以保障系统的连续运行要求。Ø安全性原则n系统建立在行业标准的硬件环境基础上，通过GridAnywhere保证系统的运行安全性，在单一节点故障情况下可以实现自动切换，保证系统的连续运行。n为保障生产网安全运行，禁止管理网段直接访问生产网，通过防火墙进行隔离，生产网数据通过CDC推送的方式传输到管理网。Ø可维护性原则第241页 财达证券有限责任公司数据中心建设项目投标书n通过集中的调度、监控服务器对数据中心的所有任务进行管理，可以实现高效的系统维护与管理。Ø实用性原则n系统硬件根据现有业务需求进行配置，满足现有需求，并保留未来扩展空间。Ø一致性原则n建立企业级的计算环境，确保企业内部相关环境的一致性。1.1.1.1ETL服务集群ETL是BI应用建设的基础，ETL技术的出现和发展在BI技术发展的过程中具有里程碑式的意义。而以往企业的BI建设缺乏良好规划，每个业务部门都在立项建设自己的BI应用，因此每个BI应用都要从业务系统抽取数据，加工转换之后加载到BI应用的数据库中。这样每个BI应用不仅要购置ETL工具，ETL硬件资源，还要开发大量的ETL作业，这不仅造成了投资的浪费，开发工作的大量重复，对数据的使用缺乏统一的规范。而且造成很多BI应用直接访问业务系统的数据库，对业务系统数据库的性能、可维护性和安全性都造成了严重影响。如上图所示，构建面向整个企业级所有BI应用的ETL基础设施(基础组件)，这个ETL组件将为企业中所有的BI应用提供ETL服务。各BI应用不再购置自己的ETL硬件资源和ETL产品。这个ETL组件由专门的数据部门进行统一管理和维护。企业级的ETL组件可以很好地完成企业的数据交换，达到数据标准化、规范化使用、减少资源投入的目的。建立企业级的ETL基础设施，具有下列优点：Ø大大减少资源投入，避免重复投资；Ø减少重复的开发工作；Ø有利于数据的规范和标准化使用；Ø使企业的BI应用架构更加清晰；Ø便于对企业的数据交换情况进行集中管理和监控；第241页 财达证券有限责任公司数据中心建设项目投标书在集群模式下，ETL基础设施由一系列的普通PCServer构成，这些PCServer由调度Server进行集中管理和调度。在一个ETL集群内，还可以划分成多个处理域(Domain)，也可以只包含一个Domain。每个处理域由一个或多个ETLSERVER和若干个ETLCLIENT组成。ETLSERVER主要负责ETLJOB的具体执行计划制定与分配。ETLCLIENT主要负责ETLSERVER分配的作业模块的具体执行，是作业的具体执行者。Ø实现企业软硬件资源的共享；Ø提供最廉价，性价比最优的ETL解决方案Ø提供了无限的横向扩展能力，企业无须再为数据规模的增长而发愁；Ø大规模的并行计算能力为海量数据的处理提供了强大支持；Ø整个架构不需要备份机，保障系统安全运行。集群中任何节点(调度Server,ETLserver和ETLClient)发生故障时，可以有集群中其它机器快速接管，特别是当ETLClient发生故障时候，无须人工干预，接管工作自动执行；ØETLServer和调度Server发生故障时，只需要通过监控界面执行简单操作即可。1.1.1.1报表服务集群报表的生成和展现，如同ETL一样，在企业BI建设中是一种最基础的服务，因此本着集约的原则，我们将报表服务器作为集群方式部属，提供给其中所有需要报表生成和展示的应用使用。第241页 财达证券有限责任公司数据中心建设项目投标书如上图形所示，我们将建立报表服务集群，集群中由一台报表集成门户服务器和多台报表服务器组成(逻辑上的)，各应用自行开发报表后将报表生成作业Package部署到报表服务集群中集中运行，当各应用运行中需要请求报表服务时，将通过HTTP方式向报表集成服务器发送报表请求，报表集成服务器将安装ADTMOIA.RSP，它实现报表集成和报表服务器管理，实现报表任务的动态分配和负载均衡。使用企业级报表服务集群的好处是：Ø实现企业软硬件资源的共享；Ø提供最廉价，性价比最优的大数据量报表解决方案；Ø提供了无限的横向扩展能力，企业无须再为数据规模的增长而发愁；Ø整个架构不需要备份机，保障系统安全运行。1.1.1.1数据库服务器集群热备数据库服务器磁盘阵列数据库服务器数据采用磁盘阵列存储，数据库服务器共享磁盘阵列，通过数据库的群集功能实现数据库服务群集。从而达到故障时生产不受影响。群集第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1网络架构在上面的网络拓扑关系图中，我们将网络划分为服务网络，数据库网络和存储网络。服务网络主要用于系统间调度服务器、ETL集群、报表服务器集群和数据库服务器三者之间的信息的交互和共享；存储网络主要用于系统间调度服务器、ETL集群、报表服务器集群和共享存储之间的信息交互和共享；数据库网络主要用于数据库服务器和数据存储之间的信息交互和共享；数据中心建设基于系统集群节点的并行处理，需要大量的信息交互，因此，上述三个网络的网络带宽均需要到达千兆网络的标准，以保证ODS内部的大量信息交互。集群内部主要使用的网络协议有：TCP/IP、HTTP、FTP、TELNET、NFS等。1.1.2标准化中间件在企业级计算环境提供强大的计算能力、扩展能力等特性的同时，需要标准化的中间件部署在企业级计算环境中作为计算需求应用的基础服务。需要的计算服务为：Ø增量数据获取服务n由CDC（ChangeDataCapture）软件提供基于数据库日志的准实时的、精确的增量数据获取服务。在此推荐使用IBM公司的InfoSphereCDC作为CDC工具。Ø数据加工处理服务n数据中心是由大量的ETL（ExtractTransformLoad）过程有机结合构成的一个整体，因此ETL工具处于数据中心建设中数据加工的核心地位，需要一个能够实现并行扩展，适应集群架构的高效工具。IBM的DataStage是ETL领域的领先产品，在国内金融行业具有众多成功案例及集群架构的最佳实践经验。第241页 财达证券有限责任公司数据中心建设项目投标书Ø数据存储服务n数据的流转与保存需要存在在高性能、稳定的数据库软件中，此部分采用InfoSphereWarehouse数据库。Ø报表服务n数据中心服务的目标除了CRM等标准应用之外，还需要为业务统计分析、查询等提供数据展现服务，作为企业级报表平台的基础。此部分采用招标方选定的CognosBI软件。1.1.1调度监控管理企业级数据中心建设时一个系统工程，复杂度高、周期长，涉及到的数据处理步骤多，需要多种中间件协同配合来完成系统数据的有效流转于加工。如何指挥各个细分领域优秀的软件有效协同，提升系统健壮性、保障系统高效性，降低运维难度，成为数据中心建设的重大难点。为了实现上述目标，需要一个先进的全局调度、监控管理软件。先进数通根据多年的实践经验，自主研发了企业级信息应用管理平台软件—MOIA。主要功能为：ØActiveAnytimen自动剔除失败节点并重新运行失败节点上已运行任务n自动切换调度主节点，保证主节点永久存活，保障业务连续性Ø多种调度管理对象nDataStageJobn各种可在命令行执行的程序及Commandn各平台内置脚本编制的程序文件n存储过程n解释性语言编制的程序文件如Perl、SQL等Ø多种任务触发条件n灵活的调度功能，按照执行日历、执行时间窗口、作业依赖关系、数据依赖关系等多种条件，组合产生满足作业运行的条件。Ø深度集成CDC、DataStage、CognosnAPI级驱动任务运行n自动读取DataStageJob开发、配置信息Ø高效任务调度引擎n调度流程管理；第241页 财达证券有限责任公司数据中心建设项目投标书n任务扫描和调度；n可拖拉的图形化配置、依赖条件管理等；Ø有效的外部集成n“事件驱动”的调度模式，能将您的应用无缝集成到MOIA中，实现企业BI应用的全局调度；n通过事件驱动实现异常情况下的外部通知。Ø动态负载均衡n根据作业的逻辑复杂度和硬件资源情况，动态为Moia平台中作业做负载均衡处理；Ø数据管理n业务数据管理；数据权限管理；n数据部署管理；数据状态管理。Ø资源管理n资源采集和监控、动态负载均衡、动态并发控制Ø系统管理n提供配置管理、用户管理、平台管理、日志管理、手工控制、监控服务等系统级功能1.1数据仓库建模方案1.1.1数据模型设计思路和原则1、数据模型设计的主要思路Ø能够满足对证券多种业务分散的数据源进行有效整合n数据模型是一套对业务架构进行高度抽象和全面支持的设计思想，因此其基础是对业务架构的深层次理解；n数据模型的设计是一个非常复杂而艰辛的过程，需要经过对目前和将来可预见的业务需求的深入分析，才能建立一个适应性强的数据模型；Ø便于对证券业务数据按主题概念进行理解和规范n参考国内外专家金融业建模经验；n每个主题下设计相应的数据模型，最后构成整个企业统一的基础数据模型；Ø对不同类型的数据进行统一组织、管理n数据模型的实施需要有数据整合的经验积累；n定义数据元素，把这些元素组织成主题/实体并组织这些主题/实体之间的关系；2、模型设计的原则Ø统一规范Ø灵活性原则Ø可扩展性原则Ø高效性原则Ø实用性原则Ø存储空间合理性原则第241页 财达证券有限责任公司数据中心建设项目投标书1、模型设计的依据Ø以数据源为基础：基于证券现有业务发展情况，在对集中交易系统、清算系统、投资管理系统等系统数据源进行详细和全面分析的基础上，结合未来业务发展的方向，使数据模型具有广泛的涵盖性、良好的扩展性、优越的高效性和实用性；Ø目标应用驱动：针对可预见的目标应用对数据模型进行的必要调整，实现多个目标应用的公共加工汇总要求；Ø统一规范和管理：对证券业务数据按主题概念进行理解和规范，对不同类型的数据进行统一管理；2、模型设计的目标Ø统一数据视图n完整的数据n良好的数据组织：合理的主题划分、明确的实体间关系等n统一的数据解释n清晰的数据流向Ø高度的数据可用性n合理的数据冗余n合理的存储分布策略n必需的共性加工1.1.1证券业概念模型1、主题域数据仓库逻辑模型的设计通常采用自顶而下的方法，首先针对需求涉及范围内的业务对象从高度概括的概念层次归类，即划分主题域，再针对各个主题设计实体关系图。数据中心LDM参照了国际先进的FS-LDM模型，FS-LDM（金融业逻辑数据模型）是TD多年来在全球实施近230家金融业数据仓库项目的经验结晶如下图所示。整个逻辑数据模型把复杂的金融业务归纳成团体、产品、账户、事件、渠道、组织、地理区域和行销活动等八大主题。它蕴含了现代金融的分析决策和客户关系管理的各个方面。FS-LDM模型参照如下：第241页 财达证券有限责任公司数据中心建设项目投标书设计思路：基于FS-LDM，根据所设定的目标和数据范围，确定需要建设的主题范围，构建LDM的原型框架。LDM原型框架决定数据仓库的数据组织原则和基本形式，也决定了数据仓库的应用范围和应用模式。财达证券的数据中心的概念模型设计将参照参考了Teradata在金融领域提出的FS-LDM，对IBM的FMDM进行补充和完善。1、证券公司信息流分析证券行业的信息流，可分为以下几种：Ø（a）客户信息流Ø（b）交易信息流Ø（c）资金信息流Ø（d）行情信息流Ø（e）基本信息流Ø（f）公告信息流Ø（g）政策信息流Ø（h）自用业务Ø（i）投行业务Ø（j）CRM系统Ø（k）营销系统Ø（l）绩效管理Ø（k）风险管理其中，按照其语义系统又可以分成7类。前a-c以交易主体为核心，可以归纳为交易数据集合。d-g围绕交易对象展开，可以归纳为行情数据集合。h~I是围绕业务种类展开，可以归纳为产品信息集合。J~可是围绕营销和客户关系展开，归纳为营销服务集合。L~m围绕人力绩效和系统风险展开，归纳为内控数据集合。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1数据仓库解决方案1.1.1.1以TD的FS-LDM模型为基础参照TD的FS-LDM（金融业逻辑数据模型），该模型多年来在全球实施近230家金融业数据仓库项目。把金融系统数据按照组织机构、产品、客户、客户资产、事件、渠道、财务、合同、地理区域和行销活动（营销）等10个主题进行组织。先进数通保留了LDM中主题类别，对事件中的所定义的客服归入到营销主题。把客户名称修改为当事人。1.1.1.2参照IBM的FSDM模型FSDM(FinancialServicesDataModel)是一个企业级数据模型，包括了金融机构约80%的业务数据。用于把预定义的业务模板连接到核心银行业务数据和数据仓库中。FSDM第241页 财达证券有限责任公司数据中心建设项目投标书把相关业务数据分为9大主题，它蕴含了现代金融的分析决策和客户关系管理的各个方面。共包括“相关当事方、协议、条件、产品、位置、分类、业务方针、事件、资源项”。FSDM主题关系图如下图所示：FSDM大约提供了40多种业务模板，是IBM多年与世界各大金融机构合作的经验，涵盖了银行和证券及保险相关金融机构。业务模板包括如下4类：关系市场分析:包括：市场策划分析、客户贡献分析、促销分析、个人客户归档、交叉销售分析、客户投资分析、客户忠诚度分析、客户行为分析、市场导向分析；利润分析:包括：客户终生价值分析、产品利润、机构利润、客户利润、营销渠道利润、绩效衡量、地区利润、客户行为成本、产品分析。风险分析:包括：不良贷款评估、信用档案、欠款分析、安全分析、利率敏感分析、关系人风险。资产负债管理:包括：基金成熟度分析、中央银行报表、收益分析、流动资产分析。先进数通保留了LDM中除去“条件”“业务方针”外的主题，对事件中的所定义的客服归入到营销主题。按照业务模板推导出16个数据集市。1.1.1.1数据仓库的本质分析数据仓库的最基本职能就是数据集成和管理，但最基本职能不代表最简单，异构信息的采集存在诸多难点，如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书信息采集的难点针对目前核心交易系统、清算系统、财务系统、资管系统、三方存管系统、融资融券系统、网上交易系统、风险监控系统、CRM系统、短信平台系统等的现状，将把上述系统作为数据仓库的关键数据源。在建设初期，我们将把核心交易系统以及相关业务系统的数据集中存放、整合，快速构造数据平台，满足最迫切的业务应用需求。同时，我们将以核心交易系统为基础，参考FMDW构建逻辑数据模型，实现企业数据仓库的平滑过渡。源系统的选择标准和纳入数据仓库的先后顺序原则主要是：l源业务系统选择标准：1.按照IBM金融行业数据模型FSDM的数据概念要求梳理数据源信息。具体的逻辑数据模型组织可以参考FMDW，进行相应的定制。FSDM与FMDW之间的管理如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书2.按照业务和应用的需求优先级3.系统能够产生有分析价值的数据l纳入数据仓库的先后顺序原则：根据战略价值、数据充足度和实施难易度、投资回报性来综合考虑，优先实施战略价值高、数据充足、易实施、投资回报高的。优先考虑全企业集中的系统和运行稳定的系统。1.1.1.1主题域的定义1.按照FSDM的要求。FSDM具有9大主题，包括相关当事方、协议、条件、产品、位置、分类、业务方针、事件、资源项，内容如下：2.按照业务和应用的需求。3.根据IBM与业务合作伙伴丰富的实施经验，选取有价值的表和字段。1.1.1.2数据整合第241页 财达证券有限责任公司数据中心建设项目投标书在选定数据源与数据内容的基础上进行的数据抽取、加载、转换工作同样面临各种信息整合加工难点，概要总结如下图所示：信息整合加工难点分析要保证ETL工作的顺利实现，灵活高效的专业ETL软件工具不可或缺。一般建议的数据仓库ETL任务安排可以划分为以下五部分内容，如图所示：数据仓库ETL任务安排示意图ETL工作的目标包括：n创建可扩展、高效、灵活的系统架构n设计完整的数据集成架构，提高数据质量n建立一套能提高开发效率的ETL架构n抽取共性的数据处理，统一实施，提高整体实施效率，减少重复实施成本。n具备提供当前全量数据和存储短期全量数据的能力，并满足各类数据需求。n屏蔽源系统、减少或避免目标系统对源系统的干扰。n建立数据管理-控制机制。IBM建议的ETL工具主要是datastage，主要具备以下优势：n图形化专业的ETL处理平台n优异并行ETL处理能力，支持Cluster架构，使系统具有无限的横向扩展能力以适应数据量的快速增长n丰富组件满足各种类型的业务需求，并利用DataStage提供的用户开发接口，实现更加复杂的处理逻辑；n利用DataStage组件或者作业的可重用性，大大降低了作业的数量和作业的复杂程度；n完整的技术元数据管理，开放的repository。1.1.1.1数据存储与服务第241页 财达证券有限责任公司数据中心建设项目投标书数据存储与服务功能是数据仓库的基础性功能，其数据存储与处理方式与传统的OLTP交易系统或通常意义上的数据库有较大差异。必须充分考虑海量数据存储特点、大量复杂并行计算要求以及系统线性可扩展能力。IBM建议的产品主要是基于MPP架构的infospherewarehouse，它主要具备以下优势：n基于非共享体系架构，优异的线型扩展性n支持多台机器并行计算，高效的性能n基于数据仓库的查询负载能力n多种基于查询分析的优化技术n全面集成的数据仓库解决方案，简单的开发，维护和部署n内嵌数据挖掘，便于构建数据挖掘应用n易管理，易维护，技术领先。这些技术优势将有效保障数据仓库系统资源利用率的最大化和管理维护的简化。1.1.1.1数据访问数据仓库丰富的信息内容的展现可以按照应用需求形势灵活选择，例如随机查询、定制报表、多维分析、OLAP操作、关键指标汇总、仪表盘展现，以及数据仓库应用高级阶段的与业务系统联动的事件触发式业务流程等等。展现形式如下图示意：为了满足各种展现功能的需求，IBM建议前端展现工具采用金融行业客户已经大量采用的专业BI工具cognos，基于SOA架构的多维分析和展现工具－Cognos8BI具备以下优势：–报表l提供完整范围报告类型l通过多种类型的报表输出，交付可靠的信息l可订制的和对象化的l利用信息技术，允许透过用户的协作，社区和ITl提供邮件，门户，微软办公套件，搜索和移动设备的访问–分析第241页 财达证券有限责任公司数据中心建设项目投标书l通过信息的多个维度提供引导探查l简单快速的执行复杂分析和场景模型l揭示隐含的趋势，来显示征兆和原因l毫不费力的从概要等级信息到细目等级信息的移动–仪表盘l提供快速浏览，复杂信息的高效视图。l帮助快速聚焦需要注意和行动的问题。l高视觉和直觉效果l透过异类的信息源合并信息–计分卡l对于目标和基准提供及时的测量。l自主并战略的摆列结果和策略l支持记分卡方法论。l确保所有权和责任1.1.1.1ADT的数据仓库模型ADT-FSDM具有如下特点：n适用证券行业的10大业务主题，主题关系图如下：典型主题描述如下：l客户主题用于组织和存储证券业务经营相关的所有参与人的信息，包括证券业务客户（机构、个人客户）、证券合作伙伴、证券监管机构及兄弟同行的基本信息和历史变化信息。公司主题第241页 财达证券有限责任公司数据中心建设项目投标书用于组织和存储证券的内部组织机构的基本信息，包括营业机构和部门信息，便于按机构或部门、职员维度进行统计和分析。l财务主题用于组织机构和存贮除客户以外的证券内部当前会计核算内部帐、主帐信息。l协议主题体现证券与客户、合作伙伴、同业机构之间的业务关系，所有证券与客户、合作伙伴、同业机构之间发生的任何业务关系都会有协议进行体现，在本主题下组织和存贮证券业务所有参与者之间在业务过程中产生的所有帐户契约、协议、合同、有协议效用的登记簿等相关内容。l事件主题体现证券与客户或合作伙伴之间发生的所有业务明细事件，也就是通常指的业务明细，按照协议分类组织存放相关协议下的业务发生记录，登记每笔业务发生的时间、地点、人员及相关业务要素内容，便于对业务情况进行分析，并为业务对帐提供数据支持。l渠道主题用于组织和存储证券的渠道基本信息，将证券的渠道进行细分，并进行编码，便于按渠道进行业务的分析和统计。n适用证券行业应用的16个数据集市，列表如下：1.客户信息数据集市；2.客户交易数据集市；3.交易产品数据集市；4.财务数据集市；5.绩效数据集市；6.行情数据集市；7.经纪人数据集市；8.清算数据集市；9.咨询信息数据集市；10.人力资源数据集市；11.自营业务数据集市；12.内控管理数据集市；13.客户资产数据集市；14.理财产品数据集市；15.客户服务数据集市；第241页 财达证券有限责任公司数据中心建设项目投标书1.营销活动数据集市。1.1.1.1预置130张业务报表预置报表涵盖了综合查询、ACRM及DSS系统，其中包括如下列表：nDSS约30张报表；nACRM约30张报表；n综合报表约70张报表；1.1.1.2内置485个业务指标库共内置业务指标485个，其中含281个基础指标及204个派生指标；并规划了指标维护平台，以供客户自行增加指标及进行指标维护；每个指标都标记了主题、部门、类别、计算公式、依赖关系等属性。1.1.2元数据设计模型1、元数据概念按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（TechnicalMetadata）和业务元数据（BusinessMetadata）。技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：n数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容；n业务系统、数据仓库和数据集市的体系结构和模式；n汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告；n由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）；业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息；具体包括以下信息：n企业概念模型：这是业务元数据所应提供的重要的信息，它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础，不懂数据库技术和SQL语句的业务人员对数据仓库中的数据也能做到心中有数。n第241页 财达证券有限责任公司数据中心建设项目投标书多维数据模型：这是企业概念模型的重要组成部分，它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。这里的数据立方体表示某主题领域业务事实表和维表的多维组织形式。n业务概念模型和物理数据之间的依赖：以上提到的业务元数据只是表示出了数据的业务视图，这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。1、元数据作用在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：n描述哪些数据在数据仓库中；n定义要进入数据仓库中的数据和从数据仓库中产生的数据；n记录根据业务事件发生而随之进行的数据抽取工作时间安排；n记录并检测系统数据一致性的要求和执行情况；n衡量数据质量；与其说数据仓库是软件开发项目，还不如说是系统集成项目，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。它的典型结构由操作环境层、数据仓库层和业务层等组成。其中，第一层（操作环境层）是指整个企业内有关业务的OLTP系统和一些外部数据源；第二层是通过把第一层的相关数据抽取到一个中心区而组成的数据仓库层；第三层是为了完成对业务数据的分析而由各种工具组成的业务层。其中的元数据管理部分起到了承上启下的作用，具体体现在以下几个方面：Ø便于集成Ø提高系统的灵活性Ø保证数据的质量Ø帮助用户理解数据的意义2、元数据模型设计所有元数据按照其予以特征，划分为7个大类，即通用类、元元数据类、变量规范类、标准过程类、数据组织类、角色权利类、模型扩展类，各类元数据相互独立，具有明确的语义特征，参见下表：元数据的语义特征:类别名称语义特征通用对元数据模型进行整体描述,包括各类元数据的生存期限进行说明元元数据描述有关元数据记录的自身信息变量规范对所有可以以标准变量形式进行表示的元数据进行描述处理过程对所有与数据处理流程算法有关的元数据进行描述数据组织对数据存储的逻辑组织方法进行描述角色权利对使用元数据模型的用户类别与权力进行描述模型扩展对模型内容的扩展方法进行描述元数据模型构造方法自伤而下、逐步细化。可以归纳为：模型最基本的构造单元为基本数据元素，基本数据元素根据相互间语义的关联，构造出类别表(如过程类别表)，定义表(如变量定义表)和词汇表等中间部件，逐级综合，最终构成元数据模型的整体。模型对所有中间部件都给出了引用名称，定义等方面的规范，而对基本数据元素，又特别给出了数据类型和取值范围的说明。第241页 财达证券有限责任公司数据中心建设项目投标书模型总体结构采用树状图形式描述：变量规范的总体结构：过程类划分：类别名称含义实例分析手段特殊处理处理一下过程处理不能处理的特殊情况证券余额冲突处理数据采集从数据源中采集数据当日行情数据清洗对采集的数据进行预处理去除配号数据数据归档将预处理符合要求的数据存放到不同的数据集市中去个人信息库初级分析初级分析部分功能（涉及单个数据集合的单个类别）客户年龄分析分类统计OLAP第241页 财达证券有限责任公司数据中心建设项目投标书高级分析高级分析部分功能（涉及某个数据集合的多个类别）性别，年龄，委托方式联系关联分析，OLAP综合分析涉及多个数据集合，多个信息类别，或来自较低级数据的分析结果盈利客户操作时点分析数据挖掘等分析手段1.1.1数据建模工具和方法1、概述模型是现实世界中的事物（包括客观规律）的一种客观的抽象表示或模拟。抽象的含义是强调事物的本质特性，扬弃事物的次要因素。因此，模型既反映事物的原型，又不等于该原型，或者说它是原型的一种近似。模型是理解、分析、开发或改造事物原型的一种常用手段。模型的表现形式可以是数学公式、物理装置、计算机仿真、专用的图表文字或形式化语言等等。2、数据模型数据模型是对客观事物及其联系的数据描述，包括层次数据模型、网络数据模型、关系数据模型、基于逻辑的数据模型、多维数据模型等等。数据仓库的数据模型主要涉及关系数据模型、多维数据模型，分别对应关系数据仓库和多维数据仓库。中国移动经营分析系统底层细节数据的存储采用关系数据模型，即关系数据库。除非特别说明，本文所指的数据模型将特指关系数据模型，数据仓库将特指经营分析系统的底层关系数据库。3、第三范式范式理论是关系数据模型设计的基础，关系数据模型可以从第一范式到第五范式进行无损分解，该过程也称为规范化(Normalize)。规范化的基本思想是逐步消除数据依赖中不合适的部分，使各关系模式达到某种程度的分离，即“一事一地”(OneFactin第241页 财达证券有限责任公司数据中心建设项目投标书OnePlace)的设计原则，它有非常严格的数学定义。规范化为数据库的设计和实施、应用程序的开发提供了诸多好处，其主要优点体现在：Ø可以得到更全面的数据组织Ø减少不必要的数据冗余Ø易于维护数据的完整性Ø模型设计更灵活，便于系统今后的扩展数据库设计一般采用第三范式，从所表达的含义看，一个符合第三范式的关系必须满足以下三个条件：Ø每个属性的值唯一，不具有多义性；Ø每个非主属性必须完全依赖于整个主键，而非主键的一部分；Ø关系模式中不存在传递依赖；考虑到平台分析系统数据仓库的可扩展能力、投资成本和易于管理等多种因素，系统基本上遵照第三范式进行设计。1、实体关系模型实体-关系方法是一种具有代表性的语义数据建模方法，其图形化表示称为实体-关系图（简称ER图）。按照实体-关系方法建立的系统数据模型称为实体-关系模型（EntityRelationshipModel，简称ER模型）。ER模型经过多年的发展完善，逐渐形成了完整、统一的建模标准，同时许多工具软件支持用ER模型完成数据库的概念、逻辑和物理建模过程。IE和IDEF1X是两种常见的基于实体-关系模型的图形化建模方法及符号体系，它们所表达的概念都基本相同。本数据模型是一个采用IE符号体系的实体-关系模型。除非特别说明，本文所指的建模将特指采用实体-关系方法的关系数据模型的设计过程。2、建模的阶段划分数据仓库建模时通常采用“自顶向下、逐步求精”的方法，因此建模从设计过程上可以分为以下三个阶段：Ø概念模型设计(ConceptDataModeling)：这一阶段之前的首要工作是明确需求涵盖的业务范围。然后再对需求范围内的业务及其间关系进行高度概括性的描述，把密切相关业务对象进行归类，即划分主题域。概念模型的设计是为逻辑模型的设计做准备，它没有统一的标准，主要根据设计者的经验。Ø逻辑模型设计(LogicalDataModeling)：分别对概念模型的各个主题进行细化，定义其中的实体并描述实体之间的关系，并产生实体关系图（ERD），然后遵照规范化思想在实体关系的基础上明确各个实体的属性。实体产生于中国移动开展的业务、服务及其涉及的对象（如客户、帐户、员工、机构、资源），实体间的对应、约束关系则来自于各业务过程中的规则。可以说，这一阶段面对的是业务。Ø物理模型设计(PhysicalDataModeling)：主要依据逻辑模型针对具体的分析需求和物理平台采取相应的优化策略。此时会在一定程度上增加数据冗余或者隐藏实体之间的关系，是一种反规范化的处理，目的是提高数据分析的速度，适应具体数据库的容量、性能等限制。可以说，这一阶段面对的是具体的软硬件平台和性能要求。第241页 财达证券有限责任公司数据中心建设项目投标书一旦逻辑模型到位，物理模型就有了可参照的依据，开发工作内容也同时得到明确。1、数据模型的重要性数据模型是数据仓库建设的基础，一个完整、灵活、稳定的数据模型对于数据仓库项目的成功起着重要的作用。Ø数据模型是整个系统建设过程的导航图：通过数据模型可以清楚地表达企业内部各种业务主体之间的相关性，使不同部门的业务人员、应用开发人员和系统管理人员获得关于系统的统一完整的视图。Ø有利于数据的整合：数据模型是整合各种数据源的重要手段，通过数据模型，可以建立起各个业务系统与数据仓库之间的映射关系，实现源数据的有效采集。Ø通过数据模型的建立,可以排除数据描述的不一致性。如:同名异义、同物异名，等等。使系统的各方参与人员基于相同的事实进行沟通。Ø由于数据模型对现有的信息以及信息之间的关系从逻辑层进行了全面的描述，当未来业务发生变化或系统需求发生变化时，可以很容易地实现系统的扩展。数据结构的变化不会偏离原有的设计思想。Ø可以消除数据仓库中的冗余数据：数据模型的建立可以使开发人员清楚地了解数据之间的关系，以及数据的作用。在数据仓库中只需要采集那些用于分析的数据，而不需要那些纯粹用于操作的数据。2、建模中考虑的关键问题（１）逻辑模型和业务的关系这里，业务是指证券公司开展或参与的与市场、客户、投资、收益等相关的各种活动，它是逻辑模型设计的出发点和依据。按照实体-关系方法设计的逻辑数据模型就是业务的数据逻辑视图，图形化的结果就是ER图。业务过程中涉及的对象表现为实体或属性，业务过程中的规则表现为实体间的关系，而后者又通过实体的主外键引用体现出来。所以建立逻辑数据模型的第一步就是要进行业务分析，这一过程参与的人员主要是业务人员（或者是熟悉业务的技术人员）。在划定需求要求的业务范围之后，业务分析首先要弄清楚企业主要开展或参与哪些活动，每项活动涉及哪些对象和资源，为了开展这些活动需要哪些相关活动等等。通过分析这些情况，列出业务活动中涉及的每一个实体及其主要属性，并逐步完善其属性。这时先不必考虑最后的逻辑数据模型能回答哪些业务问题，将来要回答的业务问题可以用来验证设计出的逻辑数据模型。设计出了逻辑数据模型的大致框架后，可以在概念模型主题域划分的基础上对实体再次进行归类，以便将来理解和改善逻辑数据模型。（２）逻辑模型与需求的关系首先，确定需求的范围可以从“水平”上划定数据仓库逻辑模型的设计范围，决定了建模时要考虑已有的哪些业务、不需考虑哪些业务。这样就可以不漏掉数据仓库建模时应该分析的业务，同时可以避免在非关键业务上浪费精力。其次，需求分析可以从“深度”上明确数据仓库逻辑模型设计时要把握的数据最细粒度是多少。由于数据仓库的底层细节数据决定了将来经营分析系统可以分析到的最细程度，因此其逻辑模型设计阶段要根据当前及近期可能的最细分析程度决定其实体或属性的最细粒度。第241页 财达证券有限责任公司数据中心建设项目投标书数据仓库模型设计与需求，业务的关系图（１）逻辑模型与业务系统的关系这里，业务系统是指证券公司原有的OLTP系统，如客服系统、交易系统,清算系统，它们如实记录了日常的业务活动细节。业务系统是为了实现和记录某些业务流程而设计，其物理设计是为了提高业务处理的性能而优化，通常不对业务对象的历史和变更做详细记录。经营分析系统为业务分析而设计，通常去除业务活动中的纯操作型数据，并详细记录业务对象的资料变更情况，其物理设计为提高数据访问查询性能而优化。这两个系统面对的是同一套业务，遵照相同的业务规则集合，只是侧重点不同。业务系统的逻辑模型可以作为设计当前经营分析系统逻辑数据模型的信息来源之一，从而节省建模的时间。因此，数据仓库建模工作组除了必须有高级业务人员参加，也有必要引入业务系统的高级分析员，后者也将对逻辑模型中涉及的具体业务实现和数据结构的细节问题提供帮助。1、逻辑模型设计的难点由于平台分析系统数据仓库需要集成多个业务系统的数据，跨越多个业务系统，因此需要解决多个业务系统在业务定义上的歧义，建立公认的标准定义。特别当业务系统采用分布式架构时，建立统一的逻辑模型更加困难，必须能够解决同一个业务系统在不同地区使用时业务定义上的歧义。同时，现有业务系统只是对现有业务流程的反映，并不能反映未来新的业务模式。数据仓库的逻辑数据模型必须具有扩展性，能够灵活适应未来业务模式的变化。因此，数据仓库逻辑模型不应该完全受原有业务系统对业务理解和实现的限制。1.1数据存储架构方案数据中心需要采集众多源系统数据，并应用到多个目标应用。在考虑系统高效性的同时需要和松耦合原则进行平衡，采用松耦合的设计原则有利于将复杂的数据处理过程切分为多个相对独立的子过程，降低实施的复杂度，便于定位数据问题及提升系统稳定性。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1数据层次从数据的层次性来看，数据架构分为数据缓冲区、数据集成区及数据发布区与报表数据集市区三个大的层次。Ø数据缓冲区n负责存储从源系统采集的、与业务系统一致的业务数据。Ø数据集成区n标准数据层(SDM：StandardDataModle)：存放的是来源于源系统的数据，完全忠实于源系统，经过清洗检核、通用代码转换，标准化映射后的标准化数据。n逻辑数据层(LDM：LogicalDataModle)：在标准数据层的基础上经过模型化加工之后，面向主题进行组织和存储的基础数据；n加工汇总层(ADM：AnalysisDataModle)：存储在逻辑数据层基础上进行最细粒度的加工汇总形成的汇总数据；n事实上，上述模型中标准数据层和基础数据层的数据是存在很大的冗余的，之所以这么设计，主要目的是：l尽量保留下最原始的数据；l可能将来BI分析型的应用会加入新的数据模型，保存了基础数据将很容易的生成目标模型数据；l减少数据藕合；Ø数据发布区与报表数据集市区n存储特定BI应用所要访问或者生成的数据，该部分数据的来源包括：SDM区、LDM、ADM以及BI应用自身生成的数据采用ODS与DW混合的数据中心数据架构，ODS都设计为如下几个作用：Ø在业务系统和数据仓库之间形成一个隔离层第241页 财达证券有限责任公司数据中心建设项目投标书n一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。Ø转移一部分业务系统细节查询的功能n在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。Ø完成数据仓库中不能完成的一些功能n一般来说，带有ODS的数据仓库体系结构中，DW层所存储的数据都是进行汇总过的数据，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。因此，在本方案中，在数据组织上，ODS主要用于组织和存储原始数据，作为操作型原系统的数据库的副本。可以采取T-1，或T+0方式保证原始数据，作为DW与源系统的过渡层，以方便分析应用对原始数据的查询，也可作为将部份操作型系统加工的报表移到ODS上完成。DW主要存储标准化后按主题划分的整合后数据、汇总数据和集市数据，主要面向分析型应用。1.1.1数据流转服务数据在各个数据区之间进行移动、流转需要相应的服务实现，数据中心的流转服务如下所示：Ø数据采集服务n文件接收：直接接收源系统推送的数据文件n数据直抽：对于管理允许直接连接的系统采用直接抽取的方式采集数据，便于管理系统间的任务协同n实时采集：采用CDC专业化软件基于数据库日志采集精确的、准实时的数据，满足精确增量与准实时两种数据需求。Ø数据接入服务n主要功能是将数据缓冲区的数据转移到数据集成区，转移过程中对数据进行清洗、增量计算（可选）、数据标准化加工工作。第241页 财达证券有限责任公司数据中心建设项目投标书Ø数据集成和指标加工服务n负责数据在SDM、LDM、ADM直接流转，进行模型化及汇总公共指标加工工作。Ø校验和合并服务n完成补录数据的校验及与SDM数据区数据合并的任务。Ø数据供给服务n对外服务的数据接口，为目标应用提供文件、数据库表、直接写入数据库等多种数据服务。n除了上述主动的数据供给服务之外，还需要响应数据需求方主动发起的数据请求，综合考虑灵活性与安全性，将服务流程划分为：l代码编辑：提供Web界面给数据需求者填写数据需求SQL语句及定义数据输出目标。l代码校验：校验SQL语句语法合法性l安全测试：评估SQL语句对数据中心影响l任务部署：通过Job生成器自动生成DataStage任务l监控管理：共享数据中心调度监控管理模块实现任务的调度控制与运行监控Ø数据直传服务n原则上数据供给的主要数据源为数据集成区，在存在特殊需求（如准实时数据、原始业务数据、时间窗口压力等）情况下，需要将数据直接、快速递送到目标应用。Ø数据质量控制服务n数据质量控制的详细内容将在后继章节详细讨论1.1.1存储管理建议在存储设计上设置三级存储：Ø一级存储：高速磁盘存储设备、用于当前使用的数据库空间；Ø二级存储：普通磁盘存储设备、用于短期历史数据的存储；Ø三级存储：磁带或磁带阵列，用于历史备份数据的存储；整个DW数据保存期限为10年。第241页 财达证券有限责任公司数据中心建设项目投标书ODS系统的数据存储周期为60天，即保存60天的增量和全量数据；全量数据：建议在二级存储上循环存储6个备份(每10天一个备份)，过期全量数据移往三级存储保存。如遇追数需求，可从二级存储上最近一天的备份上恢复数据，然后进行追数处理，这样平均最大的追数天数为10天。增量数据，在ODS一级存储上保存周期为60天，即保存60天的增量数据，过期数据移往三级存储保存。表的数据分区考虑：对于全量数据，可以考虑按照具体表的Key值进行Hash或者范围分区；对于增量数据，建议采用按日期的范围列表分区，要删除某天的增量数据时候，只需删除该天的分区即可。1.1.1系统性能设计数据中心的性能主要由数据存储、ETL过程和数据访问的性能所决定。而数据存储的性能是决定性的因素，因此在系统设计过程中数据存储的性能要求是第一位的，在考虑数据存储性能的时候，主要重点考虑下图这些因素：数据处理过程的性能和数据访问的效率同样是决定数据中心整体效率的决定因素，而且它们之间是相互作用和影响的，下面是一些具体保证效率的技术措施：ØInfoSphereWarehouse数据库提供了面向大数据量表及索引的分片存储技术，配合存储设备的并行磁盘I/O和机器CPU、内存资源，可提高大数据量的处理性能。ØInfoSphereWarehouse支持并行计算，从而提高数据库的性能；Ø在数据库配置时，使用适合数据中心特点的OLAP选项；Ø设计数据模型时，充分考虑数据库的读写效率，例如减少UPDATE操作、合理使用分区技术，合理使用合适的数据模型(星型模型或关系模型)等；Ø使用高效率的任务调度软件Moia，合理分配系统资源，达到资源的最大化利用；Ø采用横向扩展的机群计算模型，以并行计算方式减少大数据量的处理时间；Ø对存储系统进行良好的物理规划，使存储系统的工作效率最优；Ø第241页 财达证券有限责任公司数据中心建设项目投标书充分利用数据库的分片存储技术，充分利用机器和存储设备的并发I/O通道，对于大数据量的表进行数据和索引的分片存储，提高数据存取的效率。Ø对数据库的逻辑日志、buffer大小、锁、查询优化等参数进行调优，使数据库本身达到比较好的效率状态。1.1标准化流程、模板企业级数据中心建设的一个目标是实现数据中心的IT系统构建，实现企业内部数据有效的流转。另外一个更加重要的目标是形成企业数据线建设的组织级资产—即相关标准化流程与模板。通过建立组织级标准流程与模板，可以归一化企业数据线项目的开发标准与规范，有利于系统间集成与维护。1.1.1ETL流程1.1.1.1ETL流程设计原则1、高效性高性能代码是一种能在ETL循环周期内处理大量数据的代码。具体的性能依赖于数据平台的机器处理能力、存储设备的性能、网络的速度、软件能力、设计和并行处理能力。当应用得恰当时，ETL工具（DataStage）能使所有这些元素发挥其最高潜能。2、可扩展性ETL决策方案必须是可扩展的。随着业务的快速增长、企业的数据量在数据中心在上线后会快速增长(数据在行数量上的增长)，数据的范围也会扩大（数据在列数量上的增长）。另外，业务可能要求更短的处理等待时间或提供更短的时间窗口。这三个事件，即更多行、更多列和更短的时间，造成了系统性能的压力。在这种压力下，要想达到稳定或提高的性能就需要有一个可扩展的决策方案。可扩展的ETL架构和部署的计算能力直接相关，加倍计算能力（CPUs,CPU周期）应该允许加倍数据量，且不用延长信息处理等待时间。相反地，加倍能力能使恒定数据量中的信息传递等待时间缩短一半。3、灵活性数据平台作为基础组件，对外要面对若干的源系统和目标系统，而源和目标的需求可能经常发生变化，因此ETL架构必须提供充分的灵活性以保证能快速应对需求的变化而无须调整架构，而只需要做局部的修改。灵活性和可扩展性、高效性是相关的。4、可迁移性为了处理好开发，部署和迁移的问题，应用开发必须充分考虑可迁移性，应用不能依赖于某个具体的环境。具体到ETL过程，为了达到可移植的效果，应该充分遵循以下标准：ØDataStage作业中使用到的所有文件路径必须全部使用作业参数传入，这样可以通过作业配置参数来决定具体的路径；ØDataStage中使用到的日期、机构等参数也全部使用作业参数传入；ØDataStage中使用到的数据库连接字(SID,user,password)使用作业参数传入；第241页 财达证券有限责任公司数据中心建设项目投标书Ø数据中心应用目录下的相关子目录(程序包目录、project目录、源数据文件目录、目标数据文件目录以及其它一些目录)可以通过文件符号连接的方式达到逻辑上的一致性；1、可恢复性即使最好的开发实践和努力的代码也有可能在生产环境运行时失败，这种失败的原因可能是硬件平台的故障、系统软件或者应用的故障或者缺陷、错误的数据。好的ETL架构必须支持在出现失败的情况下恢复到断点重新开始执行。2、一致性即要求在ETL的作业设计过程中遵循一致的技术标准、开发规范、流程标准，这样可以使得大量的ETL作业开发、运行和维护是有序的，可管理的。3、ETL流程设计的过程是一个折中的过程在系统设计中，存在一对对的矛盾体，而我们经常需要在这些矛盾体中进行折中，可以这么说，ETL过程的设计充满了争论和让步，最终达到一种合理折中的和谐状态。在ETL过程设计中主要的矛盾体为：Ø效率和灵活性的矛盾Ø时间和空间的矛盾在ETL过程中，提高效率最有效的原则是：尽量少的数据落地、数据加工尽量在内存中完成。遵循这一原则，最好的设计是，把整个完整的ETL过程，对主要数据区的处理全部耦合在一个ETL作业里面完成。这样的结果是：一旦源或者目标的需求发生变化，整个作业需要进行修改，重构；如果多个数据之间存在相互间的依赖关系，则这些作业之间会形成一张复杂的交叉网，甚至有出现“闭环”的危险，这样的作业缺乏横向的清晰流程，随着作业数量的增加，将来可能根本无法进行维护。因此，这种作业的设计，效率是高了，但是灵活性非常差，可维护性也非常差，所以我们需要对ETL过程进行适当的分解以达到兼顾效率和灵活性的目的。在ETL过程设计和模型设计中，我们经常需要保留一定的数据冗余，这样做的目的，是牺牲空间换取处理时间的缩短，即提高处理效率。4、多数据源支持Stage描述Otherdatabaseinterfaces其他数据库接口，包括Sybase、Unidata等XMLPACK2.0基于XML架构定义（XSD）读取和写XML数据；在DataStage作业中，基于XMLStylesheet（XSL-T）允许XML从一中架构直接转化的另一种架构第241页 财达证券有限责任公司数据中心建设项目投标书WebSphereMQ从MQ队列读或写，包括Destructive读WebServicesClientPACK在作业设计中，允许设计者使用基于WebService的资源作为一个源、目标或转换JavaPACK允许使用预先编译的Java类来访问源或目标；建立和编译Java类到转换中EnterpriseApplicationsJDEdwards、PeopleSoft、SALBW、SAP/R3、SiebelAscentialConnect其他数据源，包括IDMS、NonStopSQL等。E-business源/目标，包括EDI-EDIFACT、HL7、HIPAA等1.1.1.1ETL过程设计概述按上图所示，我们建议将所有ETL过程进行标准化，大致划分为四大逻辑模块：Ø标准化过程Ø模型化过程Ø汇总过程Ø业务逻辑加工过程标准化过程Ø数据抽取Ø清洗检核Ø通用代码转换第241页 财达证券有限责任公司数据中心建设项目投标书Ø字段标准化(rename,retype)Ø数据加载模型化过程Ø数据抽取(从SDM区)Ø数据加工(映射、转换、联接)Ø增量合并全量Ø数据加载Ø拉链历史数据保留汇总加工过程a)统计计算b)统计结果指标化c)数据加载业务逻辑加工过程Ø数据筛选Ø数据加工Ø数据加载或落地实际工作中，为了提高ETL的效率，标准化过程和模型化过程可能存在于同一物理Job内，但缺点是增加了耦合度。1.1.1.1数据标准化过程Extract：从源系统数据文件抽取数据；Clean/Check：数据清洗和检核，这个过程中对于有问题的数据会产生警告文件或拒绝文件；排序去重：按主键排序，去掉重复记录；Rename/Retype：对源数据字段按照ODS标准进行字段名和字段类型标准化处理；FieldSplitting：对于复合字段的拆分处理；CodeConv：通用代码转换，转换过程中对于未匹配上的记录将生成警告文件或拒绝文件；对于未匹配上的情况，可以采用“缺省值”处理或者拒绝处理；Merge：将标准化后的当天增量数据入库到SDM的相关表中；注：以上各步骤是一个通用的步骤，对于某些数据可能某些步骤是不需要的。1.1.1.2数据模型化过程第241页 财达证券有限责任公司数据中心建设项目投标书Extract：从标准数据区SDM抽取增量数据；客户号平台化：对于存在客户关联的数据，进行平台的客户号统一对照；机构号平台化：对于存在机构关联的数据，进行平台的机构号统一对照；Join：与相关的LDM全量表关联，形成模型化输出数据流；Merge：将模型化后的数据流合并到LDM的对应表中；注：以上各步骤是一个通用的步骤，对于某些数据可能某些步骤是不需要的。1.1.1.1汇总计算过程Extract：按照计算条件从LDM抽取明细数据；汇总计算：对明细数据按照加工规则进行计算；Merge：将计算得到的基本指标数据合并到ADM中相关的指标数据表中；注：汇总计算过程不一定通过ETL工具来实现，在很多情况下可以根据具体情况选择合适的实现方式，可用的实现方式为C/C++程序，SQL存储过程、ETL作业等。1.1.1.2数据提交方式在Extract：根据目标应用的数据需求，从SDM、LDM或ADM中筛选数据；业务逻辑加工：这个过程依赖于目标应用的数据需求，其中可能包含转换、合并、连接、拆分、排序、去重等处理；目标代码转换：根据目标应用的需求，将通用代码转换成目标应用的代码；数据提交：视目标系统的需求而定，有如下几种方式：Ø目标数据直接加载到目标应用集市的数据库表中；Ø通过在目标应用集市中建立指向数据中心数据库表(可能是逻辑表，即视图)的数据库连接的方式提供数据，但不允许目标应用修改ODS数据；Ø生成目标需要的文件，并主动将文件发送给目标系统，由目标系统自己完成数据加载；第241页 财达证券有限责任公司数据中心建设项目投标书Ø生成目标需要的文件，并通知目标文件已经就绪，由目标系统自己下载数据并完成数据加载；1.1.1数据质量控制流程数据信息是企业重要的战略资源，合理有效的使用正确的数据能指导企业领导作出正确的决策，提高企业的竞争力。不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。数据质量是一个综合的概念，它不仅仅是指数据自身具有的质量属性，也包括了数据准备、使用、管理过程中所具有的质量属性。数据质量问题的管控工作将贯穿数据信息管理系统建设的整个过程。由于历史原因，数据质量的提高将是一个长期的、艰巨的过程，也是一个持续改进的过程。1.1.1.1数据质量的概念数据的真实性、完备性、自治性是数据本身应具有的属性，称为数据的绝对质量，是保证数据质量的基础。Ø数据的真实性。n数据必须真实准确的反映实际发生的业务。Ø数据的完备性。n数据的完备性是说数据是充分的，任何有关操作的数据都没有被遗漏。Ø数据的自治性。n数据并不是孤立存在的，数据之间往往存在着各种各样的约束，这种约束描述了数据的关联关系。数据必须能够满足这种数据之间的关联关系，而不能够相互矛盾。在利用和存贮数据的过程中所产生的数据质量，包括使用质量、存贮质量和传输质量，称之为过程质量。Ø数据的使用质量n 数据的使用质量是指数据被正确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。Ø数据的存贮质量n数据的存贮质量是指数据被安全的存贮在适当的介质上。所谓安全是指采用了适当的方案和技术来抵制外来的因素，使数据免受破坏，当需要数据的时候能及时方便的取出。Ø数据的传输质量n数据的传输质量是指数据在传输过程中的效率和正确性。在现代信息社会中，数据在异地之间的传输越来越多，保证传输过程中的高效率和正确性非常重要。 1.1.1.2提高质量的途径从数据项目的建设过程来看，它本身修复数据以提高数据质量的能力并不强，但是它能发现生产系统存在的一些数据质量问题从而提醒用户哪些数据有质量问题，将数据问题反馈到业务支撑系统中，由后者做数据修正。另一方面，任何技术保障过程都需要合理的流程管理和控制，以及管理层面的支持和推广才能有效的开展起来，因此数据质量的控制要从企业信息、技术、流程和管理等几个方面进行：第241页 财达证券有限责任公司数据中心建设项目投标书Ø在企业信息层面上：对企业涉及到或规划中的应用系统及相关的信息技术标准进行标准化，包括技术数据（类型、格式、长度等）、业务数据（业务定义、规则、分类等）、术语、通用代码、信息接口等等，保证所有系统和应用用相同的语言交流；Ø在技术层面上：信息生产者、管理者、使用者（消费者）需要在各自管理的范围内对存在的噪音数据、遗漏数据和不一致性数据进行监控、管理以及反馈，需要进行数据清洗、稽核，尽量保障各个部分数据的交换和变形对数据造成的偏差在可控制、可度量的范围内，并且是可接受的范围内（完全一致是最好的，但是实际情况可能难以达到）；Ø在流程层面上：从源数据准备、抽取、消费各个环节，建立相应的管理规则，标准的、流程化的过程管理（可配置实现）来规范开发、操作、管理环节，避免过程性的问题；Ø在管理层面上：按照“谁提供数据，谁负责”的原则从生产系统开始保证源数据的完整性、准确性、一致性、时效性，并将数据质量的观念在整个机构内推广开来。数据整合不能凭空修改和增加数据，作为数据质量管理中的一个环节，在建设数据中心的时候可以在技术层面和流程层面提供相应的机制，以保证企业在使用数据中心系统之后数据质量可以得到保障和提高。本项目数据质量的控制包括以下的方面：Ø系统设计、实施的规范化管理和流程控制（具体内容在其他章节体现）Ø数据物理质量控制(数据字段内容的合法性检查，例如数据长度、取值范围等)；Ø数据业务质量控制(数据业务关联性检查，例如总分平衡检查等、表间检查、表内检查)；1.1.1.1数据物理检核1、物理检核的范围物理检核是对数据的格式、内容合法性、取值范围的检查，以保证数据在物理上是合法的，数据物理检核在标准化ETL过程中实现，如同下图所示：检核时，将会把存在问题的数据输出到文件中以备统计和检查，数据的非法按照严重程度可分为两种级别：Ø严重错误：这种数据通常在PrimaryKey或者关键字段存在非法内容，根本无法使用，这种情况下，数据的信息将记录在拒绝文件(RejectFile)中；Ø一般错误：在非关键字段上可能存在不合法的情况，但不会对数据的使用造成影响，ETL可以为其填写一个合法的值替代。这种情况下，数据的信息将被记录在警告文件(WarningFile)中；物理检核的内容包括：Ø不允许为空的字段是否保存了空值；第241页 财达证券有限责任公司数据中心建设项目投标书Ø字段的长度是否与要求不符；Ø数据的取值范围是否非法，例如非法的金额，无效的代码（无效代码的检查也可以在通用代码转换过程中实现）等；Ø字段内容中是否出现不允许的字符；ETL过程是针对数据流的，一个数据流中存在大量的数据记录，这些数据记录可能大部分是合法的，但有少部分数据记录存在不合法的字段，这些不合法的数据可能会被拒绝，这样到达后续数据区的数据就是不完整的，基于这些数据进行的分析结果可能是不准确的。因此需要对作业检核的结果进行控制。1、数据检核结果的控制ETL过程是针对数据流的处理，即对1个或多个输入数据流进行加工处理，将结果输出到1个或多个输出数据流中，如果处理过程中发生数据错误，还会生成拒绝数据流。如上图所示，这是一个典型的DataStage的简单作业，从业务的角度来看，我们关心的是：输入文件InFile是否全部成功处理后入库，也即关心RejFile1，RejFile2，RejFile3，RejFile4四个拒绝文件中是否有数据，或者数据记录的数目数是否超过一定的比例，为此我们可能要做这样的检查：RI：输入文件Input的记录数；RR1：拒绝文件RejFile1的记录数；RR2：拒绝文件RejFile2的记录数；RR3：拒绝文件RejFile3的记录数；RR4：拒绝文件RejFile4的记录数；下面可能是我们需要做的数据流检核规则：序号检查规则含义说明1RR1==0输入文件不允许出现任何的文件格式错误2RR2/RI<0.1数据清洗检核的通过率必须大于90%3RR3==0转换过程不允许出现任何拒绝信息4RR4==0入库过程不允许出现任何拒绝信息因此作业级的数据流检核是具有实际意义，对于一个作业，我们可以针对输入、输出和拒绝数据流定义一些检核规则，这些规则可以单独的，也可以是彼此之间有关联的。如果一个ETL作业定义了检核规则，当作业执行成功后，将依次检查这些检核规则是否满足，只要有一个不满足，则将认为作业业务性失败。数据流稽核规则表达式是一个逻辑运算表达式，其返回值是一个布尔值；其基本语法如下：<算术表达式1><关系运算符><算术表达式2>算术表达式第241页 财达证券有限责任公司数据中心建设项目投标书可以是一个数学常量，也可以是一个简单的算术表达式，表达式中可以包含下列运算符：算术运算符说明+双目运算符，两个数相加-双目运算符，两个数相减*双目运算符，两个数相乘/双目运算符，两个数相除(左括号)右括号%双目运算符，两个数相除求余Max(a,b)求两个数a,b的最大值Min(a,b)求两个数a,b的最小值上述运算符的结合性和优先级同普通程序语言，如C/Java；算术表达式中可以包含常量或者变量，变量的构成规则如下：StageName::LinkName一个DSEE作业中通常包含若干个Stage，每个Stage有若干个Link，Stage名加上Link名可以唯一确定作业中的一条Link。而对于非DS作业，如2.2所述，逻辑上可以看作一个Stage，这个Stage对应多个输入、输出或者拒绝数据流(Link)；::是保留符，用于连接Stage名和Link名；逻辑运算符如下表所示：逻辑运算符说明>大于<小于>=大于等于<=小于等于==恒等于<>或!=不等于对上面的作业例，下面是一些合法的稽核规则表达式：序号检查规则含义说明1InputFile::SourceRej==0输入文件不允许出现任何的文件格式错误2Check::CheckRej/InputFile::SourceOut<0.1数据清洗检核的通过率必须大于90%3Xform::XformRej==0转换过程不允许出现任何拒绝信息4DB2Load::LoadRej==0入库过程不允许出现任何拒绝信息数据检核结果的控制将由ADTMOIA来实现。1、数据质量提高的机制第241页 财达证券有限责任公司数据中心建设项目投标书如上图所示，可以多对数据检核过程中生成的这些警告文件和拒绝文件进行加工，生成数据错误报表，这个报表将发送给业务部门从源头上修改数据，这样这些数据被修改和完善后下次会进入ODS系统。这个过程长期重复执行之后，数据质量会越来越好，而数据修改和完善的工作量也会越来越少，但刚开始的时候这是一项艰巨的任务。这提供了一种数据质量持续提高的技术手段，但要实施这个过程需要得到全行的共识和支持。1.1.1.1数据业务检核数据业务检核是根据业务规则，对数据进行字段间、记录间，数据表间的关联检查。由于数据平台需要整合全部应用系统的数据，如果要对所有的数据进行业务规则的检核，那工作量和数据平台的压力将是非常巨大的，同时LDM中的数据是经过充分整合的，一张表中可能存放了来自多个业务系统的数据，从而造成了进行业务检核的复杂度大大提高。因此在做数据业务性检核时需要遵循以下的一些原则：Ø数据的业务正确性尽量由源系统来保证；Ø数据平台仅仅做最关键的业务性检核；Ø业务检核的作业尽量使用存储过程或C程序来完成，以提高效率；Ø业务检核只针对LDM和ADM中的关键表进行；Ø为减轻数据平台的压力，业务检核作业最好定期执行，并且在时间窗口外执行；1、提高源系统数据质量在造成数据质量问题的原因当中，由于输入造成的数据质量问题几乎占到了整个问题的60%左右，在企业输入数据时提高数据质量,在源头解决数据质量，是解决数据质量问题的最佳途径。由于在源头解决数据质量问题，它需要更改应用程序、逻辑和数据，需要一定的时间，由源系统来完成。2、质量保证体系的建立在数据中心中逐步建立完善的质量保证体系，进行数据质量检核。第241页 财达证券有限责任公司数据中心建设项目投标书具体数据质量检核如下：（1）在源与数据中心、数据中心与应用之间抽取及装载过程中设置A类检查点。A类检查主要是数据卸载、装载检查，除了字段级的检查外，还有文件级检查，如记录条数、文件大小等。（2）在数据中心各模块之间建立B类检查点。B类检查是数据中心各分区之间的检查，可以包括业务一致性检查和表数据一致性的检查。在数据中心分区内部设置C类检查点。C类检查主要为业务一致性检查。在应用系统中设置D类检查点。D类为应用集市自身的检查。1、检查的方法与实施系统在数据加工过程根据不同的阶段进行了不同的检查：Ø文件有效性检核n对从源系统接受的源数据文件进行有效性检核，包括数据文件大小，记录数，文件格式，甚至数据业务日期，和源系统进行核对。有效性检核发现问题时，由源系统重新提交数据。Ø数据实时检核n在处理中，对处理的文件记录的主键重复性检查、主键缺失检查、业务检核等，对出现质量不符的数据记录时，将根据数据错误程度分别记录到warning和reject文档中，同时写日志表明数据的警告或者拒绝原因。Ø数据近线检核n在单个作业完成后，针对warning和reject记录，根据定义的检核规则，判定数据的质量，来决定作业的处理状态是成功或失败。对错误的处理可由源系统重新提交数据，也可以直接修改作业的输入数据后重做。第241页 财达证券有限责任公司数据中心建设项目投标书Ø数据离线检核n对ODS数据系统内存储的全量数据进行的检查，包括一致性检查、完整性检查等。数据离线检核发现的问题，需要系统维护人员查找出错原因后，视情况修改数据，或恢复数据重做。总之，由于数据错误的隐密性和数据量大，做周密而细致的检查需要消耗系统的资源，因此可以分重点实现，除建立基本的数据质量保证检查外，还需要逐步对应用中发现的数据质量进行控制，从而逐步完善。1.1.1.1数据补录如上图所示，本方案将提供企业级的数据补录解决方案，以满足用户录入系统不尚不存在或不完善的业务数据。补录的业务数据将如同普通的源数据一样在数据平台中进行处理和存储，从而实现这些补录数据可以在企业内实现信息共享。数据补录过程将按照严格的审批流程进行，补录和审批过程均有详细的日志记载，从而保证补录环节的安全性。1.1.2规范及模板建立数据中心的目标不仅仅是建立一个系统，同时要建立一整套的标准，规范和模板，这些标准，规范和模板将规范企业未来数据的使用，使BI应用的建设是标准化的、规范化的，从而避免未来由于BI应用大量开发之后系统混乱的情况出现。ADT根据多年实施数据项目的经验，积累了一整套完善的标准，规范和模板，我们将以它们作为模板，结合企业的实际情况进行客户化，从而制定出一套适合本项目的标准，规范和模板。这些标准、规范和模板主要包括：ØADT_SDM_ETL设计指南(DataStageSE)ØADT_SDM_作业开发指南(DataStageSE)ØADT_SDM_作业开发规范(DataStageSE)ØADT_SDM_作业开发规范(PLSQL)ØADT_SDM_作业开发规范(SHELL)ØADT_SDM_作业开发规范(C/C++)ØADT_SDM_LDM数据库设计标准第241页 财达证券有限责任公司数据中心建设项目投标书ØADT_SDM_数据模型设计规范ØADT_SDM_数据模型评审表ØADT_SDM_数据测试规范ØADT_SDM_逻辑模型与物理模型的关系模板ØADT_SDM_表级映射关系模板ØADT_SDM_数据需求分析模板ØADT_SDM_字段级映射关系模板ØADT_SDM_指标分析模板1.1信息安全解决方案1.1.1数据安全和访问机制阐述从行政层面来看，系统的安全策略由安全处理流程和安全制度组成，目的是为了实现所需要的系统安全层次。建立安全策略有两个主要的步骤：一是定义安全需求，二是定义处理流程和规章制度以满足这些需求。形成安全策略时，需要平衡用户的访问需求和系统的安全需求。从技术层面来看，安全有两层含义，一是指对于数据的保护，以防止数据的意外损坏或丢失；二是指对于用户权限的控制，只让适当的人得到他应该看到的数据，以防止数据信息泄漏，造成不必要的损失。对于系统中的各个子系统，应用网络设备的配置实行隔离与限制访问。操作系统中应关掉不必要端口，减少漏洞危害。加强网络安全扫描，减少弱口令，网络及操作系统，中间件，数据库系统漏洞可能造成的危害。1.1.2数据保护技术本方案的工具软件和应用软件提供一系列的数据保护机制保证数据在意外事件中数据能够得到保护和提供恢复能力。数据保护技术包括：系统级数据保护，如磁盘阵列的Raid冗余保护、HADR技术等；数据库级数据保护包括：数据库自调整自适应技术、数据库加锁技术、Journal技术、其它数据保护技术、备份与恢复等。1.1.3数据访问控制数据仓库中对数据的存取控制包括以下几方面：数据库的存取安全、物理系统存取安全、系统审计、安全制度等。1.1.4数据备份和恢复策略数据备份与恢复策略包括备份数据范围、备份方式、备份周期、备份时间、备份恢复工作流程、介质管理等方面的内容。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1ETL流程调度和监控对ETL流程的管理和监控包括日常监控、异常管理。日常监控包括每日例行检查ETL服务进程、启动关闭ETL服务；例行检查数据抽取（E）、加载（L）、转换（T）是否正常执行，结果是否正确。异常管理包括在日常运作过程中产生的异常情况的分析，错误的类型，错误的处理方法及处理流程等。1.1.2数据存储和传输的安全数据的传输安全可以通过加密传输方式进行,分为两种,一种是在传输之前加密好,传输到终点再解密.另一种是流式加解密.基于对数据处理及开发工作量的考虑,使用基于安全通道的数据流加解密方式是可取的.这样在端点的数据是名闻存放的.对于机密的数据,在端点存放也可以采用加密方式.第241页 财达证券有限责任公司数据中心建设项目投标书1应用系统解决方案1.1总体结构1.1.1总体结构图（图3.1.1.1）u说明n整个业务应用系统技术实现使用MOIA.rsp和cognos10完成；n统一登陆：本方案中将现行的三大业务应用模块：综合报表、分析型客户关系管理、领导驾驶舱集成到MOIA.rsp中并放在同一个逻辑系统中统一登陆并管理；新增其他业务应用系统（基于J2EE框架），在MOIA.rsp中使用界面配置的方式将其接入，接入方式可以做为现行系统中的一个功能模块接入也可以单独做为一个逻辑系统接入，即MOIA.rsp使用逻辑系统、功能来满足应用的横纵向扩展。操作界面如下：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.1.1.2）登陆后选择逻辑系统（图3.1.1.2）n权限控制：本方案在MOIA.rsp对业务应用的三大模块进行统一授权认证。n操作权限：MOIA.rsp中可以将功能模块甚至逻辑系统绑定在一个或者多个角色上来实现对一组用户的操作权限控制，用户和角色的关系如下图：（图3.1.1.3）n第241页 财达证券有限责任公司数据中心建设项目投标书数据权限：数据权限通过具体的报表设计实现。授权操作界面如下：（图3.1.1.4）n数据补录：MOIA.rsp中提供了数据补录功能。n主要完成对数据中心检核出来的数据进行一些修正、补完等。n在业务应用系统中可以借助数据补录完成综合报表的批量查询功能。n可以通过excel进行批量录入，也可以通过手工从界面上直接录入、修改、删除数据。操作界面（批量）如下：（图3.1.1.5）导入后可以对当前导入的数据进行查询，审核（也可以提交给相关人员或者部门进行审批），确定无误后提交导入数据，操作界面如下：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.1.1.6）n综合报表：各个业务部门日常使用的上报、监管、经营分析报表，按报表类型可以分为统计查询报表、固定报表、灵活查询、电子报表。n分析型客户关系管理：主要对客户基础信息进行分析后形成的一系列报表、图表，辅助经纪人等稳定和提高客户资源，并恰当的进行产品推送。n领导驾驶舱：通过一系列仪表盘、饼图、曲线图、列表等形象、直观的展示整个企业的关键性指标数据，让公司领导能鸟瞰宏观，了解细节。1.1.1报表实施流程n总体流程第241页 财达证券有限责任公司数据中心建设项目投标书（图3.1.2.1）ncognos报表流程图第241页 财达证券有限责任公司数据中心建设项目投标书（图3.1.2.2）注意：由于固定报表、灵活查询、电子报表开发均通过moia.rsp定制和发布，这几类报表的开发流程在moia.rsp管理手册中有专门讲解，因此这里不用做详细阐述。相关说明：n报表模型：使用framework、transformer完成对cognos报表的建模；ü报表设计（即指报表控制）：²考虑到用户可操作性和用户体验报表设计尽量使用ReportStudio和AnalysisStudio完成；²为了减少后续报表维护的工作量，类别变化频繁的报表尽量不使用cognos的cube做为数据源；²模型设计a)关系型数据模型1.用星型模型构筑业务视图；2.避免将来自两个数据集的数据放到一个查询中；3.所有查询都应该至少用一个公共维度属性来加以约束；4.避免两个主题间多种连接途径。b)多维数据模型第241页 财达证券有限责任公司数据中心建设项目投标书1.根据业务类别及事实数据，建立指标维度和度量；2.每个模型中包含的维度不益过多，7个左右比较适宜；3.维度之间的关联通过维度的最底层的层名关联；4.维度应于度量进行绑定。²灵活查询、固定报表：通过MOIA.rsp定制。²电子报表可以通过MOIA.rsp直接发布。²查询统计报表：按cognos的报表开发流程n报表发布：通过Moia.rsp对报表统一发布授权，Moia.rsp深度集成了cognos10和cognso8；所有的参数在Moia.rsp中定制提供，Moia.rsp中提供了下拉列表、复选框、数据树、日历控件等多种参数提供类型，同时提供了js脚本编辑接口，以满足个性化需求。操作界面如下：（图3.1.2.3）n报表展现：用户通过IE登陆Moia.rsp后根据权限访问、下载报表。1.1综合报表提供对证券业务数据的综合查询统计功能。主要是对集中交易系统现有的客户进行动态分类管理，将公司和营业部管理统计类的查询、统计、报表等纳入数据中心，并针对业务部门现有零散的业务需求开发新的统计查询模块，包括固定查询、灵活查询等内容。可按交易时间、产品、交易类型、分支机构、客户维度等方式对整个系统的交易情况和资金情况进行统计、查询与分析，并提供灵活的查询结果显示、输出的个性化服务。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1综合报表分类描述n按业务应用划分ü上报报表ü监管报表ü内部统计及经营分析报表n按部门进行划分根据财达证券公司的组织机构主要分为以下部门：ü经纪业务部报表ü计划财务部报表ü合规风控部报表ü证券投资部报表ü固定收益部报表ü营销服务部报表ü存管中心报表ü人力资源部报表ü投资银行部报表ü信息技术中心报表ü研究发展中心报表n报表划分归属关系每一种业务应用类型下面包含部门类型报表，如：上报报表中包括了经纪业务部报表、计划财务部报表、营销服务部报表等等。操作界面截图如下：第241页 财达证券有限责任公司数据中心建设项目投标书(图3.2.2.1)1.1.1综合报表功能描述q数据查询功能查询模块为总部及各部管理人员提供实时数据查询和辅助决策等功能。按照业务级别区分可查询的数据范围、按照需求查询历史数据，可进行查询条件的灵活组合。q数据统计功能统计模块为总部和营业部提供实时数据统计和历史数据统计，总部可通过输入营业部代码对分支机构分别进行统计，营业部可以进行本机构和下属分支的统计。统计功能包括交易状况统计、客户信息统计等。按照业务级别区分可查询的数据范围。按照需求查询历史数据，可进行查询条件的灵活组合。统计业务报表数据，包括统计模型的定制、统计结果的汇总、计算。q报表管理主体功能报表管理模块包括报表发布管理、权限分配、导出报表、灵活查询定制、固定报表定制、电子报表定制、运行监控等功能。另外，需提供自定义报表功能，营业部可根据实际情况，选择打印不同的字段以及按特定字段进行小计等功能。按照业务级别区分可查询的数据范围，对图、文等各式报表的管理，包括定制报表模板、报表生成、报表打印、报表分发。具体功能描述图如下：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.2.2.1）q固定报表定制固定报表是按频度划分的，如日报、月报、季报、年报等，每种频度报表对应的查询条件有区别，如日报要求选择报表查询日期到天，即年月日格式，月报要求选择报表查询日期到月，即年月格式等等，频度模板就是给不同频度的报表提供不同的查询条件。模板对应于数据管理中的参数模板。操作界面如图：（图3.2.2.2）展示效果第241页 财达证券有限责任公司数据中心建设项目投标书（图3.2.2.3）q灵活查询灵活查询是对已定义的数据集的列的灵活显示，该显示是由业务人员决定的。灵活查询的数据集有两种，一种是数据库表，另一种是SQL结果集。q电子报表即业务人员手工生成的一些Excel表，在有共享给其他相关人员的需求时，可以通过moia.rsp发布在服务器上，供其他相关人员查看、下载。q报表批量生成1.1.1报表服务平台对于报表部分，将使用ADT的MOIA.RSP进行对报表的高效管理。MOIA.RSP提供了对报表的管理、认证、统一门户及与Cognos的深度集成功能。通过MOIA.RSP建立J2EE体系架构的管理类报表中心平台，制定报表的设计模版和规范，以利于各系统生成报表的快速开发以及报表定制和设计的集中管理。采取Cognos的灵活、统一的报表工具，通过定制的方式定义报表格式和数据源，完成指标数据和报表数据的灵活展示，通过完善的用户权限管理，报表集成在统一的展示平台上进行展示发布。在Cognos中通过预定义报表建立固定报表的展现，对于业务部门日常所需的固定报表进行集中的展示。Cognos能够适应中国式报表的复杂格式和变化，支持Excel、PDF等多种报表格式的导入导出和业务用户通过拖拽方式产生报表。1.1.2报表数据模型依托于数据中心集市层的数据模型，综合报表中仅对一些按时间维度、机构维度做简单汇总即可。q综合报表数据加工、生成和推送的集成第241页 财达证券有限责任公司数据中心建设项目投标书（图3.2.4.1）通过全局的统一调度，可以将数据采集，标准化加工、数据保存、业务逻辑加工、综合查询数据生成，数据推送等过程组成一个连续的流程，通过调度，实现数据顺畅到达最终用户。ADTMOIA对DataStage和综合数据查询工具提供深度的支持：Ø通过集群计算可以大大提高并行处理能力，缩短时间窗口；Ø基于报表工具二次开发的报表生成模块，通过大规模并行运算方式，可以大大提高报表生成的效率，通过我们在某省农信的项目实际情况，相比报表工具自身提供的报表生成方式，可以提高3-10倍的效率。1.1.1综合报表实现1.1.1.1展示实现本案通过moia.rsp集成cognos10.1共同实现报表的设计、定制、发布。以“证券投资业务持仓情况”报表演示综合报表的实现示例如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.2.5.1）说明：ü报表目录树：左侧为报表菜单列表，该菜单通过moia.rsp中的“报表管理”功能模块配置后自动生成，这些报表目录及报表列表受用户权限控制，该模块允许有权限的用户创建、删除、修改报表目录及报表列名，并可根据用户习惯调整报表所在的目录，增强了用户体验。ü业务应用功能模块列表：系统管理员通过moia.rsp可以自定义系统功能模块；功能模块在界面上方，从左开始布局，单击这些功能模块可以切换到相应模块中去，这些功能模块受用户操作权限限制。ü右上方显示当前逻辑系统，点小三角后，在弹出的逻辑系统中，用户可以选择并进入这些逻辑系统，这些逻辑系统同样受用户权限限制，即没有该逻辑系统的使用权限时，看不见这些逻辑系统。ü报表展示区：页面中间区域为报表的显示区域，可以显示cognos的报表、固定报表等。ü报表导出方式选择及导出：点右上方的可以进行报表导出格式的选择，选择后可以导出对应格式的报表；目前可支持以下格式的导出：excle(2002、2007、pdf、html)ü隐藏功能：通过对报表、功能菜单、逻辑系统等的权限控制，还可以完成对资源共享，如：资产负债表即可以给计财部门也可以共享给合规风控部门查看。1.1.1.1综合报表列表整理大概如下列一些已建或待报表约67张，若有新增报表则按照第241页 财达证券有限责任公司数据中心建设项目投标书业务需求从指标库中查找到相应指标后可以快速完成新报表的定制和发布。1资产负债表2利润表及利润分配表3现金流量表4净资本计算表5经纪业务统计表-人民币资金和开户6经纪业务统计表-外币资金和开户7客户交易结算资金安全性统计表8经纪业务交易统计表9自营业务统计表10投资银行业务统计表11资产管理业务统计表12基本情况统计表13高级管理人员统计表14员工基本情况统计表15营业费用统计表16所有者权益变动表17货币资金18交易性金融资产19存出保证金20应收货币保证金21固定资产原值22累计折旧23固定资产净值24固定资产清理25无形资产26交易席位费情况27长期股权投资28资产可收回金额的计量29交易量统计30公司资本情况31公司资产情况32各营业部利润实现情况表33分仓交易量市场份额34销售量统计35客户收益率统计36基金客户派点统计37证券交易量总额38证券投资业务39固定收益证券业务经营情况40经营分析-佣金排名41融资情况42证券交易量总额43佣金率分析44固定收益证券业务经营情况45证券公司净资本计算表46客户资产份额分析47开户数占比分析48客户满意度分析49关键岗位满足率分析50自营业务投资收益率51各营业部交易量分析52排名与分仓排名匹配度分析53证券交易量总额54证券投资业务业务经营情况55固定收益证券业务经营情况56融资情况分析57证券交易量总额第241页 财达证券有限责任公司数据中心建设项目投标书58证券投资业务59固定收益证券业务经营情况60固定收益证券业务经营情况61证券公司净资本计算表62证券公司风险控制指标监管报表63证券投资业务持仓情况专项监管报表64所有者权益情况65证券经纪主要业务经营分析66委托成交比例分析表67股民操作渠道情况分析表1.1.1.1数据源分析Ø源数据主要来源于集中数据中心集市区各主题数据。Ø综合查询业务系统的提供者为ODS、EDW及数据集市。Ø在项目初期，部分历史数据会由ODS数据区提供，包括部分直接来源于业务系统的统计数据。Ø在项目实施完毕，ODS将仅提供实时业务数据，将有EDW及数据集市提供历史明细数据、统计数据及分析数据。1.1.1.2其他功能需求分析Ø综合查询、统计、报表的可定制的需求n简单—业务人员可以轻松的制作出美观、实用的报表n灵活—根据业务的情况，快速调整报表业务逻辑及样式n熟悉—类似EXCEL的界面及拖拽操作方式n方便—导出EXCEL格式、PDF格式…Ø数据安全要求n严格的权限控制—按用户所在部门，按机构等(数据权限)确定可以进行综合查询操作的角色，机构，部门等(操作权限)Ø性能要求n报表缓存—定制报表缓存规则(按时间生成、按访问量生成…)、按规则生成报表缓存。访问报表缓存可提高效率，减轻报表服务器压力n预生成高频度访问的查询数据。1.1.1.3报表实施规范严格公司制定的《cognos报表实施规范.doc》执行。第241页 财达证券有限责任公司数据中心建设项目投标书1.1领导驾驶舱系统通过多种方式为领导提供决策支持：一体化的信息检索，利用数据仓库技术实现数据挖掘和在线决策支持，应用数据挖掘发现数据的内在相关性，应用在线分析技术实现数据信息的动态分析和动态图表生成。1.1.1功能结构图（图3.3.1.1）q数据整合ETL功能，核心模块，确定数据仓库的信息需求，对数据仓库进行数据建模；从各业务系统的源数据库到数据仓库进行数据提取、清理、转换、汇总和加载。Ø数据全集批量采集Ø增量数据定时采集Ø数据补录Ø面向主题的数据、存储运算Ø为其他应用提供统一的数据输出接口。q决策支持系统以图形、表格的形式直观展示展示业务发展和经营管理中所关注的各项重要指标及实现情况。指标数据有多种表现形式：Ø仪表盘，显示重要指标评估的状态及相关信息。Ø历史趋势图Ø下辖排名图Ø数据表格各项指标的评估结果第241页 财达证券有限责任公司数据中心建设项目投标书Ø主营功能模块Ø经营分析指标分析Ø关键业务指标分析Ø客户/市场分析类指标分析Ø内部运营类指标分析Ø用户可自由的数据分析挖掘Ø指标检测/预警Ø指令下发接口q系统管理包括用户的管理及权限的管理。Ø报表数据导出：通过moia.rsp集成的cognos10的报表导出功能进行导出。Ø分析模型管理：通过IBMcognos产品中的framework或transformer进行管理。Ø系统权限管理：通过moia.rsp统一权限管理。Ø指标数据维护：通过moia.rsp中的指标库管理进行维护。1.1.1数据模型（图3.3.2.1）关键指标数据说明如下：○经营分析类指标1总利润率2利润增长率3总资产收益率4净资产收益率5净资本增长率6速动比率7资产负债率第241页 财达证券有限责任公司数据中心建设项目投标书8净资本率9销售业绩增长率10营业费用率11安全性(资产，负债，现金)12业务收入占比n…○关键业务指标1计划主营收入2利润达成率3净资本增长率4净资本在各业务的分布情况5营业费用率6市场占有率7有效客户数量增长率8客户保持率9四大类业务收入增长率n…○客户/市场类指标1市场占有率2营销渠道的有效性3客户满意度4营销品种的数量5品牌排名6客户数量增长率7客户平均贡献度8成功品牌推广活动数量9创新产品收入占总公司收入比例n…○内部运营类指标1研究市场排名2交易信息系统故障率3风险评估报告的有效性4新产品推出数量5风险流程的有效性6研究员市场排名7执行不力事件数量8各种新业务资格去的时间业内排名9客户对交易信息系统的满意度10新颁布管理制度数量11研发人才引进数量12研发人才流失率13新增客户数量增长率第241页 财达证券有限责任公司数据中心建设项目投标书14客户流失率n…1.1.1系统分析实现1.1.1.1数据源分析Ø数据为统计汇总类数据及分析类数据。Ø由EDW及数据集市提供决策数据。nEDW的汇总数据区。nEDW的分析模型数据区。n数据集市的CUBE。1.1.1.2其他功能需求分析Ø直观易用的决策支持系统n直观—通过图表形式直观反映数据价值。n高度—从经营管理人员角度进行数据组织。n简单—业务人员可以配置驾驶舱数据的展现形式。n灵活—根据业务的情况，快速调整数据逻辑。n熟悉—类似EXCEL的界面及拖拽操作方式。n方便—导出EXCEL格式、PDF格式。Ø性能要求n维度设计合理、完整，兼顾处理高效性。n数据汇总必须与明细数据同步、一致，明细数据变化，必须确保汇总数据重新汇总。n汇总数据能为总部级的数据统计报表及监管部门报表提供基本数据支持。1.1.1.3业务应用分析实现n实现方式Ø通过Moia.rsp中的“驾驶舱管理”功能模块可以实现：1.仪表盘管理i.目录：对图表的分类，仅有一级分类。ii.图表：创建柱状图（2D、3D）、折线图、饼图、油量图等等。图表最终可使用在页面中进行数据的展示。iii.图表属性，如下图：（图3.3.3.3.1）第241页 财达证券有限责任公司数据中心建设项目投标书i.图表设置：支持单度量和多度量的展示，如下图（图3.3.3.3.2）ii.定制效果预览（图3.3.3.3.3）2.标签页定制i.标签页报表：一个标签页中可以使用的报表范围。ii.定制：可根据情况自定义标签页的布局。插入表格，调整表格大小，表格内显示内容等等。第241页 财达证券有限责任公司数据中心建设项目投标书（图3.3.3.3.4）1.页面管理定制i.由多个标签页组成；ii.可分配页面的角色权限。2.管理驾驶舱i.管理驾驶仓是给管理者使用的数据及功能界面，可以让管理者一目了然的看到整个企业的业务情况。ii.通过仪表盘、标签页、页面功能共同完成了管理驾驶仓这一功能。iii.展现效果如下：（图3.3.3.3.5）Ø通过Moia.rsp中的“驾驶舱管理”发布cognos中的各种图表及列表，得以实现领导驾驶舱Ø总体原则：驾驶舱报表应力求精练，反应概而全的企业数据。n分析结果报表列表1经营分析总体情况2经营分析-营业部交易量排名第241页 财达证券有限责任公司数据中心建设项目投标书3经营分析-佣金排名4经营分析-交易量占比排名5经营分析-资产排名6经营分析-转入、转出资金排名7经营分析-帐户数量排名8经营分析-新增帐户数量排名9经营分析-部门收入10资产总体情况表11负债总体情况表12经济业务利润分析13经纪业务收入分析14经营分析-交易量分析15客户数量分析16新开户客户分析17经营成果分析18各类收入统计分析19营业收入排名情况表20员工满意度分析21员工生产率分析22风险控制指标23各机构利润排名统计表24销售量分析25客户渠道交易分析说明：1-9合并在一张报表中展示。n关键分析说明Ø经营分析总体情况全景展现分析的关键指标有：资产总体情况、负债总体情况、客户总数、交易量、佣金收入、营业部交易量排名及排名、佣金排名、业务交易量及占比排名、资产排名、转入、转出资金排名、帐户数量排名、新增帐户数量排名、帐户销户数量排名、经营成果、所有者权益等；如下示例中的使领导很直观就能看出公司负债总体情况的发展趋势，负债中各项的占比情况，总体营业情况中各项收支项目的占比情况等等，从而得出结论，制订相应的适应公司发展的方针政策。（图3.3.3.3.6）Ø员工满意度分析Ø员工生产率分析完成按部门、按时间周期等维度对员工流失率（（上期末编制内员工人数+本期编制内员工流入人数-本期编制内员工流出人数）/期末员工总数）、高端经纪人流失率（高端经纪人流失率=（上期末高端经纪人人数+本期高端经纪人新增人数-本期高端经纪人减少人数）/期末经纪人总数）、管理岗位流失率（管理岗位流失率=（上期末管理岗位人数+本期管理岗位流入人数-本期管理岗位流出人数）/期末经纪人总数）、新财富研究员流失率（新财富研究员流失率=（上期末新财富研究员人数+本期新财富研究员流入人数-本期新财富研究员流出人数）/期末新财富研究员总人数）、保荐代表人流失率（保荐代表人流失率=（上期末保荐代表人人数+本期保荐代表人流入及新增人数-本期保荐代表人流出人数）/期末保荐代表人总人数）、本期平均培训学时（第241页 财达证券有限责任公司数据中心建设项目投标书本期平均培训学时=本期培训总学时/期末编制内员工人数）、人均培训支出（人均培训支出=截至期末公司培训费支出总额/期末编制内员工人数）、人均人力成本（人均人力成本=截至期末编制内员工人力成本支出总额/期末编制内员工总人数）、人力成本总额（截至期末编制内员工人力成本支出总额）、编制内员工人力成本总额（截至期末编制内员工人力成本支出总额）、编制内员工人均人力成本（编制内员工人均人力成本支出=截至期末编制内员工人力成本支出总额/期末编制内员工总人数）、经纪人人力成本总额（经纪业务营销费用）。Ø风险控制指标u经济业务风险控制指标l限售股解禁限制l经纪人取得证券从业人员资格的比例u计财风险控制指标l净资本l净资产l资本抗风险能力（净资本/各项风险资本准备之和）l净资本/净资产l净资本/负债l净资产/负债u信息技术中心风险控制指标l清算系统、IST、PROP、网上银行、银企直联和估值核算系统故障次数l总部集中交易系统故障次数l网上交易系统单地区中断次数l营业部交易系统、行情系统事故次数l总部网络事故次数lOA系统故障次数l关键设备超龄率u投资银行风险控制指标l自营固定收益类证券/净资本l自营权益类证券及证券衍生品/净资本l持有一种权益类证券的成本/净资本l单一客户融资业务规模/净资本l单一客户融券业务规模/净资本l接受单只担保股票的市值/该股票总市值l自营权益类证券及证券衍生品/净资本l内核否决次数及否决率u人力资源合规监视l违规经纪人人数及占比l潜在违规经纪人人数及占比l营业部员工取得证券从业人员资格的比例u研究咨询业务风险控制l研究员取得证券投资咨询从业资格的比率第241页 财达证券有限责任公司数据中心建设项目投标书l研究员取得证券投资咨询执业资格的比率u其他风险指标控制Ø利润分析包含对经济业务考核利润分析、投资银行考核利润分析、固定收益考核利润分析等。Ø销售量分析1.1分析型客户关系系统（ACRM）证券公司所面对的客户可以分为不同的群体，比如高活跃高价值群体、潜在客户群体、沉寂客户群体等等，各种客户群体对公司产生的贡献、所消耗的公司资源、所适合的金融产品、对应的服务和营销策略都不一样。ACRM系统需建立面向客户分析、业务分析和各类决策模型的数据集市，并利用多维分析工具和手段支持管理分析和管理决策，全面支持客户总体分析、客户群体分析、产品分析、业务分析等，便于营销管理人员制定相应营销策略。本系统从客户基本信息及相关业务系统着手进行逐步分析。1.1.1360度客户基本信息视图•360度客户•单一视图关联信息需求信息股票信息资产状况帐户信息产品信息机构信息客户归属事件信息客户信息（图3.4.1）第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1客户全方位分析视图以数据挖掘理论知识的指导下，通过事物间的聚类分析、相似分析、关联分析等分析方法，结合客户的基本信息及证券公司的业务情况，抽象出了下列的客户全方位分析视图，如下图所示（图3.4.2）1.1.1.1客户类别分析客户类别分析也叫客户细分，划分的规则各证券公司也不尽一致，在此我们根据客户交易行为将客户细分以下几类，如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.4.2.1.1）n按客户交易频率分类ü长线客户ü中长线客户ü短线客户划分界限由券商自行决定，如半年至1年的客户为中长线客户，也可以将1年至2年的客户分为中长线客户。n按按客户买股类型分类üA股üB股ü基金客户n按资产分类ü资产相对较小权证客户ü高价值权证客户n按客户偏好分类其中又可按以下分类：ü委托习性偏好ü渠道偏好ü价格偏好ü行业偏好ü产品偏好n按客户贡献度分类ü高价值客户ü低价值客户本方案中结合上述分类方法对客户进行综合评比分类，分为：1、基金客户2、低价值客户3、资产相对较小全证客户第241页 财达证券有限责任公司数据中心建设项目投标书4、高价值权证客户5、长线客户6、新股申购客户7、短线高佣优质客户8、中长线客户9、短线客户等等1.1.1.1客户资产分析客户资产=市值+保证金余额(资金余额)；完成按日期、地区、营业部、币种、客户分类、客户类型、客户状态、客户资产规模等维度对保证金、市值、资产总值、帐户数量等指标分析。总体分析如下图所示：（下面案例是通过地区维度进行客户分析，采用了多维数据分析技术中的钻取，此外还可以通过旋转、切片对客户资产进行分析），通过对客户资产分析可以挖掘一些潜在高价值客户和现有高价值客户等信息。（图3.4.2.2.1）ü银行/证券资金转移轨迹分析ü资金/股票变动轨迹分析ü资产收益率分析本案中列举资产收益率分析，可以根据以下图示得出，该客户至2011-01-10以来一直下跌，同时根据左侧的列表可以判断该客户的类型，若为高价值客户，证券公司应该采取相应政策挽留住该客户。第241页 财达证券有限责任公司数据中心建设项目投标书（图3.4.2.2.2）1.1.1.1客户盈亏分析（图3.4.2.3.1）图例表示客户盈亏分析的一些基本分析指标。对本期实现盈亏分析、本期浮动盈亏、累计实现盈亏、累计总盈亏等指标进行分析，可以得出下列结论：长期盈利可以判断为忠诚度较高的客户，若市值较大，同时也是贡献度高的客户，那么该客户也一定是高价值客户；反之长期亏损的客户可以视为易流失的客户。1.1.1.2客户特征行为分析基本分析指标如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书（图3.4.2.4.1）1.1.1.1客户基本信息分析见3.3.1。1.1.1.2客户投资兴趣分析1.1.1.3客户帐户分析1.1.1.4产品分析通过对日期、年龄分布、组织机构、地区等维度对产品进行分析，由此可得出该产品的年龄、组织机构或地区维度分布情况，从可以协助经纪人向合适的客户推荐产片1.1.1.5市场分析主要对货币供应量、通胀率、决定发货币、股票价格、成交量和时间动态等指标进行详细分析。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1客户交易渠道分析可以通过按营业部、地区、客户年龄、客户职业等维度对客户交易渠道如电话委托、手机证券委托、自助设备委托、网络委托等进行分析，由此分析可以得出客户的部分投资偏好。1.1.2客户其他指标分析n客户满意度n客户忠诚度通过计算各经纪人客户保留率来衡量：（期末客户数-期间新增客户数）/起初客户数。n客户活跃度活跃度按周转率计算：日均成交量/日均资产成交量，日均资产成交量=∑每日成交量/期间天数日均资产，期间天数日均资产=∑每日资产/期间天数。n客户响应度指客户对券商经纪人投资建议的响应速度。客户响应度=（买入响应度+卖出响应度）/2，买入响应度=∑{（推荐品种买入成交金额/前日资产总量）*[（计算频度对应天数-T+1）/计算频度对应天数）]}/推荐次数，卖出响应度=∑{（推荐品种卖出成交金额/前日资产总量）*[（计算频度对应天数-T+1）/计算频度对应天数）]}/推荐次数。T=有效交易日-推荐日（1<=T<=计算频度对应天数）n客户依赖度指客户对券商经纪人投资建议的信任程度。n客户套牢度反应了客户买卖证券的亏损情况，该指标很大程度上反应了客户的投资心理；套牢度=（1-市值/成本）*100%n客户风险度指持仓风险，证券风险系数由券商设定；第241页 财达证券有限责任公司数据中心建设项目投标书∑（证券买入金额*证券风险系数）/期间总买入金额。1.1.1客户数量分析完成按日期、地区、营业部、客户分类、客户类型、客户状态、客户资产规模等维度对客户总数、客户开户数、客户销户数、资金帐户开户数、资金帐户销户数、证券帐户开户数、证券帐户销户数、基金帐户开户数、基金帐户销户数等指标分析。1.1.2新开户客户分析完成按日期、地区、营业部、客户分类、客户类型、客户状态、客户资产规模等维度对保证金、市值、资产总值、帐户数量等指标分析。1.1.3客户持仓分析完成按日期、地区、营业部、币种、客户分类、客户类型、客户状态、证券类别、证券代码等维度对证券数量、持仓市值等指标进行持仓分析。1.1.4客户交易分析完成按日期、地区、营业部、币种、客户分类、客户类型、客户状态、客户资产规模、证券类别、证券代码、交易渠道、委托类别等维度对交易量、佣金、佣金率等进行分析。1.1.5客户交易与持仓分析完成按日期、地区、营业部、币种、客户分类、客户类型、客户状态、客户资产规模、证券类别、证券代码、交易渠道、委托类别等维度对证券数量、持仓市值、交易量、佣金等进行分析。（图3.4.9.1）1.1.6客户资金变动分析第241页 财达证券有限责任公司数据中心建设项目投标书完成按日期、地区、营业部、币种、客户分类、客户类型、客户状态、客户资产规模、银行类别、三方存管类别、资金业务科目、渠道等维度对资金发生额、净额、存取净额等指标进行变动分析（图3.4.10.1）1.1.1营销分析作为ACRM系统的核心系统，使用对象为营销管理总部和研究分析类人员。为各级管理人员、决策和分析人员等提供决策支持信息，可以提高统计分析人员的工作效率、深度和广度。在实现客户细分的基础上，对为客户提供差异化营销服务策略和差异化产品组合提供指导性建议。n营销管理作为ACRM系统的基础系统，能帮助公司营销和服务人员记录客户扩展资料信息。除了对交易系统已有客户的管理，同时包括潜在客户管理、流失客户管理，并可实现客户群的定义和分析、客户积分管理等功能。咨询服务使用对象为营销服务人员、理财顾问、投资分析、资讯提供或产品设计人员，主要目标是为了提供一个高度整合的公司级资讯服务平台。1.1.2产品综合管理产品管理实现对金融产品库的管理，包括产品类型管理、产品信息管理、投资组合管理、资讯产品管理、产品分析等功能，并可通过采集实时行情数据查询投资组合的实时走势。q系统管理第241页 财达证券有限责任公司数据中心建设项目投标书管理用户的角色和权限，并对营销渠道进行管理，例如Call-Center、Mail、短信平台等。q客户分析功能举例序号客户分析功能说明1客户分析包括客户细分、客户适当性管理、贡献度、交易行为、投资能力等。2客户风险、价值分析客户贡献度、流失风险等。3交易渠道分析主要评估交易渠道的有效性。4投资产品分析投资产品的收益、风险。5客户积分管理6营销人员分析根据KPI指标进行分析。7营销活动分析营销活动的收益、有效性。1.1.1数据模型结合数据仓库技术，建立面向客户分析、业务分析和各类决策模型的数据集市，并利用多维分析工具和手段支持管理分析和管理决策，全面支持客户总体分析、客户群体分析、产品分析、业务分析等，便于营销管理人员制定相应营销策略，同时为总部分析人员提供必要的技术支持。1.1.2系统分析实现1.1.2.1ACRM的特色功能分析Ø围绕客户、交易信息、产品、渠道等主题组织数据进行统计分析n通过海量数据统计产品、客户、渠道等关联度。n检证产品、客户、渠道内在联系规律。n发现产品、客户、渠道内在数据关联模型。Ø精确定位客户群体n针对某些产品的相似性客户定位，进行扩展寻找。n评估相似性产品，精确定位客户群体，进行客户深挖。Ø评价产品有效性Ø评价渠道有效性1.1.2.2ACRM的实现策略Ø围绕客户、产品、交易、渠道等主题组建完备的数据模型第241页 财达证券有限责任公司数据中心建设项目投标书Ø围绕客户、产品、交易、渠道等提供充分的统计报表Ø提供户、产品、交易、渠道内在数据关联规律的检证模型Ø建立n客户、产品、交易、渠道内在数据关联规律的推导模型1.1.1.1ACRM分析报表列表1客户收益率分析2客户分析-客户细分3客户分析-客户行为特征分析4客户分析-客户投资能力分析5客户分析-客户贡献度分析6客户分析-客户满意度分析7客户分析-客户响应度分析8客户分析-客户套牢度分析9客户分析-客户依赖度分析10客户分析-客户风险度分析11客户分析-客户活跃度分析12客户分析-客户忠诚度分析13市场分析-个股分析14客户市值分析15双向成交分析16客户经营情况分析-客户盈亏分析17客户经营情况分析-经营分布情况18客户盈利率与市场指数比较分析19客户风险及价值分析20投资产品分析21客户积分22客户资产分析-资金转移轨迹分析23客户资产分析-资金/股票变动轨迹分析24营销人员分析25营销活动分析1.2数据接口及数据分发平台数据中心最重要的一环是对其他的业务系统，数据集市提供数据访问及数据交互，所以要求数据中心必须有一个功能完备、高效、灵活、可管理的数据访问及交互平台。实施目标：n作为一个完整的数据分发平台程序，能够提供一套完整的从数据访问需求任务的定制、审核、任务运行策略、运行状态及日志；n数据提供方式支持传统直接数据库客户端模式，数据直接推送目标入库，数据文件模式，WebService模式，API数据访问模式；n数据访问输出的采集SQL必须能进行统一维护管理界面，可对提取数据的语句进行配置、审核、生效、配置运行等进行统一管理；n数据文件模式能在常用模式间通过设置属性方式灵活设置参数、变更，无需修改程序；n能从数据中心数据全集中自动生成数据需求方要求的数据子集的数据格式说明文档；n有统一、完整的数据接口标准及规范；第241页 财达证券有限责任公司数据中心建设项目投标书n新的数据访问需求能由运维人员通过平台界面配置完成，实行平台程序与内容无关性；q实时明细数据提供功能面向主题，定义数据抽取范围，构建实时数据的采集范围接口，通过CDC技术从业务系统即时抽取数据。数据存储粒度同业务系统，数据存储在ODS数据区中。在预抽取的数据范围内用户可以自定义数据抽取接口。数据形式多表现为Record形式，以数据流或文件的形式提供。q历史明细数据提供功能历史数据在ODS区内，则优先从ODS区抽取，否则从EDW的基础模型数据区抽取。面向主题，定义数据范围。数据存储粒度同业务系统，数据存储在ODS数据区中或者EDW中。用户在预抽取的数据范围内可以自定义数据抽取接口。数据形式多表现为Record形式，以数据流或文件的形式提供。q统计分析数据提供功能统计统计数据信息及分析数据，统计数据及部分分析数据从EDW中提供，分析数据多从数据集市的CUBE中提供。数据形式可表现为Record形式，对于该类数据，用户可以通过SQL文的定制来获取相应数据。对于复杂分析数据，多表现为预定义形式的报表及Cube形式，需要特定分析工具CognosBI进行展现。q系统管理提供一套完整的从数据访问需求任务的定制、审核、任务运行策略、运行状态及日志；并可设置一定的访问规则。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1数据模型（图3.5.1）数据中心分层次提供数据接口及分发平台，管理及调度不同的数据接口。按照数据的时间属性及数据内容，把数据接口分为4类：1、实时明细数据提供接口，为业务系统之间交换即时记录级数据。2、历史明细数据提供接口，为业务系统或分析系统提供历史记录级数据。3、综合统计数据接口，提供汇总记录级数据。4、分析型数据接口，提供记录级或CUBE级数据。1.1.2系统分析实现1.1.2.1接口数据源分析Ø按照主题整理所有数据来源(现有的及将来可能需要的数据源)Ø根据接口对数据源进行分析n确认直接的业务系统数据源。第241页 财达证券有限责任公司数据中心建设项目投标书n确认外部系统数据源。n确认需要补录的数据源。Ø数据汇总统计n分析各个数据存储的数据粒度。n根据统计需求对一些数据进行汇总计算，填充汇总数据区。n根据所建立系统分析模型，生成CUBE。Ø评估数据源有效性n数据的标准型、规范性n统一的元数据解释n数据安全的有效性。1.1.1.1接口管理平台功能需求分析Ø灵活的接口定制、管理能力n简单—业务人员可以轻松的定制数据输出接口。n灵活—根据业务的情况，快速调整接口逻辑及规则n熟悉—类似EXCEL的界面及拖拽操作方式n方便—导出EXCEL格式、PDF格式…Ø数据接口的安全性n经过安全认证的WebService或这API接口。n和角色、部门相关的数据接口安全机制。n检核输出数据的格式正确性(自动检核)。Ø良好的数据输出性能提供一定的数据缓存规则(按时间生成、按访问量生成…)，提高重复访问数据效率，减轻数据服务器压力。第241页 财达证券有限责任公司数据中心建设项目投标书1软硬件配置清单1.1选型依据1.1.1ETL选型依据考虑到财达证券的实际情况，需要接入的系统较多，数据格式不同意，存在各种异构数据，网络隔离方式较为复杂。为保证实时数据和准实时数据都能够顺利及时的进入到数据仓库中，并保证数据抽取的效率，使数据抽取时不影响业务系统的运行，对ETL的要求比较高。综合考虑以上情况，确定ETL工具采用IBMInfoSphereDataStage和IBMCDC相结合的方式。IBMInfoSphereDataStage的优点有如下几个方面：1.IBM®InfoSphereDataStage®IBMInfoSphereDataStage是IBM®InfoSphereDataIntegrationSuite的一个核心组件，它支持紧密地整合企业信息，而不管有多少数据源、目标以及瞬态框架。2.强大的解决方案WebSphereDataStage提供成功进行企业数据整合所必需的三个关键功能：最全面的连通性，以便容易且快速地访问任何数据源或目标系统；高级开发和维护工具，可加快实现速度、简化管理；一个可伸缩的平台，可以轻松处理当今的大量公司数据。IBMInfoSphereDataStage支持从简单到高度复杂的数据结构中大量数据的收集、整合和转换。IBMInfoSphereDataStage管理在获得后几秒钟内到达的数据，以及在系统中流动的每天、每星期或每月定期处理的大量数据。3.支持多种数据源InfoSphereDataStage在一项任务中实际可支持无限数量的异构数据源和目标，其中包括：n文本文件；n复杂XML数据结构；n企业应用程序系统，包括SAP、Siebel、Oracle和PeopleSoft；n多种数据库，比如Oracle、IBMDB2UniversalDatabase（具有或没有数据分区特性）、IBMInformix、Sybase、Teradata和MicrosoftSQLServer；第241页 财达证券有限责任公司数据中心建设项目投标书nWebService服务；nSAS；n消息传递和企业应用程序整合产品，包括WebSphereMQ和SeeBeyond等1.IBMInfoSphereDataStagePacks支持：n最广泛使用的企业应用程序与全面的数据整合解决方案（即IBMInfoSphereInformationServer）之间的无缝连接；n通过企业数据和元数据的快速自动整合，缩短部署时间并降低企业数据整合成本；n使用IBMInfoSphereDataStage软件中的图形用户界面(GUI)驱动的拖放设计，与来自SAP、Siebel、PeopleSoft、JDEdwards和OracleApplication的尽可能多的企业数据源整合。IBMCDC技术特点：n支持在多处理平台间双向处理数据；n能够跨企业数据库系统进行实时数据整合；n基于日志变化的数据获取技术；n高性能端到端数据整合。1.1.1BI选型依据根据财达证券的业务需求，为满足多项BI系统应用，保证系统运行期间的性能效率以及系统的易用性，我公司决定采用IBMCognos10.0版本。IBMCognos10的底层架构是一个久经考验的技术平台，可以进行无缝升级和经济有效地扩展，实现最广泛的部署。Cognos10可帮助企业制定更有效的决策，实现更好的业绩，增强对趋势、机遇、弱势和威胁的了解。Cognos10提供了大量的分析功能，使您能够以任何组合形式研究任意时间段内的数据。相对比与Congos以往的版本，10.0在以下几个方面有较大提升：查询与报表全面的查询与报表制作功能，有助于您制定更有效的决策。分析适用于每一个人的分析功能。第241页 财达证券有限责任公司数据中心建设项目投标书记分卡一览信息，将战略与运营成功地链接起来。仪表板展示具有高影响力的信息，以监控、衡量和管理公司的业绩。实时监控提供精确到秒的相关信息。统计分析将统计分析功能整合到了业务报表中。规划和预算高性能的企业规划软件，可用于预算、预测和分析。扩展BI使用更加方便的方法为更广泛的用户提供商业智能。协作BI一款现代化的工具，此工具使不同的用户能够展开协作，组成更强大的团队，从而制定更有效的决策。1.1.1ODS/EDW选型依据根据财大证券方面的业务需求以及系统实际性能的需求，确定采用InfoSphereWarehouseEnterpriseEditions作为ODS/EDW。借助数据挖掘、建模、记分、文本分析以及Alphablox等高级分析功能，InfoSphereWarehouseEnterpriseEditions为构建企业实时分析报表打下了完美的基础，向所有仓库用户提供了完善的分析功能。而且，性能和存储优化功能使大型数据仓库的构建和管理成本更低，并且显著降低了总体拥有成本。n借助整合、建模和部署工具以及非结构化数据分析功能，简化了企业数据仓库的开发、部署和维护。n借助InfoSphereWarehouseCubingServicesFeature提供了对您的数据的深入洞察。InfoSphereWarehouseCubingServicesFeature是一个多维分析服务器，支持OLAP应用访问高达1TB的基础OLAP数据，而无需多个副本。n分割、预测和分析（即使是在数据库中的）大量数据，实时交付分析结果。第241页 财达证券有限责任公司数据中心建设项目投标书n使用嵌入式InfoSphereWarehouseUnstructuredDataAnalysisFeature分析非结构化内容，从而扩大分析范围，并管理工作负载性能标准。n使用DB29软件特性，比如压缩、工作负载管理和性能监控、pureXML和同构联邦，显著提高数据仓库性能。n支持的操作系统：Linux、UNIX、Windows1.1.1数据模型选型依据先进数通以TD的FS-LDM为基础，参照了IBM的FSDM数据模型。在实施国内证券BI项目及野村总研（NRI）合作的过程中，实现了国际金融分析模型在国内证券BI的本地化过程，形成了利达智通的ADT-FSDM数据模型。ADT-FSDM具有如下特点：n适用证券行业的10大业务主题；n适用证券行业应用的16个数据集市；n内置约500个业务指标，含基础指标及派生指标；n内置约120张业务报表，涵盖综合查询、ACRM及DSS系统。1.1.2硬件系统选型依据1.1.2.1设计目标本期工程中，系统平台估算的基础信息如下：1)需要接入的信息点为12个；2)数据库格式不同，需要进行数据转换；3)现有数据量较大，但同时需要存储较长时间的历史数据；4)大量数据需要实时采集传递；5)前台接入的终端按照300个计算，并发访问按照80计算；服务器的处理能力满足以下的几个方面：n数据采集和处理；n数据库处理能力；n统计分析、数据挖掘等业务；第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1现状描述数据中心项目属于新建系统，但与原有系统存在网络通信。1.1.1.2系统平台选型原则系统软硬件平台是数据中心软件运行的载体，其稳定性是应用软件安全稳定高效运行的基础和前提。基于系统运行的可靠性和稳定性要求，系统的底层应建立在业界成熟的操作系统上，其中包括数据库服务器和应用服务器等关键服务器系统，应具备较高的系统性能。客户端应运行在PC机、Windows/NT平台，硬件成本低廉，投资少，开发商能够采用快速高效的开发工具，能够更快地适应用户的新需求，并可适当集成多种开发平台，以充分发挥其特长。在进行系统平台选型搭建时我方依据如下原则：1.1.1.3开放性和标准性采用开放系统可以保证用户和应用的可移植性，系统之间的相互可操作性，从而保证系统的正常运行，并且可以保护用户系统的前期投资。选用的主机服务器基于Unix、Linux或windows等主流操作系统。我们采用标准化的操作系统，标准的数据库查询语言（SQL）以及标准的网络通信协议（TCP/IP），使系统具有良好的开放性，可以很方便地移植到不同的硬件平台和不同的数据库系统上。既有利于系统的未来扩展，也有助于对现有资源的最大利用。1.1.1.4系统安全、可靠性主机服务器的可靠性是整个运维系统正常可靠运行的基础，选用的主机服务器必须保证具有高可靠性。软件方面充分考虑异常情况的处理，具有强的容错能力、错误恢复能力、错误记录及预警能力并给用户以提示；并具有进程监控管理功能，保证各进程可靠运行的数据库系统及中间件等。网络结构清晰、易于管理、减少投资。当增加/扩充应用子系统时，不影响网络的整体结构以及整体性能，便于网络系统的维护，对关键的网络核心交换机连接采用热备方式，以保证数据的传输的可靠性。我们方案中从网络层、操作系统层、数据库层、应用层等各个方面考虑，设置了用户权限认证和保护，实现了系统的安全性。1.1.1.5可扩展性系统具有良好的可扩展性，是保护用户投资的重要途径。服务器系统都具有良好的可扩展能力，通过增加CPU第241页 财达证券有限责任公司数据中心建设项目投标书、内存、磁盘的数量、档次等方法进行扩展升级。也可以通过增加集群的节点个数提高整个系统的处理性能。以B/A/S结构为中心的三层分布式处理系统，能够很容易地增加新的硬件产品。同时，软件的模块化结构，具有良好的可维护性，可以根据需要修改模块，增加新功能。存储系统和网络系统的扩展相对来说更容易一些，在设计时保证充足的扩展余量。1.1.1.1优良的性能价格比根据我公司由众多成功案例积累的成功经验，对客户实际业务需求进行科学细致的分析，进而拟订最佳的方案，保护客户投资。我公司作为多家国际知名品牌的一级代理商，拥有强大的技术力量和产品优势，在方案设计中采用先进的技术与高性价比的产品，在保证系统的可靠性和高性能的同时，尽可能降低系统建设的投入费用。1.2软件配置根据财达证券方面要求以及系统需要，数据中心软件平台主要采购如下软件：序号产品编号产品描述数量1D06WQLLIBMCognosBusinessIntelligenceAdministratorAuthorizedUserLicense+SWSubscription&Support12Months12D06ZELLIBMCognosBusinessIntelligenceConsumerAuthorizedUserLicense+SWSubscription&Support12Months503D06X0LLIBMCognosBusinessIntelligenceProfessionalAuthorizedUserLicense+SWSubscription&Support12Months54D070WLLIBMCognosBusinessIntelligenceSoftwareDevelopmentKitAuthorizedUserLicense+SWSubscription&Support12Months15D57UBLLIBMInfoSphereWarehouseEnterpriseEditionProcessorValueUnit(PVU)License+SWSubscription&Support12Months4006D0406LLIBMInfoSphereChangeDataCaptureProcessorValueUnit(PVU)License+SWSubscription&Support12Months4007D03SGLLIBMInfoSphereDataStageandQualityStageDesignerConcurrentUserLicense+SWSubscription&Support12Months28D03TTLLIBMInfoSphereDataStageProcessorValueUnit(PVU)License+SWSubscription&Support12Months4009B503DMLIBMCognosBusinessIntelligenceV10.1.0MultiplatformMultilingualMediaPack110BB11LMLIBMInfoSphereWarehouseEnterpriseEditionforMultiplatformsVersion9.7.0MultilingualCDROM64BitEncryptionMediaPack1第241页 财达证券有限责任公司数据中心建设项目投标书11BY053MLINFOSPHERECHANGEDATACAPTUREV6.5MULTIPLATFORMMULTILINGUAL112BY052MLINFOSPHEREDATASTAGEANDQUALITYSTAGEDESIGNER8.5MULTIPLATML113BY04BMLINFOSPHEREINFORMATIONSERVER8.5MULTIPLATFORMMULTILINGUAL11.1硬件配置建议方案部件号说明数量BladeCenterBCH刀片中心88524TCIBMeServerBladeCenter(tm)HChassiswith2x2980WPSU168Y6601IBMBladeCenterH2980WACPowerModulesw/FanPack132R1860BNTLayer2/3CopperGbEthernetSwitchModuleforIBMBladeCenter188Y6406QLogic20-port4/8GbSANSwitchModuleforIBMBladeCenter244X1964IBM8GbSFP+SWOpticTransceiver446M0901IBMUltraSlimEnhancedSATADVD-ROM125R57852.8m,200-240V,Triple16AIEC320-C20239Y8948Option-PDUC1955A1P需另配电源线240K96134.3m,63A/230V,IEC309P+N+G电源线24812S3XBladeCenterOpenFabricManager-AdvancedUpgrade12019B1XIBMBladeCenterOpenFabricManagerBasic1第241页 财达证券有限责任公司数据中心建设项目投标书描述BladeCenterH机箱，9U,14个槽位，4个2980W电源，1个2-3层以太网交换机，2个20口4/8GB光纤交换机，1个AMM，2个高效冗余风扇，DVD光驱，支持高速交换机，支持BladeCenterOpenFabricManager刀片中心管理部署及故障切换功能；1合计2台主机存储列表HX5(数据库服务器)2台7873B1CHX5,Xeon6CE7-480795W1.86GHz/18MB,2x4GB,O/Bay1.8inSATA288Y6076IntelXeon8CProcessorModelE7-4820105W2.0GHz/18MB446C05644GB(1x4GB,2Rx8,1.35V)PC3L-10600CL9ECCDDR31333MHzVLPRDIMM1244X1945QLogic8GbFibreChannelExpansionCard(CIOv)forIBMBladeCenter146M6975IBMHX52-nodescalabilitykit1描述HX5，4颗,E7-4820105W2.0GHz/18MB105WCPU,64G(16*4G)内存，1个双口光纤子卡。1合计2台HX5(BI服务器)2台7873B1CHX5,Xeon6CE7-480795W1.86GHz/18MB,2x4GB,O/Bay1.8inSATA288Y6076IntelXeon8CProcessorModelE7-4820105W2.0GHz/18MB446C05644GB(1x4GB,2Rx8,1.35V)PC3L-10600CL9ECCDDR31333MHzVLPRDIMM446M6975IBMHX52-nodescalabilitykit1第241页 财达证券有限责任公司数据中心建设项目投标书描述HX5，4颗,E7-4820105W2.0GHz/18MB105WCPU,32G(8*4G)内存，1合计2台HX5(数据采集服务器)2台7873B1CHX5,Xeon6CE7-480795W1.86GHz/18MB,2x4GB,O/Bay1.8inSATA288Y6076IntelXeon8CProcessorModelE7-4820105W2.0GHz/18MB446C05644GB(1x4GB,2Rx8,1.35V)PC3L-10600CL9ECCDDR31333MHzVLPRDIMM846M6975IBMHX52-nodescalabilitykit1描述HX5，4颗,E7-4820105W2.0GHz/18MB105WCPU,48G(12*4G)内存，1合计2台HS22(应用服务器)2台7870B5CHS22,Xeon4CX5647130W2.93GHz/1066MHz/12MB,3x4GB,O/Bay2.5inSAS181Y9326IntelXeon4CProcessorModelX5647130W2.93GHz/1066MHz/12MB146C05612GB(1x2GB,1Rx4,1.35V)PC3L-10600CL9ECCDDR31333MHzVLPRDIMM442D0637IBM300GB2.5inSFFSlim-HS10K6GbpsSASHDD244X1945QLogic8GbFibreChannelExpansionCard(CIOv)forIBMBladeCenter12*E5647,8GB,2*300GB,1*8Gbdual-portHBA描述HS22，2颗,Xeon4CX5647130W2.93GHz/1066MHz/12MB,CPU,8G(4U*2G)内存，600G(2*300G)SAS硬盘；1个双口光纤子卡。1合计2台磁带存储设备列表IBM存储DS5100第241页 财达证券有限责任公司数据中心建设项目投标书部件号说明数量1818-51ADS5100MidrangeDisk(DualControllers)1203116GBCacheMemory120522-Quad8GbpsHostPortCards22412SW4GbpsSFPtransceiverpair456055mFiberOpticCableMultimode(LC-LC)47731DS5000AIX/VIOSHostKit18900DS50008-StoragePartitions19202FieldIntegrate11818-D1AEXP5000ExpansionUnit12412SW4GbpsSFPtransceiverpair15512450GB/15K4GbpsFCDDM1256055mFiberOpticCableMultimode(LC-LC)29019AttachtoDS500019202FieldIntegrate11818-D1AEXP5000ExpansionUnit12412SW4GbpsSFPtransceiverpair15512450GB/15K4GbpsFCDDM1256055mFiberOpticCableMultimode(LC-LC)29019AttachtoDS500019202FieldIntegrate1第241页 财达证券有限责任公司数据中心建设项目投标书合计1台光纤交换机列表IBM光纤交换机B24部件号说明数量2498-B24IBMSystemStorageSAN24B-4Express128088GbpsSWSFPTransceiver8-Pack15605FibreCableLC/LC5mmultimode16合计2台备份软件列表IBM备份软件TSM部件号说明数量D56D9LLIBMTivoliStorageManagerforDatabases10ProcessorValueUnits(PVUs)License+SWSubscription&Support12Months60D56FELLIBMTivoliStorageManagerExtendedEdition10ProcessorValueUnits(PVUs)License+SWSubscription&Support12Months60D56FPLLIBMTivoliStorageManagerStorageAreaNetworks10ProcessorValueUnits60(PVUs)License+SWSubscription&Support12Months合计磁带存储列表IBM备份带库TS3100部件号说明数量第241页 财达证券有限责任公司数据中心建设项目投标书3573-L2UTS3100TapeLibraryExpress1601313mLC/LCFibreChannelCable17002RackMountKit18002UltriumCleaningCartridgeL1UCC18244Ultrium5FibreChannelDrive19600AttachedtoIBMAIXSystem198402.8mPowerCord250VChina(PRC)19848RacktoPDULineCord13589-0141.5TBUltriumTapeCartridgesLabeled114201.5TBLabeled20-pack18000JewelCases19003LabelbackgroundcolorRed19022Color/vibrantbackground19110FirstcharacterofVolserisA19200SecondcharacterofVolseris019300ThirdcharacterofVolseris019400FourthcharacterofVolseris019500FifthcharacterofVolseris01合计1台ØØ第241页 财达证券有限责任公司数据中心建设项目投标书1网络架构方案网络系统是数据中心的数据传输平台，关系到业务系统能否正常运行。它主要包括核心交换机、核心路由器、系统服务器端和前台终端等。1.1设计思想本方案的总体设计思想是以财达证券数据中心系统应用需求为指导，以财达证券网络安全为先决条件，力求为数据中心项目提供一个安全、先进、灵活，高带宽、高可靠性的网络平台。使数据中心的各项应用能够高速、高效的运行，又在最大限度上保证各分系统的网络安全，保证核心业务系统在安全的网络环境下将各项数据传输至数据中心。1.2网络方案设计1.2.1总体描述根据对数据中心网络平台现状和未来建设方向的分析，得出整个网络系统平台如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1核心局域网建设方案根据招标文件的要求和我公司的调研分析，从保证安全、减少开支的角度出发，建议主要利用现有网络。为保证数据能够从安全级别不同的分割网络中成功提取数据并存入数据中心，将在防火墙建立DMZ区域，并将一套ETL服务器放置在DMZ区域中，由其负责向办公网（连接互联网）中的财务、人力、资讯系统DB抽取数据，同时，由在内网中的ETL服务器向缓冲区内的ETL服务器提取数据已完成数据入库。1.1.2网络配置需求本需求在保证系统安全的前提下，尽量利旧用以节约开支。防火墙以及核心交换机均默认采用财达证券原有核心网络系统设备，本次只提出对设备端口等的需求。1.在内网8个系统的数据服务器上增加网卡，建立单独网络用以与内网ETL服务器共处同一网络内，便于ETL服务器抽取数据；2.ETL服务器应配置另一网卡，使之与数据中心服务器相连接；3.在内外网隔离的防火墙上建立DMZ区域，并在该区域内放置另一台ETL服务器；4.DMZ区域要求内、外网均可访问，但是DMZ区域不能访问内网，以确保内网数据的绝对安全；5.相应的核心交换机上应留有高速网口，以供各服务器使用。1.2网络安全财达证券数据中心建设项目的网络安全问题对于系统建设非常重要，如出现任何问题都将造成严重的损失。我们将在物理安全、链路安全、网络安全、系统安全、应用安全及管理安全等不同层次上分析系统可能存在的安全风险，然后从安全策略、技术实现上以及选择具体安全产品上进一步进行系统安全规划。整个过程可如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1安全风险分析根据系统安全评估原则和方法，财达证券数据中心系统面临的安全威胁主要是以下几个方面：1.物理安全n地震、水灾、火灾等环境事故造成整个系统毁灭；n电源故障造成设备断电以至操作系统引导失败或数据库信息丢失；n设备被盗、被毁造成数据丢失或信息泄漏。2.来自与公网互联的安全危胁基于Internet公网的开放性、国际性与自由性，与Internet公网连接的财达证券数据中心系统外网将面临恶意入侵、攻击等严重的安全危胁。3.网络互联的安全威胁如果系统核心网络与分支机构外部网络间没有采取严格的安全防护措施，内部网络容易造到来自外网入侵者的攻击。如果IT运维系统需要与外网系统互联，则需要通过防火墙与外网隔离，可以利用已有的DMZ区防火墙实现。4.系统的安全风险系统本身（操作系统、系统服务等）存在的安全漏洞将存在重大安全隐患。5.应用的安全风险分析应用系统安全涉及很多方面，如访问控制体系不严等造成数据泄密或丢失。6.管理的安全风险分析 责权不明，管理混乱、安全管理制度不健全及缺乏可操作性等都可能引起管理安第241页 财达证券有限责任公司数据中心建设项目投标书全的风险。1.病毒病毒危害性极大并且传播极为迅速。1.1.1安全建设目标基于以上的分析，财达证券数据中心系统应实现以下安全目标：l保护网络系统的可用性；l保护网站服务的连续性；l防范内网资源的非法访问及非授权访问；l防范恶意攻击与破坏；l保护信息通过网上传输过程中的机密性、完整性；l防范病毒的侵害；l实现网络的安全管理。1.1.2安全系统设计原则n需求、风险、代价平衡分析的原则对任一系统，绝对安全难以达到，也不一定是必要的。对一个系统要进行实际的研究(包括任务、性能、结构、可靠性、可维护性等)，并对系统面临的威胁及可能承担的风险进行定性与定量相结合的分析，然后制定规范和措施，确定系统的安全策略。n综合性、整体性原则应运用系统工程的观点、方法，分析网络的安全及具体措施。一个较好的安全措施往往是多种方法适当综合的应用结果。n一致性原则一致性原则主要是指系统安全问题应与整个系统的工作周期(或生命周期)同时存在，制定的安全体系结构必须与系统的安全需求相一致。n易操作性原则安全措施需要人去完成，如果措施过于复杂，对人的要求过高，本身就降低了安全性；其次，措施的采用不能影响系统的正常运行。n适应性及灵活性原则第241页 财达证券有限责任公司数据中心建设项目投标书安全措施必须能随着系统性能及安全需求的变化而变化，要容易适应、容易修改和升级。n多重保护原则任何安全措施都不是绝对安全的，都可能被攻破。但是建立一个多重保护系统，各层保护相互补充，当一层保护被攻破时，其它层保护仍可保护信息的安全。n可评价性原则如何预先评价一个安全设计并验证其网络的安全性，这需要通过国家有关网络信息安全测评认证机构的评估来实现。系统安全是整体的、动态的。针对安全体系的特性，我们可以采用"统一规划、分步实施"的原则，先建立一个基础的安全防护体系，保证基本的、应有的安全性。随着今后应用的种类和复杂程度的增加，再在原来基础防护体系之上，建立增强的安全防护体系。1.1.1网络系统安全设计1.1.1.1使用DMZ技术DMZ是英文“demilitarizedzone”的缩写，中文名称为“隔离区”，也称“非军事化区”。它是为了解决安装防火墙后外部网络不能访问内部网络服务器的问题，而设立的一个非安全系统与安全系统之间的缓冲区。这个缓冲区位于企业内部网络和外部网络之间的小网络区域内，在这个小网络区域内可以放置一些必须公开的服务器设施，如企业Web服务器、FTP服务器等。通过这样一个DMZ区域，更加有效地保护了内部网络。在实际的应用中，某些主机需要对外提供服务。为了更好地提供服务，同时又要有效地保护内部网络的安全，将这些需要对外开放的主机与内部的众多网络设备分隔开来。根据不同的需要，有针对性地采取相应的隔离措施，这样便能在对外提供友好的服务的同时最大限度地保护内部网络。针对不同资源提供不同安全级别的保护，需要构建一个DMZ区域，DMZ可以为主机环境提供网络级的保护，能减少为不信任客户提供服务而引发的危险，是放置公共信息的最佳位置。在一个非DMZ系统中，内部网络和主机的安全通常并不如人们想象的那样坚固，提供给Internet的服务产生了许多漏洞，使其他主机极易受到攻击。但是，通过配置DMZ，我们可以将需要保护的Web应用程序服务器和数据库系统放在内网中，把没有包含敏感数据、担当代理数据访问职责的主机放置于DMZ中，这样就为第241页 财达证券有限责任公司数据中心建设项目投标书应用系统安全提供了保障。DMZ使包含重要数据的内部系统免于直接暴露给外部网络而受到攻击，攻击者即使初步入侵成功，还要面临DMZ设置的新的障碍。1.1.1.1DMZ网络访问控制策略规划一个拥有DMZ的网络时候,我们可以明确各个网络之间的访问关系,可以确定以下六条访问控制策略。　　1.内网可以访问外网　　内网的用户显然需要自由地访问外网。在这一策略中，防火墙需要进行源地址转换。　　2.内网可以访问DMZ　　此策略是为了方便内网用户使用和管理DMZ中的服务器。　　3.外网不能访问内网　　很显然，内网中存放的是公司内部数据，这些数据不允许外网的用户进行访问。　　4.外网可以访问DMZ　　DMZ中的服务器本身就是要给外界提供服务的，所以外网必须可以访问DMZ。同时，外网访问DMZ需要由防火墙完成对外地址到服务器实际地址的转换。　　5.DMZ不能访问内网　　很明显，如果违背此策略，则当入侵者攻陷DMZ时，就可以进一步进攻到内网的重要数据。　　6.DMZ不能访问外网　　此条策略也有例外，比如DMZ中放置邮件服务器时，就需要访问外网，否则将不能正常工作。在网络中，非军事区(DMZ)是指为不信任系统提供服务的孤立网段，其目的是把敏感的内部网络和其他提供访问服务的网络分开，阻止内网和外网直接通信，以保证内网安全。1.1.1.2DMZ服务配置第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1.1运作机理　　DMZ提供的服务是经过了地址转换（NAT）和受安全规则限制的，以达到隐蔽真实地址、控制访问的功能。首先要根据将要提供的服务和安全策略建立一个清晰的网络拓扑，确定DMZ区应用服务器的IP和端口号以及数据流向。通常网络通信流向为禁止外网区与内网区直接通信，DMZ区既可与外网区进行通信，也可以与内网区进行通信，受安全规则限制。1.1.1.1.2地址转换　　DMZ区服务器与内网区、外网区的通信是经过网络地址转换（NAT）实现的。网络地址转换用于将一个地址域（如专用Intranet）映射到另一个地址域（如Internet），以达到隐藏专用网络的目的。DMZ区服务器对内服务时映射成内网地址，对外服务时映射成外网地址。采用静态映射配置网络地址转换时，服务用IP和真实IP要一一映射，源地址转换和目的地址转换都必须要有。1.1.1.1.3DMZ安全规则制定　　安全规则集是安全策略的技术实现，一个可靠、高效的安全规则集是实现一个成功、安全的防火墙的非常关键的一步。如果防火墙规则集配置错误，再好的防火墙也只是摆设。在建立规则集时必须注意规则次序，因为防火墙大多以顺序方式检查信息包，同样的规则，以不同的次序放置，可能会完全改变防火墙的运转情况。如果信息包经过每一条规则而没有发现匹配，这个信息包便会被拒绝。一般来说，通常的顺序是，较特殊的规则在前，较普通的规则在后，防止在找到一个特殊规则之前一个普通规则便被匹配，避免防火墙被配置错误。　　DMZ安全规则指定了非军事区内的某一主机（IP地址）对应的安全策略。由于DMZ区内放置的服务器主机将提供公共服务，其地址是公开的，可以被外部网的用户访问，所以正确设置DMZ区安全规则对保证网络安全是十分重要的。　　FireGate可以根据数据包的地址、协议和端口进行访问控制。它将每个连接作为一个数据流，通过规则表与连接表共同配合，对网络连接和会话的当前状态进行分析和监控。其用于过滤和监控的IP包信息主要有：源IP地址、目的IP地址、协议类型第241页 财达证券有限责任公司数据中心建设项目投标书（IP、ICMP、TCP、UDP）、源TCP/UDP端口、目的TCP/UDP端口、ICMP报文类型域和代码域、碎片包和其他标志位（如SYN、ACK位）等。　　为了让DMZ区的应用服务器能与内网中DB服务器（服务端口4004、使用TCP协议）通信，需增加DMZ区安全规则，这样一个基于DMZ的安全应用服务便配置好了。其他的应用服务可根据安全策略逐个配置第241页 财达证券有限责任公司数据中心建设项目投标书1项目实施方案1.1总体实施计划数据中心建设总工期为11个月，分为2期实施,第一期完成数据的采集及集中,第二期实现基于一期的数据中心成果,实现3个应用。为了稳步推进数据中心的建设，第一期计划用7个月的周期，第二期用4个月的周期，并且在每一个实施周期设定里程碑，保障每一期的实施效果。先进数通投入总投入人月73个人月，其中第一期投入46个人月，第二期投入27个人月。先进数通为数据中心项目定制了标准的实施流程，在2个周期均按照该流程循环实施。实施流程具体定义参照定制化的标准实施流程。先进数通和财达证券在该项目中是协同开发关系，将共同组建项目开发团队，先进数通重点负责本系统的建设及相关产品的技术支持，财达证券负责需求分析组织、项目外部协调和管理，测试的组织和实施，系统上线计划的制定和实施。如果因故引起项目周期上的变化，根据先进数通公司项目进度变更流程，首先向财达证券信息技术部汇报变更原因，并根据公司质量管理部和财达证券信息技术部汇总意见，提交可行计划。1.2人力资源投入计划1.2.1项目组织结构图第241页 财达证券有限责任公司数据中心建设项目投标书项目岗位具体职责项目经理1）全面负责项目的日常管理和具体实施控制2）制订项目计划3）项目规范4）对项目过程进行检查5）组织协调项目各小组的工作6）协助解决项目开发中出现的问题7）定期向客户和公司汇报项目系统架构师1）制定整体方案2）ODS数据架构设计3）物理架构设计4）ETL架构设计5）应用架构设计质量管理员1）配合项目经理，对项目的每一个阶段进行质量跟踪和控制2）负责配置库的管理数据分析师1）对源数据、目标数据进行深度分析2）数据标准的制订3）数据模型规范4）ODS数据模型设计5）报表需求分析和报表数据模型设计应用设计人员业务逻辑和流程设计专业开发人员1）程序编码2）作业开发3）交叉单元测试数据测试人员1）制定测试计划和方案2）数据质量和正确性测试3）测试报告4）操作手册5）操作培训基础环境集成架构师1）硬件部署2）系统软件安装3）存储规划4）网络环境安装部署1.1.1项目组织结构图说明本方案建议双方采用合作开发的方式，由双方共同提供开发实施人员组成项目组，先进数通重点负责本系统的建设及相关产品的技术支持，财达证券主要负责需求分析组织、项目外部协调和管理，测试的组织和实施，系统上线计划的制定和实施。小组组成职责项目领导组甲乙双方高层领导组成监督项目的实施；协调甲方与乙方的资源，包括人力资源、设备资源及财力资源等；定期听取并审核项目经理的工作汇报；对项目存在的重大问题进行协调解决，做出相应的决策。项目管理组甲乙双方项目经理及其他管理人员组成第241页 财达证券有限责任公司数据中心建设项目投标书制定和落实项目计划；解决项目中出现的各种问题；对项目的总体实施负责；对项目中的问题做决策；重大的问题由项目管理组上报项目领导组；协调项目组和财达证券内部其他部门的沟通和联系。集成和质量控制组双方质量控制人员组成制定项目提交件的质量规范；按各提交物的质量标准对项目定期进行检查，负责整个项目的质量控制、跟踪、提交件的评审等工作，对发现的质量问题进行风险评估并提出解决建议。1、负责编制项目质量计划；2、负责对整体项目绩效进行预先的评估以确保项目能够满足相关的质量标准；负责监控项目实施过程中的目标结果，确保其遵循了相关质量标准。架构组由双方技术经理、架构师、培训体系专家等人员组成建立整个系统的应用、系统模型架构；对重大的技术问题进行评估和决策；参与确认或制定开发规范，并参与对项目成功实施有重大影响的技术问题的讨论；对有争议的问题的上报项目管理组。负责对整个系统的技术方向的把握；业务组由甲方业务经理、乙方业务专家、甲方需求工程小组等人员组成负责提出业务需求，完成业务需求说明书；确认并签收需求分析说明书；在开发阶段，及时回答开发组提出的与业务相关的问题；参与系统的验收测试。开发组双方技术人员组成参加需求分析、系统设计；根据系统设计，完成编程和单元测试；完成系统的联调测试；在开发阶段，负责对需求的变更进行分析，评估。系统环境组双方系统管理人员组成负责硬件、网络、系统的建设。包括硬件安装、系统安装、网络安装、性能测试开发环境与测试环境的建立；测试环境维护；对联调测试和系统内部测试做支持与管理；对系统中的操作系统、数据库、中间件等系统软件方面进行支持。测试组由双方的技术和业务人员组成负责组织和实施项目的测试工作，包括内部集成测试、连接测试、SIT测试、性能测试，负责协调和配合业务部门进行用户验收测试工作。1.1.1项目各方职责项目阶段甲方职责乙方职责项目启动1.审核项目主计划和详细进度计划应依据项目目标合理、可行；2.审核项目主计划应设置里程碑之间的相互依赖关系，明确时间和责任人；3.审核详细进度计划应体现里程碑之间的相互依赖关系进行滚动编制；4.审核项目开发过程中质量保证的组织、角色、流程和资源，对计划、执行、检查、措施等质量环节明确落实到责任人；1.制定项目实施计划2.制定项目时间进度计划3.制定人力资源计划，并准备合适的人力资源4.制定风险管理控制、配置管理、质量计划5.明确项目各阶段工作内容、职责分工第241页 财达证券有限责任公司数据中心建设项目投标书1.审核各项质量保证活动的具体内容，包括应达到的质量标准和目标，及为达到质量目标必须采取的各种质量保证活动措施。2.召开项目启动会议3.提供工作场所需求分析阶段1.召集相关业务人员2.组织进行需求分析评审工作3.需求范围管理和控制1.开展需求分析工作2.编写“软件需求功能说明书”并提交审核3.根据审核意见完善并提交最终版本设计阶段1.对原有相关系统提供咨询服务2.组织设计文档的评审工作1.系统关键技术测试2.参加原系统培训3.系统高阶设计4.系统详细设计5.根据评审结果进行设计优化和完善，提交设计文档开发阶段1.提供开发环境2.提供开发规范3.审核编码质量4.进行版本整理和发布1.遵守开发规范，完成系统各功能模块开发和单元测试工作测试阶段1.安排测试环境2.组织测试人员3.准备测试案例4.提交测试报告1.准备标准数据2.配合进行测试工作3.解决测试中发现的问题4.提交测试版本上线阶段1.进行上线环境准备2.确定试点分行3.组织进行业务培训4.提交运行报告1.准备上线版本2.提交上线标准数据3.提交上线技术实施工艺文档4.组织进行运行培训5.进行上线及试运行阶段的技术支持结项阶段1.组织进行项目验收工作，出具项目结项报告2.解散项目组1.提交项目成果2.进行项目交接3.项目维护支持第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1人力资源计划n第一期投入工数明细表n第二期投入工数明细表n合计投入工数一期工数：46MM二期工数：27MM合计工数：73MM1.2第一期第一阶段实施方案1.2.1阶段性实施目标该阶段计划实施工期为1.5个月，是对财达证券现业务需求调研及数据中心的数据模型建立及验证阶段，数据模型的质量直接关系整个数据中心项目的实施质量。建设目标：如下8点l完成与数据中心相关业务系统的调研，编写业务需求分析文档；l完成现系统数据分析工作的调研，编写数据分析调研文档；l系统设计，编写概要设计文档；l建立企业级逻辑数据模型，编写数据模型说明文档；l建立数据流向逻辑模型，编写数据流向模型说明文档；l完成数据标准化工作，形成数据标准化的整体规范；第241页 财达证券有限责任公司数据中心建设项目投标书l搭建数据仓库技术物理架构，网络平台及应用平台；l物理实现企业级数据模型（ODS、EDW）。1.1.1阶段性实施策略按照数据中心规划，第一步将在完成需求及现业务系统调研的基础之上，重新梳理业务数据流向，并基于成熟的证券业数据仓库模型，建立符合财达业务需求的数据仓库模型。先进数通将组成专门的建模工作组，协同财达证券共通完成数据模型的设计及验证。设计过程如下。实施策略图实施步骤如下图，按照已经建立的数据模型，具体实施时共分解为6个步骤：nODS物理模型建立过程实施重点：lODS按照主题聚合数据，共分为10个主题。lODS数据尽量接近于交易系统数据，可以自上而下分析时最大程度还原为交易系统数据，粒度要求贴近交易数据粒度。l性能优先，经纪交易数据占到DW数据量的90%以上，在该过程中，要最小程度的对交易系统造成影响，性能指标要重点考虑。尽量过滤掉非可量化的描述性数据。l数据抽取过程中，对数据进行清理整合、补录检证，该数据层为面向主题、经过业务梳理的有效数据。第241页 财达证券有限责任公司数据中心建设项目投标书l数据存储的核心内容为准实时数据，历史数据保留周期计划为1年。lODS核心功能为业务系统提供准实时数据及短周期内的历史数据，作为缓冲区和数据交换平台。nEDW物理模型建立过程实施重点：l按照主题聚合数据，共10个主题。l实现从ODS的数据增量采集，按照3NF存储数据，可以适度数据冗余。l实现面向数据中心公共层面的适度数据粒度汇总。l实现面向应用的适度数据粒度汇总。n数据流向梳理建模过程实施重点：整合、规范现有系统的数据流向，使部分业务系统从集中交易系统采集数据改向为从数据中心采集数据。例如CRM、风控系统、财务系统、CallCenter的数据来源将来自数据中心，降低交易系统负载。n数据集市构建过程实施重点：l建立星形及雪花型的数据分析模型。l量度及分析维度的完备性。l性能l可挖掘性n预分析验证过程检证整个EDW模型的有效性及性能，并反馈到各个环节中，实现“检证->调整”的循环过程。第241页 财达证券有限责任公司数据中心建设项目投标书实施步骤图1.1.1阶段性实施计划该阶段项目工期为1.5个月，具体实施计划参见下图。把1.5个月又分为5个阶段，把任务进行分解，提高可实施性及过程可见性。n阶段1.项目启动及准备阶段：2工作日n阶段2.数据流模型、数据模型建立阶段：15工作日n阶段3.数据模型检证调整阶段：3工作日n阶段4.业务数据分析阶段（全过程）：30工作日n阶段5.模型检证及验收阶段：5工作日第241页 财达证券有限责任公司数据中心建设项目投标书实施计划图1.1.1项目开发体制按照第一阶段项目开发周期计划，将建立一支以业务分析为主导的项目实施队伍，结合DW技术队伍，构建出先进的数据模型，并完成数据中心系统的整个系统设计。先进数通将投入2名管理人员，5名业务人员，3名技术人员，共计10人。第241页 财达证券有限责任公司数据中心建设项目投标书财达证券投入2名技术人员，每个生产系统对应业务人员1名。具体配置如下：类别级别人数说明管理项目经理1+1先进数通和财达证券各1名管理SQA人员1先进数通（流程控制、质量控制）业务系统分析师1先进数通业务数据/业务分析师1+1先进数通和财达证券各1名业务业务设计师1先进数通技术数据中心架构师1先进数通技术系统架构师1先进数通技术基础系统架构师1先进数通技术ETL开发高级工程师1先进数通技术系统集成架构师1先进数通1名业务业务人员N财达证券按阶段进入项目组参与需求分析、系统测试等工作。1.1.1阶段性项目验收阶段性验收通过，表示本项目阶段工作的全部完成，验收内容为需求分析文档及设计文档，代码成果物为ODS及EDW的数据库表结构。验收过程请参照项目验收的章节。1.2第一期第二阶段实施方案1.2.1阶段性实施目标项目工期：4.5个月建设目标：如下7点l搭建ETL平台，完成ETLJOB实施；l检查并提供数据完整性、正确性以及可用性检查机制；l完成实时增量数据采集；l完成ETL管理调度平台建设；l批量一次性导入历史数据；l实现预置指标库；l实现数据分发管理平台开发，预留数据接口，实现对CRM的数据提供接口。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1阶段性实施策略按照数据中心规划，该阶段主要完成ETL的全部实施，包括特定时点的历史数据批量采集及其后的实时数据增量采集，并把ETL工具和先进数通的MOIA进行集成，实现ETL的可调度统一平台。实施策略见下图【实施策略图】:按照主题完成ETL的实施，循环STEP1–STEP7过程，直到完成所有主题的数据采集ETLJOB的建模工作。实施步骤如下:nSTEP1:选择主题；nSTEP2:主题相关的公共代码采集；nSTEP3:实现主题相关的数据抽取JOB；nSTEP4:主题历史数据批量采集；nSTEP5:主题实时数据增量采集；nSTEP6:实现主题相关的数据汇总、运算JOB；nSTEP7:实现主题相关的汇总、分析数据区数据填充；nSTEP8:ETL统一调度、管理平台搭建。nSTEP9:数据接口平台搭建。nSTEP10:实现预置指标库。在实施过程中，把数据质量及平台的稳健性、可扩展性的保障作为实施的重点。作为业务积蓄体现的预置指标库，将内置约500个业务指标，含基础指标及派生指标。第241页 财达证券有限责任公司数据中心建设项目投标书实施策略图根据实施策略，制定了具体的实施步骤，参加下图【实施步骤图】。每个主题的数据采集ETL实施时，共分解为6个步骤：n选择主题过程实施重点：l按照主题聚合数据，共分为10个主题，按照主题重要性进行顺次实施。l客户、产品、事件、财务作为数据聚合的核心。n物理模型检证过程实施重点：l检证ODS存储结构，定义数据源、实现抽取及数据整合规则。l检证EDW存储结构，定义数据源、实现汇总运算法则。n主题相关公共代码采集过程实施重点：l统一性、唯一性。l部分公共代码应用范围为整个数据中心。第241页 财达证券有限责任公司数据中心建设项目投标书n主题相关历史数据批量采集过程实施重点：l性能优先，集中调度，失败JOB可恢复。l实现特点时点以前历史数据的批量导入ODS、EDW。n主题相关实时数据增量采集过程实施重点：l性能优先，集中调度，失败JOB可恢复。l实现特点时点以前历史数据的批量导入ODS、EDW。n预分析验证过程l建立星形及雪花型的数据分析模型。l量度及分析维度的完备性。l性能。l可挖掘性nETL平台构建过程集成先进数通自有产品MOIA，实现ETLJOB的综合调度平台。第241页 财达证券有限责任公司数据中心建设项目投标书实施步骤图n数据接口平台构建过程规划、实现数据提供数据池、可以为业务系统提供准实时数据、历史明细数据、汇总数据及分析数据。以ACRM应用为应用范例，提供数据接口，即包括风控部分的准实时数据，又包括面向客户的历史数据。n指标库平台构建过程目前阶段以编程方式实现业务指标库，大约内置500个业务指标，并规划处指标库的维护平台。用户可以利用该平台进行业务指标扩充。1.1.1阶段性实施计划该阶段项目工期为4.5个月，具体参见下图。第241页 财达证券有限责任公司数据中心建设项目投标书实施计划图1.1.1项目开发体制按照第二阶段项目开发周期计划，将建立一支以ETL实施为主导的项目团队，并配置先进数通MOIA产品的二次定制开发的技术人员。先进数通将投入1名业务人员，3名技术人员，1名MOIA.dsp技术人员，共计5人。第241页 财达证券有限责任公司数据中心建设项目投标书财达证券投入1名技术人员，每个生产系统对应业务人员1名。具体配置如下：类别级别人数说明管理项目经理1+1先进数通和财达证券各1名业务系统分析师1先进数通业务数据/业务分析师1+1先进数通和财达证券各1名业务业务设计师1先进数通技术MOIA系统架构师1先进数通技术ETL开发高级工程师2先进数通1.1.1阶段性项目验收阶段性验收通过，表示本项目阶段工作的全部完成，验收重点为2个平台的可用性。ETL综合调度平台为验收重点，保障数据中心的数据采集效率、质量及稳健性。业务部门检证内置指标库的有效性，并对缺失的指标进行补充。验收过程请参照项目验收的章节。1.2第一期第三阶段实施方案1.2.1阶段性实施目标建设工期：1个月建设目标：完善数据仓库基础平台，主要为如下4点l数据仓库模型检证及完善。lETL调度平台检证及完善，并全部上线。l数据接口平台检证及完善。l预置指标库检证及完善。1.2.2阶段性实施策略按照数据中心规划，将第三阶段设定为数据平台的稳定期。该阶段主要工作是完善ETL综合数据平台,检证并完善数据仓库业务模型。增补、完善内置业务指标库，同时完成数据接口平台的有效性检证。先进数通将成立专门的实施工作组，协同财达证券共通完成数据交换平台的稳定开发，实施策略如下。第241页 财达证券有限责任公司数据中心建设项目投标书实施策略图参照实施策略图，第三阶段具体实施时共分解为5个步骤：nETL实施完善过程实施重点：l可靠性。ETL过程必须能够始终如一地完成各项操作，及时提供在任何细节层次都可以信赖的数据。l可用性。数据仓库必须满足其服务层协议。数据仓库应当像所承诺的那样具有相关功能，并且具有较好的可用性。l易管理性。成功的数据仓库永远不会停止发展的脚步，它会随着业务过程的发展不断增长和变化。为了实现这一点，ETL过程需要进行适度地的进化。l作业调度器,调度要比仅仅按照时间表启动各项工作涵盖更多的内容。需要一种可靠的机制来管理ETL的执行策略。调度器还应当能够控制ETL工作之间的关联关系和依赖关系。工作控制过程在执行时也必需须根据ETL过程的步骤和统计情况来捕捉元数据。最后，调度器应当支持完全自动化的过程，包括当出现某些需要解决的问题时及时通知您对系统进行调整.l恢复和重启系统，ETL过程执行的时间越长，则您越要意识到可能会出现故障。可以设计一个由多个高效处理过程构成的标准ETL系统，这样的系统具有一定的弹性，可以应对装载过程崩溃和意外终止的情况，并且能够使您降低产生故障的风险。l版本控制系统,第241页 财达证券有限责任公司数据中心建设项目投标书应当支持来源比较，以便揭示不同版本之间的差别。该系统提供了资料管理功能，可以保存和恢复某个版本中ETL的完整上下文。在某些合规性要求较高的环境中，存档完整的ETL系统上下文和对相关的数据进行存档和备份是同等重要的。注意，需要为整个ETL系统指定主版本号，就和像软件发布版本号一样。lETL系统必需须不断地对工作流进行监视，确保ETL过程高效运作，使数据仓库总能及时装载。n完成数据接口及数据分发管理平台开发部署及任务配置，并上线使用实施重点：lACRM数据集市应用汇总层接口层。l实现KPIs系统数据集市应用汇总层接口层。l稽核管理数据集市应用汇总层接口层。l数据分发平台开发。l数据分发平台部署及任务配置。l数据分发平台上线。n为公司其他在用和在建业务系统提供数据实施重点：l其他业务数据模型需求调研。l开发数据接口。n完善预置指标库平台实施重点：l检验预置指标对于财达证券的可用性。l增补财达需求的特定指标。1.1.1阶段性实施计划该阶段项目工期为1个月，具体实施计划参见下图：第241页 财达证券有限责任公司数据中心建设项目投标书实施计划图1.1.1项目开发体制按照第三阶段项目开发周期计划，将建立一支以系统测试、功能改善的项目实施队伍，结合DW技术队伍，保障第一期的阶段成果的可用性。先进数通将投入1第241页 财达证券有限责任公司数据中心建设项目投标书名管理人员，3名测试人员,2名技术人员，1名质量管理人员，共计8人。财达证券投入1名技术人员，每个生产系统对应分析型业务人员1名。具体配置如下：类别级别人数说明管理项目经理1+1先进数通和财达证券各1名管理SQA人员1先进数通（流程控制、质量控制）业务系统分析师1先进数通技术基础系统架构师1先进数通技术开发高级工程师2先进数通技术测试工程师3+N先进数通3名，财达证券N名技术系统集成架构师1先进数通1名业务业务人员N财达证券按阶段进入项目组参与需求分析、系统测试等工作。1.1.1阶段性项目验收阶段性验收通过，表示本项目阶段工作的全部完成。在第一期验收过程中，完成一期工程的上线工作及知识转移工作。验收过程请参照项目验收的章节。1.2第二期实施方案1.2.1阶段性实施目标建设工期：4个月建设目标：如下5点l完成综合报表及查询系统，并上线使用。l完成领导驾驶舱的系统开发，并正式部署上线。l完成ACRM的系统开发，并正式部署上线。1.2.2阶段性实施策略按照数据中心规划，将第三阶段主要是完善ETL,完成并上线数据交换平台及其各种应用系统.同时完成领导驾驶舱及分析性客户关系管理系统的开发，先进数通将成立专门的开发实施工作组，协同财达证券共通完成数据交换平台的应用开发，实施策略如下。第241页 财达证券有限责任公司数据中心建设项目投标书参照实施策略图，第三阶段具体实施时共分解为5个步骤：n实现综合报表及查询系统实施重点：l实现综合报表系统中的基础报表，检验内置指标库的指标是否缺失。l实现综合报表系统中复合报表。l实现综合报表系统中分析报表。l实现自定义分析平台。l实现自定义查询平台。n完成领导驾驶舱应用系统开发,并正式部署上线。实施重点：l完成预置报表。l完成特定需求的定制报表。l完成自定义分析平台。l完成自定义查询平台。n完成分析型客户关系管理系统开发,并正式部署上线。实施重点：l建立客户分类模型，该工作为ACRM实施核心。l完成预置报表。l完成特定需求的定制报表。l完成自定义分析平台。第241页 财达证券有限责任公司数据中心建设项目投标书l完成自定义查询平台。l完成面向OCRM的数据导出接口。（准实时数据、客户分类数据）n业务指标库数据的完善实施重点：l增补基础指标。l增补派生指标。l完善指标说明字典及索引目录。n应用系统检证及完善实施重点：l3个应用系统的功能性测试。l对业务系统的无影响测试。l3个应用系统的压力、安全测试。l上线。1.1.1阶段性实施计划该阶段项目工期为4个月，具体实施计划参见下图：第241页 财达证券有限责任公司数据中心建设项目投标书实施计划图1.1.1项目开发体制按照第三阶段项目开发周期计划，将建立一支以系统开发为主导的项目实施队伍，结合DW技术队伍，完成领导驾驶舱、ACRM和统计分析报表。先进数通将投入2名管理人员，2名业务人员,6开发工程师，2名测试人员，共计12人。财达证券投入2名技术人员，每个生产系统对应分析型业务人员1名。具体配置如下：类别级别人数说明第241页 财达证券有限责任公司数据中心建设项目投标书管理项目经理1+1先进数通和财达证券各1名管理SQA人员1先进数通（流程控制、质量控制）业务系统分析师1先进数通业务数据/业务分析师1+1先进数通和财达证券各1名业务业务设计师1先进数通技术基础系统架构师1先进数通技术开发高级工程师4先进数通技术测试工程师2+2先进数通5名，财达证券2名技术系统集成架构师1先进数通1名业务业务人员N财达证券按阶段进入项目组参与需求分析、系统测试等工作。1.1.1阶段性项目验收在第二期验收过程中，完成二期工程的上线工作及知识转移工作。该阶段性验收通过，表示本项目工作的全部完成。知识转移包括合同的文档列表及系统源代码。以合同约定方式进行归档。验收过程请参照项目验收的章节。1.2项目质量控制1.2.1项目管理规范建议在项目启动之初，成立项目质量控制小组，负责起草《项目公告》，由财达证券和先进数通相关领导签字、盖公章，项目经理本人签字，作为项目期间所有项目人员所有项目相关工作必须遵守的约束性文件。对于项目人员遵守《项目公告》的有效性保障，建议在所有相关商务合同的甲方责任和乙方责任条款中都加入“严格遵守《项目公告》”一条，并在合同的违约条款中加入对违反《项目公告》的处置条款，同时《项目公告》作为合同附件，与合同一起同时在法律上生效。《项目公告》应至少包含以下内容：l项目组各种岗位的职责和权利；l项目各项工作（如工作安排、人员调度、需求的提交和确定、设计方案的确定、测试的方法和步骤、系统上线的步骤等）的定义、流程和方法；l各种项目制度（如作息、报告、各项多方签字的确认流程）；l各种技术规范（编程规范、文档规范、版本控制、操作规范等）；l上述规范中用到的各种表格模板。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1项目质量保证先进数通公司在系统集成、软件开发和服务方面具有很强的技术实力和丰富的项目管理经验，多年积累的诸多有效的项目管理方式和手段在项目实施中发挥到了至关重要的作用。公司正式通过ISO9001:2000及CMMI标准认证，并获得相关体系认证证书。l项目质量管理的目标：降低项目的风险，确保项目的顺利实施；提升软件产品质量和服务水准，确保产品功能性、安全性与可靠性达到业界先进水平；l项目质量管理的要素和主要环节项目组织机构和职责；项目管理规范；项目提交物；项目风险及风险控制。l项目质量管理的方法公司统一规范的质量体系文件；经过项目实战验证过的，适合中国国情的管理制度和规范模版；有可靠保证的，纸介质纪录的项目沟通管理；专职的，专业化的，行政关系独立的SQA人员对项目质量进行全程监理。1.1.2配置管理1.1.2.1配置管理人员本项目先进数通方项目负责人指定人员作为配置管理员。1.1.2.2配置项定义配置项名称基线建立标准项目计划书通过先进数通/财达证券评审软件需求规格说明书通过集成和质量控制小组评审系统概要设计说明书通过集成和质量控制小组评审系统详细设计说明书通过集成和质量控制小组评审数据库设计说明书通过集成和质量控制小组评审程序代码及配置文件通过项目组内部交叉评审测试计划书通过集成和质量控制小组评审上线切换计划书通过集成和质量控制小组评审1.1.2.3配置管理工具l采用SVN1.6.6作为本项目的配置管理工具。l指定一台操作系统为WindowsSevice2008，装有SVN1.6.6服务器端程序的PC作为项目文档管理机。建立项目文档目录，并由SVN控制。所有文档采用MSOffice2007软件编写，格式及相关规范按照公司的文档规范执行。l第241页 财达证券有限责任公司数据中心建设项目投标书每个项目组成员安装SVN客户端程序后，使用各自的帐号登录项目文档管理机，所有的导入导出操作必须有相应的说明。l所有程序，采用打包（tar,compress）的方式形成文件，传送到项目文档管理机，作为一个windows文件进行配置管理。1.1.1配置管理活动1.1.1.1配置项版本控制计划l项目计划书：计划变更、提交财达证券/先进数通管理机构时执行配置管理流程及出/入库l软件需求规格说明书：需求变更、提交财达证券/先进数通管理机构时执行配置管理流程及出/入库l系统设计说明书：设计变更、提交财达证券/先进数通管理机构时执行配置管理流程及出/入库l数据库设计说明书：数据库设计变更、提交财达证券/先进数通管理机构时执行配置管理流程及出/入库l程序代码及数据文件：每天工作结束后及有变更时及时备份，基线建立后执行配置管理流程及出/入库l测试计划书：测试计划变更、提交财达证券/先进数通管理机构时执行配置管理流程及出/入库1.1.1.2配置项的追踪规程所有软件配置项状态标识及出入库记录采用先进数通的“配置管理信息表”进行记录，并保留所有版本的文件及至少2个版本的源码备份。1.1.1.3配置项的状态报告规程配置管理员每周向项目负责人进行一次，主要依据为“配置管理信息表”。1.1.1.4变更控制规程1.软件配置项基线建立后，所有定义的软件配置项发生变更时，均执行本规程；2.软件配置项实际责任人（产生或变更者）负责向配置管理员提出配置项出入库申请；3.配置管理员评估请求，对重大变更，使用先进规范要求的变更说明表格生成报告；4.由配置管理员从配置管理库中提出欲更改的软件配置项（出库），并在配置管理信息表中记录；5.实施配置项更改，进行必要的测试（程序和数据）；6.提交变化报告/实物给变化控制审核者以做出审核；7.由配置管理员将审核通过的软件配置项存入配置管理库（入库）；第241页 财达证券有限责任公司数据中心建设项目投标书1.1项目风险及风险控制识别风险与风险控制是项目管理的重要内容，本节将就我们对本项目实施阶段的风险进行识别、分析，并讨论在项目过程中应采取的风险控制措施。1.1.1风险分析针对本项目的可能风险做如下分析：注：风险级别为“低”的，则略去不写。风险类别风险内容严重性发生概率风险级别应对措施需求风险需求变化，导致需求控制上失控高中高制定需求变更管理流程，并遵照执行。对变化的需求进行影响评估，提交项目管理组进行评审需求开发投入不足，导致需求分析出现失误高中高派遣业务专家，加大对需求分析力度，并建立内外部需求分析评审机制技术风险系统总体设计有缺陷中低中组织系统建设专家进行总体设计评审，对其中的关键技术进行可行性验证测试系统多种开发工具及平台集成风险高中高在总体设计开始前，进行开发工具和软件产品平台集成测试，确保方案的可行性系统模块设计有缺陷中低中组织项目组内部进行评审，并系统设计者提供参考依据系统质量属性设计有缺陷高低中对关键质量控制点进行审核安装过程出现技术难题低低中尽量细致的做好前期的准备工作多关联系统协同设计开发高低中了解各系统特点，邀请相关系统专家进行总体设计方案评审；明确各相关系统协同开发模式，并督促执行操作风险没有项目管理规范或项目管理规范没有得到项目人员的执行中中中制定项目管理规范，定期进行规范执行交叉检查和内部评审沟通不力高高高明确接口人员，定期组织协调会议，对外系统沟通以工作联系单方式进行正式沟通，并明确问题处理时间项目组人员变动大高中高加强同项目组成员沟通，保障人员稳定性项目文档写作不足或文档质量不够高中中加强项目规范执行力度检查，对项目文档采用内部评审方式进行评定设备运输风险高低高选择运输、搬运能力强，记录良好的货运、搬运公司实施第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1风险控制计划为了减少上述项目风险，我们提出如下风险控制计划作为建议：1.项目启动之初，制定详细的、实事求是的《项目计划》、《项目管理规范》，并且由项目相关各方负责人确认，保证得到贯彻执行；2.《项目管理规范》中应明确所有项目工作的流程或制度，包括变更流程、作息制度、沟通制度、文档规范、编码规范等；3.项目需求阶段，项目相关各方保证对需求开发工作投入足够的资源和时间；4.需求阶段结束，形成正式的、通过所有项目相关方评审的《软件需求规格说明书》（简称SRS）；SRS中必须包括了所有的需求；SRS中的每一项需求应该是描述清楚的、有粒度的、没有矛盾的，能够通过一个树型结构组织在一起；5.项目设计阶段开始前，对本项目将要采用的新技术或新产品进行充分地测试；6.项目设计阶段，对《系统概要设计说明书》、《系统详细设计说明书》进行充分地评审；7.项目编码实施阶段开始前，对项目开发人员进行必要的技术培训；8.项目相关方保证项目必须的资源，或根据项目实际拥有的资源保证项目范围及项目期限的可行性；9.项目实施阶段，每一小组对每周的实施（编码）工作进行review；10.项目测试阶段开始前，应根据SRS由最终用户方出具可操作的《测试题》，项目组出具《测试计划》；11.项目测试工作严格按照《测试计划》和《测试题》进行；12.相关各项目正式文档委派专人管理；13.项目方保证重要人员不发生变动，或通过用户方认可方能变动；1.2项目变更管理计划在项目过程中，将以财达证券提供的需求文件为基准，编写《软件需求规格说明书》。在此基础之上，再进行概要设计、详细设计、定制编码等工作。在整个项目过程中，对于未尽需求及可能发生的需求变更，根据变更的内容，提交《项目需求变更说明书》、《项目设计变更说明书》、《项目计划变更说明》，并提交相应的分析报告，在经双方负责人/变更委员会批准后，由项目经理组织执行。针对本项目，在系统开发期间，如果财达证券在不影响系统结构的前提下对业务需求进行修改和完善，经评估，不会对上线造成重大影响的需求，先进数通对此类部分提供免费开发。1.3项目过程的沟通协调机制高效合理的沟通机制可以保障项目实施的顺利、有序的实施，降低项目实施过程风险，提高项目实施的效率。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1重大问题的汇报在项目实施过程中，出现严重影响项目进度（进度延迟）、成本（高出10％的风险控制成本）的高风险问题时，我们定义为重大问题。当出现重大问题时，由项目经理实时通告项目领导小组，并召集项目干系人进行问题分析，影响分析，制定问题解决方案，形成书面文档，提请项目领导小组进行决策。1.1.2项目组内部的沟通协调项目组内部沟通采用项目周例会和不定期专题会议进行，同时要求项目组成员及时对工作中出现的问题进行汇报，并于每周提交项目周报，更新自己所负责任务的进度。1.1.3与其他项目组的沟通协调与其他项目组的沟通采用电话、电子邮件并配合工作联系单的方式进行协调和沟通。1.1.4与相关部门的沟通协调与相关部门进行沟通协调时，采用电话、电子邮件，以工作联系单、工作周报、阶段总结等方式进行汇报和协调。1.2测试实施1.2.1测试目标根据项目需求以及总体规划要求，本项目测试目标如下：l确保业务流程符合需求分析、总体和详细设计的设计要求；l确保系统流程符合需求分析、总体和详细设计的设计要求；l确保覆盖项目工作说明书所列的业务范围、性能需求；l确保各业务系统接口的需求与映射关系正确得到验证；l确保整个系统中的数据质量，保证数据被正确导入、验证、转换及加工处理；l确保整个系统功能、稳定性和性能符合业务需求；l确保系统的安全规范得到满足；l对每个测试阶段进行规范化，为系统调试提供详细和标准的参考；l检查并排除影响系统上线运行的错误，保证系统及时上线，对最终产品质量进行保证；l为系统正式上线积累运行和管理经验。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1测试方法及内容保证数据中心平台系统的数据质量是项目建设的关键目标，但测试工作不能只面向最终数据结果进行测试，这样测试比较复杂，测试到的问题追溯也比较复杂，而且可能导致测试不完整，因此需要将数据质量测试工作分解到多个环节，保证每个环节的数据质量，最终保证整个平台的数据质量目标。数据分析类项目从数据处理流程上一般分为数据采集、数据加工、数据加载、数据展现等几个大的步骤；从数据整合的整个过程分析，可分标准数据层、基础数据层、加工汇总层、数据集市层。因此这几个环节是顺序依赖的，控制好每个环节，就控制了整个平台的数据质量。在数据平台测试中，通常采用灰盒测试法、黑盒测试法和白盒测试法。1）灰盒测试法(GreyBoxTesting)根据数据加工的逻辑逐层核对每一层的加工结果。这种方法的优点是，逐层核对便于问题的定位，缺点是如果数据加工的逻辑本身就有问题，那么核对的加工结果可能和实际有偏差，为了避免这种风险的发生，要求在核对数据加工时，对每一个数据加工逻辑进行评审和技术讨论，对加工逻辑给以肯定。2）黑盒测试法(BlackBoxTesting)指直接从业务出发，采用手工方法生成的报表与系统生成的报表核对。这个方法的测试人员以业务人员为主，要提前对业务人员进行有效的组织管理和测试方法的培训。3）白盒测试法(WhiteBoxTesting)在理解业务需求的基础上，对数据加工处理的过程进行代码级的审核。1.1.2实施规划整个项目的测试工作分为单元测试、集成测试和用户验收测试三个主要的阶段进行管理和控制，并配合一些专项的非功能测试。1.1.2.1单元测试单元测试是针对软件开发中的独立程序单元进行的验证测试，确认开发代码与详细设计成果一致，消除程序内部逻辑、功能上的错误和缺陷。当每一程序(包括函数)编写完毕后,由负责编写程序人员或开发组人员交叉就其所编写的程序进行单元测试。从测试过程中找出错误并作出更正。此测试目的主要是纯从程序编写角度，测试所编写的程序在逻辑上是否合理和正确。考虑到本项目的特点——部分工作任务是由多个作业组合实现的，将作业的基本集成测试任务也合并到单元测试阶段进行。（1）单元测试方法单元测试主要以白盒测试为主，黑盒测试为辅。白盒测试是结构测试，测试案例直接针对程序内部结构、处理细节，检测程序代码的正确性、可靠性。典型检测内容：第241页 财达证券有限责任公司数据中心建设项目投标书n程序代码执行路径检测n逻辑判断、循环次数、数据操作等的检测黑盒测试主要是从该模块外部的功能着手，测试模块的输入和输出接口的正确性和有效性。其它如性能等方面的黑盒测试主要在功能测试阶段实现。（2）单元测试步骤一般来讲通常包括以下几点：n编程人员准备单元测试案例n单元测试之前，将编译通过的程序代码提交至版本控制，申请代码检查、静态分析、动态分析，确保达到代码编写质量标准n单元测试准备阶段，若为人工测试方式，则由测试人员依照功能规格说明书，编写单元测试案例；若为自动测试方式，则还需要将单元测试案例提供给专门的测试开发人员，结合测试工具编写相关的测试代码。n单元测试案例准备完毕，则可以实施具体的单元测试工作，提供测试数据、执行测试动作、填写测试报告。n一轮单元测试案例结束后，由开发人员依照测试报告结果修改程序代码，并通过白盒测试基本确认问题修订成功，重新开始回归单元测试之前状态。n全部单元测试通过后，提交打包后的程序代码、测试报告至版本控制归档。1.1.1.1集成测试（SIT）1）集成测试目标集成测试是整个项目周期中的一个重要阶段，是系统上线前的一次系统化体验，是检验整个系统是否完全实现用户需求功能。集成测试包含两个方面，一是本应用系统内部，需测试模块和模块间，初始化，处理日和处理日间，数据和数据间的系统处理的完整性和正确性；二是本应用系统与其他相关接入源系统和目标系统的联测。一般来说，集成测试的目标包含业务周期测试（BusinessCycleTest）,性能测试（PerformTest），容量测试（LoadTest）,异常处理测试（RecoveryTest）等。2）集成测试的方法第241页 财达证券有限责任公司数据中心建设项目投标书功能性集成测试是根据用户需求及功能规格说明书，覆盖系统所有的联合部件的灰盒测试和黑盒测试。其测试的重点将在系统模块或组件间功能传递，系统能否达到功能规格说明书之规定。对于测试的业务周期应涵括初始化、月末（指标文件）、结息日、年末等特殊处理日。3）集成测试组织集成测试必须成立专门的测试小组，完成整个系统测试工作，提交集成测试报告，作为系统上线的重要依据。数据中心平台的测试工作由两部份组成。一部份测试工作是技术层面的测试工作，由技术人员组成测试组来完成，根据前面测试方法的指导，出具测试方案和测试案例，开发相应的测试程序，对数据处理的各个阶段进行测试，技术测试人员需3人左右。另一部份测试工作是业务层面的测试工作，由业务人员组成测试组来完成，对每一块应用进行测试，出具测试方案和测试案例，对应用进行测试，同时对产品的统计数据和统计口径进行检查测试，业务测试人员需要2名。在数据平台类项目的实施中，ADT公司总结出了一套完整的集成测试经验：集成测试通常采用多轮测试，每轮的测试有不同重点，第一轮称为基本情况测试，主要工作是相关人员搭建测试环境并熟悉系统，总结测试方法，对整个系统配置、程序运行进行协调测试，保证系统能完整运行，功能基本正常；第二至四轮测试，主要正确性测试，执行测试案例，核对执行结果；第五轮重点专项测试，对前期测试的关键问题进行重复检查，对关键业务时间点进行测试检查，非功能性测试；第六轮为验收性测试，相当于一个上线前模拟演练过程，为能否上线提供决策依据。每一轮测试完成后进行阶段总结并提交阶段集成测试报告。4）集成测试的开始和结束标准ü集成测试的开始标准n所有功能模块均已完成功能测试n测试案例必须由相关模块的owner或设计组审核完毕n相关用来验证系统功能的作业开发和测试完毕n集成测试环境和测试数据准备完毕ü集成测试的结束标准n所有集成测试案例均已测试完毕并得到了期望输出结果n没有严重的错误n在业务周期内所有功能性集成测试顺利、运行无误，涵括并实现系统需求所规定的所有功能n非功能性集成测试达到系统需求所规定的指标第241页 财达证券有限责任公司数据中心建设项目投标书n完成功能性及非功能性集成测试报告5）集成测试步骤一般来讲功能性集成测试通常包括以下几点：n准备集成测试案例（包括功能性和非功能性）n集成测试案例审核n进行集成测试n验证测试案例和测试结果n修改测试过程中发现的问题n跟踪程序集成测试问题的解决状态n项目架构组对集成测试结果进行审核n测试阶段结束后编写集成测试功能测试报告与非功能性测试报告1.1.1.1用户认证测试（UAT）验收测试旨在通过最终用户团队根据自己的工作内容和职责，对实际业务处理过程中各个业务流程、各种业务场景在测试环境中模拟实际工作情形，并确认系统达到项目工作说明书和需求分析和详细设计方案的功能要求。下面的项目活动是进行用户接受测试的前提和限制条件：完成对参加验收测试的最终用户培训生产环境设置完成，将生产环境复制成验收测试环境前者是为了保证参加验收测试的人员熟悉新系统的操作和功能，而后者是为了通过验收测试对生产环境的设置进行验证，保证生产环境设置的准确性。验收测试步骤主要包括以下几点：根据项目计划和测试方案的要求编写验收测试计划；准备验收测试案例；准备验收测试环境；进行验收测试；验证测试案例和测试结果；修改测试过程中发现的问题（方案调整或程序修改）；跟踪测试问题的解决状态；对验收测试结果进行审核；第241页 财达证券有限责任公司数据中心建设项目投标书测试结束后编写验收测试报告。1.1.1.1专项测试专项测试的目的是验证系统在实际生产环境中的非功能性指标是否达到设计及需求的要求，因此，需要测试环境与最终的生产环境具有同样的拓扑结构，其容量大小基本等同于用户生产环境，或具有可量化的可比性。测试的内容包括下列部分：测试项目测试说明测试策略性能测试测试系统的效率与性能，包括源数据获取、数据提交作业处理、分发等。重点测试时间窗口内作业执行效率情况。不考虑数据的准确性。重点考虑对单个超大数据文件处理的各个环节的处理性能。压力测试测试系统能否满足源、目标系统接入的压力及峰值情况下和正常情况下的负载能力（测试重点）。不考虑数据的准确性。重点考虑点：多个超大数据文件处理的各个环节的处理性能。容量测试测试服务器、网络线路的容量能否满足系统要求，包括存放数据的各个分区情况、数据库容量情况等。在性能测试和压力测试工程中同时考察对新的文件传输系统的传输效率。并行测试测试多源、目标系统接入、多分行数据处理情况下系统的性能。尤其是任务调度、监控等涉及集群处理管理方面性能。考虑在性能测试及压力测试案例是综合考虑测试案例，本部分测试主需要考虑系统在同时处理多各目标系统数据时的调度管理的数据处理效率以及系统负载情况。故障与异常测试测试系统在异常情况下的处理流程。根据系统的异常处理流程，对各模块自身的异常处理流程和跟踪解决流程进行测试。容错/恢复测试测试系统的容错能力，以及发生错误下系统的快速恢复能力。模拟系统中某一台处理机突然宕机，测试备机及时启用的情况。安装测试测试系统能否快速、正确、方便地进行安装。重点测试系统能否顺利地进行测试环境、生产环境的安装，在以上测试阶段的环境准备阶段测试。关键日测试测试在业务周期中重要数据日期下如结息、年终结转系统的处理性能。抽取结息日、年终日数据。重点检查ODS平台的处理效率及正确性。特殊业务测试测试在业务周期中机构撤并、科目调整情况下系统的正确性及性能。选取机构合撤并日、科目调整日进行测试。检查合并后数据的正确性、连续性。第241页 财达证券有限责任公司数据中心建设项目投标书1.1项目验收项目验收通过，表示本项目工作的全部完成。先进数通完成项目交付物的交货及安装后，财达证券应于验收期内完成验收手续。1.1.1开发文档文件的验收以交付文件为验收内容，若有验收不合格项目用户应于验收期内书面通知先进数通，逾期视同验收通过。验收期为文档交付日起算的五个工作日，针对不合格的项目，先进数通负责改正，并再次对该改正项目提出复验申请，用户应于三个工作日内进行复验，否则视同复验通过。如遇特殊情况，经双方书面确认后可以适当延长复验期。1.1.2应用软件的验收应用软件以《项目说明书》及《软件需求规格说明书》为验收内容。若有验收不合格项目用户应于验收期内书面通知先进数通，逾期视同验收通过。验收期为程序交付日起算的三十个工作日，针对不合格的项目，先进数通负责改正，并再次对该改正项目提出复验申请，用户应于五个工作日内进行复验，否则视同复验通过。如遇特殊情况，经双方书面确认后可以适当延长复验期。1.1.2.1测试资料的准备验收测试的测试资料和测试环境由财达证券准备和提供，先进数通负责协助完成验收测试。1.1.2.2验收准则软件验收合格标准l软件错误限制；i.引起系统不能继续运转的错误为0ii.引起查询交易错误或不能运转的错误小于5iii.在某种状态下交易结果不对但有其他现成取代方案的错误小于10l功能限制；Ø必须满足《项目目标》及《软件需求规格说明书》功能要求。文档验收合格标准文档验收以抽样方式进行，抽样率为50%。如果在验收的文档中：l错误的总字数超过该文档总字数的0.5%；l描述某一独立完成的功能/章节错误；第241页 财达证券有限责任公司数据中心建设项目投标书则视为验收失败。1.1项目成果移交1.1.1应用系统源代码交付物名称介质形式备注责任方财达证券数据中心平台系统源代码电子先进数通1.1.2开发过程文档交付物名称介质形式责任方备注《实施方案》电子先进数通+财达证券计划阶段提交《项目计划书》电子先进数通+财达证券计划阶段提交《项目详细进度计划》电子先进数通+财达证券计划阶段提交《人力资源计划》电子先进数通+财达证券计划阶段提交《质量保证计划》电子先进数通+财达证券计划阶段提交《风险管理计划》电子先进数通+财达证券计划阶段提交《沟通管理计划》电子先进数通+财达证券计划阶段提交《配置管理计划》电子先进数通+财达证券计划阶段提交《培训计划》电子先进数通+财达证券计划阶段提交《变更控制计划》电子先进数通+财达证券计划阶段提交《需求分析说明书》电子先进数通+财达证券计划阶段提交《用户测试计划》电子先进数通+财达证券实施阶段提交《测试案例》电子先进数通+财达证券实施阶段提交《系统设计说明书》电子先进数通+财达证券实施阶段提交《数据库设计说明书》电子先进数通+财达证券实施阶段提交《概要设计说明书》电子先进数通+财达证券实施阶段提交《综合测试计划》电子先进数通+财达证券实施阶段提交《连通测试计划》电子先进数通+财达证券实施阶段提交《系统集成测试计划》电子先进数通+财达证券实施阶段提交《详细设计说明书》电子先进数通+财达证券实施阶段提交《编码及单元测试计划》电子先进数通+财达证券实施阶段提交《用户操作手册》电子先进数通+财达证券实施阶段提交《技术手册》电子先进数通+财达证券实施阶段提交《用户维护手册》电子先进数通+财达证券实施阶段提交第241页 财达证券有限责任公司数据中心建设项目投标书《培训手册》电子先进数通+财达证券实施阶段提交《单元测试报告》电子先进数通+财达证券实施阶段提交《连通测试报告》电子先进数通+财达证券实施阶段提交《集成测试报告》电子先进数通+财达证券实施阶段提交《用户测试报告》电子财达证券实施阶段提交《上线方案》电子先进数通+财达证券实施阶段提交《安装手册》电子先进数通+财达证券实施阶段提交《上线应急方案》电子先进数通+财达证券实施阶段提交《试运行方案》电子先进数通+财达证券实施阶段提交《试运行报告》电子财达证券收尾阶段提交《项目总结报告》电子先进数通+财达证券收尾阶段提交《项目验收申请报告》电子财达证券收尾阶段提交1.1.1项目提交件质量标准所提交的文档按本项目相应的文档模板编写，也可进行合理的调整。下面对本项目中所要提交的主要的文档及其质量标准进行规范。文档验收以抽样方式进行，见以下验收准则。所有文档必须具有详细的修改记录。所有提交的文档必须符合文档规范，且文字通顺，条理清楚，无歧义。编号文档名称质量标准1项目计划书1、项目主计划和详细进度计划应依据项目目标合理、可行；2、项目主计划应设置里程碑之间的相互依赖关系，明确时间和责任人；3、详细进度计划应体现里程碑之间的相互依赖关系进行滚动编制；4、明确项目开发过程中质量保证的组织、角色、流程和资源，对计划、执行、检查、措施等质量环节明确落实到责任人；5、明确各项质量保证活动的具体内容，包括应达到的质量标准和目标，及为达到质量目标必须采取的各种质量保证活动措施。2需求分析说明书一、已确认1、用户界面风格布局已与用户确认；2、报表中的元素及布局已与用户确认；3、用户界面与报表中的元素的属性已与用户确认；4、需求的假设是经认可的；5、需求必须通过业务部门的评审。二、合理与高效1、所有的功能的设计是合理的且便于计算机的实现；2、所有的输出结果是符合业务逻辑的；3、若业务逻辑需要优化，优化后的业务逻辑是合理的高效的；4、界面输入的所有的元素应被合理的处理；第241页 财达证券有限责任公司数据中心建设项目投标书5、需求是可测试的；6、去除了需求的不一致性与二义性。三、完整性1、整个系统是自成体系的，完整的；2、与其他系统的接口已定义明确；3、为将来业务的发展留有余地；4、审核中发现的问题已修正，好的建议已纳入。3概要设计说明书1、功能项划分覆盖需求分析中的所有功能点，处理流程清晰、合理；2、功能项命名规范、明确，便于理解阅读；3、功能项输入输出信息明确；4、系统运行性能应提出明确目标，包括系统资源占用率、简单和复杂交易的单笔交易处理时间，交易并发率，便于测试时验证是否达到设计的预定目标；5、系统的安全性设计应包含密钥、网络、数据、关键字段等几个方面；6、明确系统运行的网络环境，对系统硬件的要求，以及所用到的系统软件；7、数据库的设计符合数据库设计理论和应用开发规范；8、系统出错处理设计应考虑账务的安全性，符合业务要求、规范；9、提示信息的处理规范、明确、合理，易于管理维护；10、符合财达证券总体规划；11、符合财达证券制定的规范；12、通过财达证券评审。4详细设计说明书1、程序模块设计合理，符合结构化设计思想；2、子程序的设计合理且能够复用，避免同一功能编写多个子程序；3、程序模块的算法是正确且高效的，明确具体性能指标，便于单元测试时验证是否达到预期目标；4、程序逻辑流程描述清晰，返回信息规范统一；5、数据流程图能清晰表达设计思路；6、提示信息设计格式统一、信息齐全，错误信息文件分类明确，合理；7、伪代码的书写是符合伪代码编写规范；8、明确关联模块和接口之间的关系；9、通过财达证券评审。5集成测试计划1、明确测试计划的管理和资源要求；2、进行正确的风险评估；3、突出本轮测试重点；4、正确使用测试策略；5、明确测试目标；6、明确问题管理和变更控制。第241页 财达证券有限责任公司数据中心建设项目投标书6集成测试案例1、案例已覆盖到所有需要集成的功能；2、案例包括容错性的案例；3、所有的集成测试案例已按案例模板中的项目完成；4、案例已按相关性进行分类。7技术手册1、提供本软件系统的整体架构设计及每一个子系统的具体实现过程和有关知识，包括实现方法和具体处理流程；2、主要内容应包括：软件概述、安装与初始化、运行说明、每个子系统的设计实现方法和具体处理流程及对异常情况处理方法等；3、应通过财达证券评审。8安装手册1、明确说明安装的环境、设备和介质描述；2、明确说明安装的具体操作步骤；3、明确说明具体安装后的应用配置；4、说明测试安装是否成功的方法；5、列出常见的安装问题和解决办法；6、应通过财达证券评审8用户操作手册1、操作步骤方法已被清晰描述，向操作人员提供应用系统的每一个运行的具体过程和有关知识，包括操作方法的细节；2、应通过财达证券评审10培训计划1、确定培训后的预期结果，分析潜在的困难和问题；2、确定培训的时间安排和进度控制，各相关机构职责；3、确定培训的方法和培训环境；4、应通过财达证券评审。11用户培训手册1、说明要培训的对象、培训目的；2、具体列明培训的内容；3、具体说明系统运行所需的软硬件环境等；4、应通过财达证券评审。1.1.1知识转移一个先进的系统如果缺乏有效的管理和正确的使用方法，其效益将大大降低。做好系统各类使用人员相关技术培训对充分发挥系统的巨大效益，保障系统的充分利用和高效、可靠地持续运行具有重要的意义。此次项目合作，先进数通公司将协同产品原厂商负责组织对财达证券各类管理、操作和技术人员进行全面的高质量的培训。培训课程天数业务培训、使用培训2总体构架、关键技术培训2ADT-Moia产品使用、开发、维护介绍项目开发过程、方法培训3第241页 财达证券有限责任公司数据中心建设项目投标书系统安装、配置、管理、维护1培训地点用户现场培训人数不限，根据用户需要，双方协商确定。培训语言中文培训教材由先进数通提供培训教员由先进数通提供，并由用户认可。1.1实施计划变更本项目自启动后7.5个月内完成。如果因故引起项目周期上的变化，根据先进数通公司项目进度变更流程，向公司质量管理部和财达证券信息技术部汇报变更原因，同时提交变更后的项目计划。1.2项目阶段描述阶段阶段概述工作内容0.项目评估通过实施经验、资源最优化配置，评估项目关键要素、成本、工期。并据此确定项目实施策略。1.项目启动和负责人确定2.项目范围/可行性研究-项目范围-策略性的ISO体系3.策略性调整及计划-风险降低策略-项目计划4.利益的认知-获利策略1.项目启动项目启动以及建立管理整个项目实施过程管理构架。最终确认项目实施范围。1.初始项目计划-项目章程-项目组织-项目范围-项目策略2.项目流程第241页 财达证券有限责任公司数据中心建设项目投标书-项目管理的标准及流程-系统前景策略3.项目启动-项目启动准备4.技术需求计划5.项目小组相关培训2.系统蓝图根据整个项目范围并结合客户化管理诊断及实现的工作成果，针对系统功能交付，经双方讨论决定系统设计成果。为项目准备整体的变化管理和沟通程序，并且以此指导业务的开展。启动所有实施后续工作，比如数据转换、界面开发、培训、数据测试及质量保证等等。1.举行项目指导委员会会议，以及项目小组阶段汇总会议。2.进行项目小组功能培训。3.优化系统环境-技术设计4.确定业务组织结构-组织结构定义-组织更改计划5.定义业务流程-标准-蓝图-业务控制文档-主要业务流程清单-《软件需求规格说明书》6．修订、明晰项目计划-WBS-时间计划-跟踪控制表格3.实现根据上一阶段确定的流程设计，配置系统和完成模块测试。通过开展系统原型设计回顾会议及业务交流会议，为业务流程改变作准备。完成所有的软件开发需求，如：界面、数据转换、专门的客户开发、报表及表格。1.沟通管理-项目周报-各阶段项目协调会会议-项目小组例会-项目专题会议2.质量管理-各阶段成果用户评审-公司同行评审-个人成果交叉review3.系统管理-系统操作手册-系统测试计划和程序-系统运行支持计划第241页 财达证券有限责任公司数据中心建设项目投标书4.系统配置管理-配置计划-基本配置-最终配置5.客户化开发的编码、定制、单元测试等。6.开发数据转换等其它辅助程序。7.建立授权8.最终集成测试4.最后准备确保包括集成测试，数据转换，最终用户培训，及其他切换事宜在内的，系统上线准备工作就绪。1.最终用户培训，知识转移2.正式运作系统管理3.切换的详细计划-提供帮助流程-上线可行性评估报告-经获准的切换计划-系统应急处理计划-数据转换检查清单4.系统切换，投入运行5.上线及支持在系统正式投入运行的初期进行在线支持和管理，并且逐步完善系统从测试状态向正式生产状态的转变。1.系统试运行2.上线支持-保证所有业务流程运行结果有效3.试运行回顾6.后续支持负责系统的调谐，指导必要的后续培训，和实施后的回顾。帮助客户管理层确立获益计划和步骤。1.上线后的工作-进行后续培训-确定长期计划2.系统调谐3.执行和管理现行运作系统的操作4.将实际运作系统数据存档5.实施后的回顾-《项目总结报告》6.客户利益的实现1.1售后服务1.项目范围本项目范围的定义与对应的项目合同中规定的合同范围定义等同。包括项目开发范围和售后服务范围两部分。第241页 财达证券有限责任公司数据中心建设项目投标书项目开发范围的界定以双方签字认可的《项目范围说明书》（作为合同附件）为依据。售后服务范围定义为先进数通为了保证项目开发范围内的项目成果保持一定期限的有效性而应该做出的所有努力，其以投标-合同签署过程中，先进数通针对售后服务所做出的所有相关书面承诺为依据。1.售后服务期服务期起始时间：厂商产品的起保时间原则上从产品交付之日起开始计算；售后服务期限：按照惯例，本次软件开发项目先进数通提供一年的免费售后服务；售后服务工作量限定：本次项目先进数通在一年免费维护期中提供的现场维护服务工作量以不超过本项目《项目计划书》中确定总工作量的5％为限。1.1.1服务承诺u现场服务承诺q响应时限=5分钟q到达现场时限=3小时q解决问题时限=24小时u热线支持服务承诺q7*24小时服务q热线电话q服务内容说明u巡检服务q巡检服务频度（20工作日）q按用户要求安排巡检q巡检服务内容u网络支持q7*24小时IM服务q30分钟Mail服务q网上在线咨询及投诉系统（ISM）1.1.2故障级别的定义故障级别的定义根据下表进行处理。第241页 财达证券有限责任公司数据中心建设项目投标书编号故障级别故障现象P1一级故障现有的系统无法使用，对最终用户的业务运作产生了重大影响。应提供专职技术人员解决这种情况。P2二级故障现有的系统无法使用，需要尽快解决，否则将对最终用户的业务运作产生重大影响。应提供专职技术人员解决这种情况。P3三级故障现有系统可以使用，但是某些因素造成系统操作的不便、或者出现不可重现问题。应提供专职技术人员解决这种情况。P4四级故障在产品功能、安装或配置方面需要信息或支援。对最终用户的业务运作几乎无影响，或根本没有影响。应在标准工作时间内提供所需要的信息或支援。注：对于无法准确确认的故障级别原则上取上限定义级别。1.1.1障碍升级定义与标准确诊时限故障级别1级2级3级4级2小时客户支持经理4小时技术支持主管厂商技术支持客户支持经理8小时总经理技术支持主管厂商技术支持24小时公司总裁总经理36小时公司总裁客户支持经理72小时技术主管厂商技术支持客户支持经理120小时厂商技术支持注：工程师可以根据障碍性质直接升级到厂商技术支持。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1故障申报及修正流程1.1.2闭环的故障消除保障流程第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1技术支持架构1.1.2支持服务人员1.系统专家组由资深的系统技术专家组成，负责解决综合性的技术问题。2.产品专家组由资深产品专家组成，专门提供产品使用方面的技术支持或解决产品问题；提供相关产品的技术培训。3.应用专家组针对用户应用以及应用的范畴分工，由先进数通富有应用系统设计、开发和项目管理经验的技术人员组成，向用户提供应用系统的问题解决以及咨询等服务。4.支持服务管理组支持服务请求的上传下达，并对请求进行分工和落实；支持服务信息管理（记载、各处理点情况落实），承担技术管理的信息中枢；负责培训管理工作。5.项目支持组针对用户具体项目，由先进数通富有经验的项目经理组成，在一个完整的项目周期内，组织先进数通各职能部门建立项目团队，对项目进行方案设计、风险评估、实施、质量控制、培训等工作。6.先进数通公司第三方厂商协调员第241页 财达证券有限责任公司数据中心建设项目投标书负责同第三方厂商进行沟通和交流，取得第三方厂商的必要技术支持，并当第三方厂商直接对用户进行支持时，对其支持服务过程和质量进行监督。1.1.1技术支持服务内容基于上述支持服务体系以及和产品原厂商保持紧密合作关系，先进数通可为系统用户提供强大的支持服务能力，既支持长期持续的服务也支持短期大规模、高密度的集中投入。支持服务内容包括：系统规划与咨询服务提供基于数据交换平台系统相关的系统规划、需求分析、系统模型设计、系统架构设计、系统实施和项目管理等服务。安装配置服务提供系统相关产品和应用的现场安装、配置及培训服务。现场支持服务1、对于无法用非现场方式解决的应用系统故障问题，由先进数通派出技术人员提供现场服务。2、对于严重影响系统可用性的重大问题，保证技术服务人员在半小时内到达现场，并自接报24小时内解决问题。定期巡访服务按照“防患于未然”的系统服务原则，支持服务中心由经验丰富的系统工程师，按照规范的流程，定期进行一次数据库、工具软件、应用软件产品运行情况综合检查，并提供书面巡检报告。电话支持或网站支持先进数通提供7╳24小时咨询、支持服务，服务方式包括电话、传真、电子邮件、网站交流等。系统日常运行过程中遇到任何问题，可以直接拨打支持响应中心或通过支持服务网站发送服务支持请求，技术支持热线值班员对全部电话问题进行记录和分类，按照电话问题的类别分别转交支持中心各支持小组负责解决。各支持服务小组确定需解决问题的严重程度，并在2小时内负责提供解决方案；当系统问题无法在支持服务中心解决时，由技术支持热线值班员负责向上报告，并协调与其他产品供应商支持部门的联系；在建立集中系统问题支持库基础上，技术支持热线值班员必须保证70%的问题在热线中得到解决；对热线支持不能解决的问题，技术支持热线值班员保证1小时内回复用户有关问题解决情况或与用户确定解决方案,并且技术支持热线值班员实行首问负责制，对电话问题有责任跟踪直至解决。第241页 财达证券有限责任公司数据中心建设项目投标书远程诊断服务当系统在日常系统运行过程中遇到仅靠语言或文字描述而无法阐明的问题，而用户认为不必进行现场支持的情况下，先进数通支持服务中心将在取得用户同意的情况下，由资深系统工程师通过电话拨号（或互联网）进行远程诊断，以及时解决系统问题，向用户提交详细的检测报告，确保用户系统的正常运行。1.1.1先进数通支持服务流程对于系统建设投产后，先进数通公司提供以下渠道供对本项目的技术支持服务，包括：Ø支持服务24小时热线电话：4006766626Ø热线传真：010-68700510；Ø支持服务邮件：Data@adtec.com.cnØ公司网站：www.adtec.com.cnØWeb接入:http://eService.adtec.com.cnØ项目经理和核心技术人员电话支持支持服务流程说明如下：①.在支持服务中心人员得到客户请求后，启动售后支持服务。②.支持服务中心人员根据故障定义级别进行判断，采取相应操作。及时通知本项目技术支持人员对客户反馈的问题进行响应，③.技术支持人员对故障进行分析、定位，进一步确定故障级别，并采取相应的操作，包括但不限于：向上汇报、安排本地技术人员奔赴客户现场。第241页 财达证券有限责任公司数据中心建设项目投标书①.技术支持人员到达客户现场后负责问题分析，提供解决方案。在此过程中，技术支持人员可以寻求公司售后专家服务团队和厂商支持。②.根据解决方案，安排相关业务和技术人员进行解决方案的实施，并详细记录实施过程。③.在故障排除后，编写故障解决报告，提交客户进行评估。同时对类似问题进行分析，避免同类问题再次发生。支持服务负责人向支持服务中心发起故障关闭申请。④.支持服务中心得到故障服务关闭申请后，回访客户，在得到客户确认故障已排除后，关闭本故障服务，本次售后服务结束。支持服务人员包括但不限于：原项目项目经理、技术经理、关键技术人员、先进数通售后服务专家团队、相关厂商技术支持人员、相关技术和业务领域专家。时效性要求：按故障级别，定义不同响应时限，具体详见“障碍升级定义与标准”章节中的描述。1.1.1石家庄分支机构在河北石家庄设有办事处,位于建设路22号。配备技术支持及运维人员20人。1.1.2北京技术服务中心北京市海淀区车道沟1号滨河大厦D座4~6层。电话：010-68700076TAC:400-676-66261.1.3系统故障响应费用保修期内1名工程师免费驻场提供技术支持，2名工程师随时上门提供服务；保修期内无论热线支持或是上门服务均为免费服务。保修期外，上门服务为有偿服务,费用标准是2000元/人天。第241页 财达证券有限责任公司数据中心建设项目投标书1产品白皮书1.1InfoSphereDataStage产品介绍1.1.1产品简介DataStage企业版是IBM公司企业整合系列产品中的关键产品。DataStage企业版支持大容量数据的收集、整合和转换，数据从简单结构到很复杂的结构。基于高可扩展性的软件架构，企业版使得企业能够通过高性能来解决大部分业务问题，并行处理大容量数据。强大的企业元数据管理能力使得可以在数据整合生命周期中在所有工具中共享和使用工具。DataStage企业版提供了全面的功能去最优化用户在建立、升级和管理数据整合架构时的速度、灵活性和效率。减少了学习周期、简单化了管理和优化了开发资源的使用，减少数据整合应用的开发和维护周期。DataStage企业版使得企业能够花更少的时间开发他们的整合应用，更多的时间是不断的从中受益。DataStage企业版使用了Client-server架构，如下所示。图一、DataState企业版Client-Server架构用户通过各个客户端工具访问DataStage企业版的开发、配置和维护功能。这些工具包括：Designer：用来建立和编辑DataStage作业和表的定义。Designer中的“JobSequencer”控制作业的执行，其他作业成功完成（或失败，等）的条件。第241页 财达证券有限责任公司数据中心建设项目投标书Administrator：用来执行管理任务，如建立DataStage用户、建立和删除工程并且建立清洗标准。Manager：用来编辑管理用户工程的DataStage资料库。Director：用来验证、时序安排、运行和监测企业版作业。1.1.1特性介绍1.1.1.1多平台支持DataStage对WindowsNT,WindowsXP,Solaris,AIX,TRU64,HP-UX,Linux等多种平台提供支持。1.1.1.2强大的开发工作台Ø在同一个作业中支持多个/没有限制的数据源和目标顺序的,分等级的,相关的,继承的,WebEmail,指定管道,FTP,XML,信息排队,Web服务连接到通用数据库，如Oracle,DB2,Sybase,Informix,Teradata,SQLServer,等Ø400多个内嵌的routines和transformations资料库Øjobs,routines,transformations,tables的版本控制–很简单地提升开发到测试或到应用1.1.1.3易与使用的图形化界面开发第241页 财达证券有限责任公司数据中心建设项目投标书1.使开发、维护和调试变得容易2.只需要鼠标的点击即可完成数据整合3.基于组件的体系结构4.可重用性5.顺序开发,并行执行1.1.1.1种类丰富的内嵌组件DataStage为ETL应用开发提供了种类丰富的上百个内嵌组件。1.1.1.2提供整套对各类数据库支持的组件DataStage提供整套对各类数据库支持的组件，方便开发和维护。提供ODBC和Native两种连接形式。即保障对数据库支持的全面性和通用性，又保障对特色数据库操作的高效。1.1.1.3可视化的流程控制开发1.可视的任务控制无需脚本语言2.对处理条件的完全支持3.支持等待文件上传,ftp结果,email通知等第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1方便调用系统脚本和外部过程1.1.1.2提供方便的任务调度功能第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1提供详细日志用于任务运行的审查1.1.1.2图形化动态监控DataStage提供图形化的动态监控，用于监视ETL工作流程的进度和性能，帮助发现流程中的瓶颈.第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1并行引擎特性介绍DataStage企业版特有的并行引擎可以为您的ETL任务带来易于使用的高效运行能力和横向无限扩展能力。1.1.1.1.1数据流水线DataStage企业版使用数据流水线方式保障一只数据流在处理过程中无需落地，节省I/O时间。Ø传统方式Ø数据流水线方式第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1.1数据分区DataStage使用数据分区的方式保障充分利用硬件性能，将不同数据的同一操作运行于不同的处理器。具有高扩展性。1.1.1.1.2数据流线水+数据分区DataStage的并行引擎包含了数据流水线机制+数据分区机制，两种机制可同时生效。1.1.1.1.3被证明的大数据量处理DataStage拥有被证明的大数据量处理能力，可充分利用SMP,集群和MPP等环境资源，具有线性扩展能力。第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1.1并行RDBMS支持DataStage并行引擎直接支持DB2，Oracle，Teradata的并行机制，在DataStage企业版中操作上述数据库，可直接并行执行，性能更高。1.1.1.1.2透明的并行机制DataStage企业版透明化了并行机制，自动进行数据分区，重分区以及流水线机制，同一程序可以在单CPU,多CPU,或多节点上运行，用户无需要担心：Ø变化的机器配置Ø可能的死锁/同步BUGØ应用轻便性Ø并行调试第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1.1并行机制的硬件无关性DataStage任务的并行度由配置文件中的逻辑节点决定，与硬件无关，当遇到硬件扩展时，仅需修改配置文件即可。1.2InfoSphereCDC产品介绍InfoSphereChangeDataCapture是IBM信息集成产品家族中的重要产品，它广泛应用在信息集成的多个领域中：比如跨地域数据采集和交换，企业内部数据交换平台，统一客户信息等业务视图，实现第241页 财达证券有限责任公司数据中心建设项目投标书查询系统与业务系统分离，业务系统高效镜象备份，扩展商业智能应用，以及主机/AS400的与开放平台数据交换等。产品架构如图：1.1.1InfoSphereCDC的技术特点通过对当前用户需求的分析，搭建以IBMInfoSphereChangeDataCapture为核心的解决方案，来实现用户需求的功能，如下图：DatabaseLogsSourceEngineTargetEngineTCP/IPMQMonitoringandConfigurationDatabaseMessageQueueWebServicesBusinessProcessDB2,Oracle,SQLServer,etcFlatfiles方案利用IBMInfoSphereChangeDataCapture提供的复制能力，在不同的数据库之间复制数据。复制的方式可以是一个源对多个目标，也可以是多个源对一个目标，从而实现数据整合、业务分离、热备灾备的功能要求。1.1.1.1多种方式实现数据传输InfoSphereCDC不仅可以将数据以静态批量的方式传输到其他数据库中，也可以捕获数据的变化并将变化传输到其他数据库中，从而实现数据的镜像。此外InfoSphere第241页 财达证券有限责任公司数据中心建设项目投标书CDC甚至可以实现不同数据库中两个表的双向同步，即可以使两个地方的应用同时使用本地的数据库，并且保持着两个数据库的一致。在此基础上，用户可以实现定时传输、准实时镜像，进一步实现链式传输（EAI的基础），多点同步的对等数据传输方式。InfoSphereCDC可以提供确保传输的能力，这样当通讯中断时传输停止，一旦通讯恢复，InfoSphereCDC可以继续传输，直到完成任务或实现同步。1.1.1.1数据传输的平台无关性为了使用户的数据在复杂的环境下可以方便地传输到任何地方，InfoSphereCDC尽其所能提供数据传输的平台无关性。目前可以支持绝大多数主流的硬件平台、操作系统、通讯方式和数据库类型。1.1.1.2对等的体系结构当InfoSphereCDC在一个系统上安装后，这个系统就既可以担当发行者(Publisher)的角色，也可以担当订阅者(Subscriber)的角色，而不是一般简单的Client-Server方式。这样无论多么复杂的数据分布情况，用这个模式都可以方便地实现数据传输。1.1.1.3ManagementConsole统一的数据传输管理器因为数据是分散在不同的平台上的，所以对应的InfoSphereCDC也是分散的。为了使数据的传输可以被方便有效地管理，EnterpriseAdministrator可以在一个节点上统一控制整个系统的数据传输方法，而不必到各个平台上去分别地修改各自的配置。同时EnterpriseAdministrator是基于Java技术建造的，在WindowsNT/2000和UNIX上都可以运行，而且界面是相同的。InfoSphereCDC的全部技术努力方向就是使数据可以在复杂的环境中根据用户的要求平滑地流动，尽量减少用户的工作强度，避免对现有系统和应用进行改动。1.1.2InfoSphereCDCapture解决方案的优势基于InfoSphereChangeDataCapture的技术方案存在很多技术上的优势：1.对源系统的影响小。InfoSphereChangeDataCapture通过监控源数据库的日志文件来获取数据变化，对源数据库的影响很小。2.实现准实时的数据复制，支持快速响应业务的变化。3.复制技术提高性能，确保传输质量，简化管理。4.支持众多数据库系统，包括DB2，Informix，Oracle，SQLServer等。5.支持多种操作系统，包括AIX，Linux，SUNUnix，Windows等。第241页 财达证券有限责任公司数据中心建设项目投标书1.高可扩展能力，并且可以通过和WebSphereFederationServer的集成，提供对ODBC等多种不同数据源的支持。2.支持各种异构数据源1.1.1InfoSphereCDC方案的特性InfoSphereChangeDataCapture方案特性如下：1.实现大数据量、快速响应的复制功能，以帮助实现业务连续性、负载均衡、数据集成等功能要求。2.实现数据的高可用性，支持关键应用。3.在数据源和目标之间维护数据的一致性。尽最大可能实现实时的数据复制。4.通过近于实时的数据复制能力，支持经营决策，实现快速响应。5.通过数据复制，实现对不同数据库的数据整合、数据分发功能。并且这些数据库可以存储于不同的位置。6.实现低延迟、高吞吐量的数据同步，能够在不同的服务器、数据中心之间均衡分担应用负载。7.管理简便，方便的实现数据复制与交换。1.1.2使用InfoSphereCDC用户可以得到的利益1.1.2.1获得统一的技术平台使用InfoSphereCDC用户可以在一个统一的平台上完成各类数据的传输工作，因为InfoSphereCDC在设计上着重体现了平台无关性，以适应各种复杂条件，越复杂的硬件、操作系统数据库环境越体现出优点。InfoSphereCDC支持的平台不仅包括各种UNIX平台和Windows系列的平台，也包括一些执行关键任务的OS/390、OS/400等。这样用户就可以将拥有的数据在逻辑上统一起来，实现在统一技术下的数据调度和分配，用户不用再面对各式各样的传输方法和技术，也不用再面对这些方法和技术发生变化时带来的众多麻烦，当新的情况出现时已不必再担心了。1.1.2.2减少应用的变动和开发InfoSphereCDC设计了很多适应复杂情况的特性，包括各种筛选和计算功能。支持各处的出口(Exit)程序，使其能够在不影响用户现有应用结构的情况下满足用户的各种特殊需要。所以使用InfoSphereCDC，过去很多客户需要进行开发才能完成的功能，现在可以直接实现。减少开发对于企业降低成本、增加系统的稳定性来说是有很大好处的，并且拥有了更好的扩展性。1.1.2.3方便而统一的数据控制InfoSphereCDC使用对等的体系结构，使得配置系统的灵活性很大而且拓扑结构很简单，可以方便地满足用户的各种要求，而且易于变化。EnterpriseAdministrator的使用更可以使企业全部数据流动由一个终端统一控制，大大减轻了系统管理员的工作，并且避免了混乱。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1提高信息系统的性能由于InfoSphereCDC应用的便利性，使得系统管理员更有精力和能力考虑数据的合理分配。数据的合理分配可以为企业的信息系统带来非常多的好处：*数据可以更加靠近相关程序，提高系统响应速度*不被严格控制的访问可以访问数据的镜像，可以提高生产系统的安全*大量的查询访问可以访问镜像或备份，可以为生产系统平衡负载*可以维护多点的数据一致，保证用户数据的一致*可以为数据进行备份，提高系统的容灾能力等等1.2CognosBI产品介绍1.2.1产品架构Cognos为基于SOA构架的多层结构,通过集中的服务为用户提供查询，报表，分析，事件管理等各种应用，服务采用WebService,XML等行业标准协议，能够很好的和企业各种系统进行集成，提供服务。通过集中的服务，可以访问企业中各种数据源，包括数据仓库，数据库，OLAP数据源等。同时不管是普通用户，还是管理员都通过没有插件，没有Applet的纯浏览器界面进行各种应用的访问和管理。真正实现了零安装，零维护。第241页 财达证券有限责任公司数据中心建设项目投标书Cognos8是唯一一个通过一个产品，一种Web构架，基于企业所有数据源，面向企业所有用户提供完整的BI功能的产品。说明：Cognos为基于SOA构架的多层结构数据层Cognos具有开放的数据访问。能够访问企业的各种数据源，包括各种关系型数据库，多维数据源，EXCEL,TXT等文本文件，以及XML等各种其他数据源在数据源层,Cognos可以通过直接访问的方式，对数据源进行连接，也可以通过ETL工具对数据源进行清洗，转换和加载，形成企业信息平台，企业数据仓库。然后将企业数据仓库作为应用的数据源。不管是基于何种数据源，或是多种数据源，Cognos都可以进行统一的元数据管理，为应用提供一致，统一的视图。保证应用的数据一致性和准确性。涉及Cognos产品：ØCognosFrameWorkManager(元数据模型设计工具)ØCognosTransformationServer(OLAPServer)Cognos应用服务层Cognos应用服务层为用户提供了分析服务，查询服务，报表服务，事件管理服务，平衡记分卡服务等各种BI应用服务在Cognos的应用服务器层采用了BIBUS的技术，可以灵活的实现各种服务之间数据及其他信息的共享。可以方便的进行扩展。实现了不同主题之间的相互钻取，报表之间的相互钻取，分析主题和报表之间的相互钻取。实现了平衡记分卡和报表之间的无缝集成。实现了事件对第241页 财达证券有限责任公司数据中心建设项目投标书各种分析，查询，报表等内容的监控和管理。实现了系统的自动化。涉及产品模块:ØCognosBIServer(CognosBI服务)WebServer层WebServer层实现用户和后台服务之间请求和结果的交互浏览器层Cognos提供了统一的门户，为用户提供统一的信息访问入口。用户可以通过门户访问到各种报表，分析，查询，定义事件，监控关键指标。同时可通过简单的配置方式灵活的定制个人页面，形成用户个性化门户。涉及产品模块：ØCognosConnection（门户）ØReportStudio(专业的报表制作工具)ØQueryStudio(用户自助查询的工具)ØAnalysisStudio(用户多维分析工具)ØEventStudio(用户事件管理工具)所有应用又可以和企业现有的系统实现集成。除此之外，Cognos还可以和Office软件进行紧密的集成。用户可以使用Cognos的OfficeConnection组件，直接在微软Office中进行报表的查看，比如在Excel中对数据进行运算等各种操作，直接在PowerPoint中展现报表内容等。使Cognos和Office产品的功能完美的无缝集成到一起。对于熟悉使用Office产品的用户基本上不需要培训。用户在Excel中对数据进行了计算，修改等各种操作之后，还可以直接将结果上传到服务器上，共享给其他用户。涉及产品模块：OfficeConnection1.1.1主要模块1.1.1.1CognosTransformationServerCognosTransformationServer是Cognos提供的企业级OLAP服务器，它将从各类数据源（数据库、数据仓库、平面文件）中精心筛选出来的“黄金”数据创建成称为PowerCubes的多维数据立方体。立方体是按探察业务的OLAP多维因素分析模型的设计创建，通过对多维数据立方体的OLAP分析，用户可以辨明趋势、跟踪业务运作、创建高效的统计汇总报表。CognosTransformationServer具有极高的存储效率和响应速度，完全脱离了关系型数据库在性能和存储空间效率上的羁绊，保证用户在访问数据时达到秒级的响应速度。CognosTransformationServer特点Ø友好的开发设计界面Ø高速的多维立方体创建Ø支持时间分区的虚拟Cube技术Ø支持增量更新Ø支持全方位的权限控制Ø异构数据源处理能力Ø高数据压缩比第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1CognosAnalysisStudioAnalysisStudio是能够向各种用户提供综合的OLAP多角度，多层次，多指标的分析，它允许IT部门在Internet、Intranet和Extranet环境中向系统中的每一个用户迅速而经济有效地部署强有力的报表和分析功能。能够轻松地将分析扩展到上千个用户。AnalysisStudio的多维分析功能全面支持MOLAP和ROLAP，不管是多维立方体还是关系型数据库，用户都可以进行多维分析。用户只需要在Web界面中通过简单的鼠标拖拽等操作，就可以进行各种OLAP分析，如上钻，下钻，切片，旋转，切块等，同时Cognos支持用户进行混合粒度的分析，支持用户自定义子集，支持混合维度的分析，支持多维立方体之间的相互钻取，多维立方体和关系型数据库之间的钻取，能够使用用户从宏观到微观的决策思路和过程。从而迅速的发现问题，确定趋势，找到问题发生原因。AnalysisStudio可以提供零客户端，没有插件，没有Applet的纯Web访问方式，具有易用性出色的使用界面，同时又使得部署成本降到最低。它不仅能够让系统中的每一位用户都能够轻松自如地访问重要数据，从而更有效地管理其业务，作出正确决策；还能对关键数据进行多维分析和统计汇总报表制作，从而展现整个行业或大环境的发展的趋势、跟踪主要性能指标(KPI)、控制流程运作、有力支持高层决策。而这一切仅需用户通过鼠标托拽操作来完成。还提供了HTML、PDF甚至是XML等多种输出格式.1.1.1.2CognosReportStudioCognosReportStudio提供了专业的报表功能，报表支持多页设计，支持多查询，每个查询支持多数据源。报表的制作，发布，共享，权限控制等都是采用没有插件的纯浏览器方式。用户只需要在浏览器中通过简单的鼠标拖拽，属性设置等操作就能进行各种报表的制作，如列表，交叉表，图表，财务报表，地图报表，仪表盘报表，KPI报表，甚至是中国式的复杂嵌套表头的非平衡报表都可以直接通过鼠标拖拽的方式实现。还能够进行交叉表中点的公式定义。整个过程不需要编写程序。强大的报表制作和展示功能能够制作/展示任何形式的报表，其纯粹的Web界面使用方式又使得部署成本和管理成本降到最低。ReportStudio还提供了HTML、PDF甚至是XML等多种输出格式，提供给用户最全面报表功能。1.1.1.3CognosQueryStudioCognosQueryStudio查询功能提供给用户自助式的即席查询功能，用户可以按照自己的需要通过鼠标拖拽的方式查询自己关心的内容，设置查询条件，设置过滤，定义格式，套用模版，通过自助式的查询，大大提高了用户得到个性化信息的速度。用户的操作可以完全基于业务的逻辑，而不需要理解复杂的数据库结构，SQL语法等。用户的操作过程基本上不需要培训。同时查询的结果可以方便的生成HTML、PDF甚至是XML等多种输出格式，提供给用户最全面的数据查询和即席报表展现功能。同时通过简单的点击鼠标的操作就可以将个性化的查询就行保存和共享。真正实现了用户的自助操作。是用户使用起来得心应手。1.1.1.4CognosEventStudioCognosEventStudio能够对系统进行自动的监控和管理，适时通过门户新闻，EMAIL等方式通知和提醒用户，能够自动启动业务处理，触发各种任务的执行，如：报表执行，新闻发布，数据库刷新，EMAIL，系统备份等。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1CognosFrameWorkManagerCognos的元数据模型设计工具FrameWorkManger可以连接企业的各种数据源（包括关系型数据库，多维数据库，文本，OLAP等），对数据结构进行描述，为Cognos的多维分析，即席查询，报表等各种应用提供统一一致的数据视图，降低对企业数据访问的复杂性，同时提供对各种应用使用的结构的统一的管理。通过元数据模型，系统为用户的各种应用访问屏蔽了使用中对数据结构的理解障碍，同时当后台数据结构发生变化的时候，只需要对元数据模型进行简单的修改就可以了，基于元数据模型的应用不需要修改，保证了应用的相对稳定性，最大限度的提高了系统适应复杂应用环境的能力。同时FrameWorkManager支持CWM标准能够和各种ETL工具，数据库，数据仓库，模型设计工具进行元数据的交换。CognosFrameWorkManger可以为其它元数据管理软件提供符合CWM标准的元数据。方便进行企业元数据的统一管理和维护。同时可进行版本控制，还能和多种版本控制软件进行连接和集成。1.1.2可扩展性Cognos解决方案具有非常优异的可扩展性。其服务组件，包括数据存储，CognosOLAPServer，Cognos前端展现等软件都提供了良好的可扩展性。使得报表系统在增加新的应用、用户和数据时，在整个信息展现平台解决方案的各个层次，都能通过线形的扩展适应变化，不会存在瓶颈。可保护原有投资，降低企业部署的总体成本。如上图，cognos的采用了SOA构架，可扩展性体现在整个系统各个层面，1）可同时访问任意数据源（关系型、多维数据源）。2）可扩展到任意安全性认证源。3）产品可安装在任意硬件平台上，支持多应用服务器，支持异构服务器集群。4）支持全球所有语言（代码集），支持所有货币，日期等数据格式。5）基于WebService的二次开发集成接口。6）支持Portlet协议标准的门户集成接口。第241页 财达证券有限责任公司数据中心建设项目投标书1）浏览器实现所有功能（查看、设计、管理、监控）。2）即装即用的可配置化功能安装，一个平台、构架实现所有功能。1.1.1安全性Cognos信息展现平台解决方案中，安全性控制系统是基于统一的安全性控制模块的。它通过对整个系统、产品模块、应用主题、报表、底层数据五个层次的完全安全性管理，提供细化到单元格级的安全性控制能力；同时，Cognos信息展现平台解决方案中还开放了安全性控制接口，既可以将第三方安全性机制通过引入Cognos信息展现平台解决方案中（例如采用Windows域安全性，OA用户认证等）。1.1.1.1支持多种认证源Cognos系统可以同时支持多种业界主流的认证源，例如：ØActiveDirectoryServerØCognosSeries7（NetscapeDirectoryServer）ØeTrustSiteMinderØLDAPØNTLM还提供了JavaProvider接口，可以实现与其他任意安全性构架的整合。1.1.1.2多层次安全性控制Cognos提供了多层次的安全性控制。通过对整个系统、产品模块、应用主题、报表、底层数据五个层次的完全安全性管理，提供细化到单元格级的安全性控制能力。统一的信息展现平台实现了数据信息集中，用户访问集中，这两方面的集中带来的首要问题就是如何保护数据的安全。保护数据安全具有两方面含义，一方面是如何防止未经授权的用户访问各种应用，另一方面是如何限定系统内的用户对数据访问的权限。与其相对应，安全性控制系统的主要作用就包含对内对外两个要点：Ø对外将整个应用控制在统一认证之内，防止系统外的用户获得系统内的任何信息和数据；Ø对内实现对信息平台系统用户的权限划分和管理，为不同用户、不同角色提供相应的局部数据视图，防止用户越权访问数据和信息。1.1.1.3安全性集成大型企业的信息展现平台系统的安全性必须是无缝集成，具体体现在系统必须实现统一用户管理、统一登录检测和统一权限管理。不同应用系统的工具都有各自的用户权限管理机制和登录检测功能，如果用户在使用信息展现平台系统时需要反复登录，在进入业务系统时也要在多处进行增、删、改操作，会造成系统使用上的相当不便，所以一个好的信息展现平台系统必须要解决这些问题。统一用户管理就是要求系统中多个工具在用户上保持一致，主要体现在当系统创建用户、删除用户、修改用户或口令时，必须由系统程序控制同时在所有相关工具中创建、修改、删除用户或口令。统一登录检测是指最终用户登录一个工具后，进入第二个工具时无需再次输入用户名、口令即可工作。统一功能权限管理是指利用工具提供的API第241页 财达证券有限责任公司数据中心建设项目投标书接口编程实现，使系统能够统一维护所有工具的数据和功能权限。1.1.1灵活性1.1.1.1开放灵活的数据访问用户可以访问各种数据源，包括关系型数据库，数据仓库，MOLAP,ROLAP等各种数据源，基于这些数据源制作报表，分析，这些数据源包括：关系型数据库包括IBMDB2,Oracle,MSSQLServer,NCRTeradata,Sybase,SybaseIQ，Informix，ODBC,等)OLAP：CognosPowerCubes,CognosPlanningContributorCubes,andCognosFinanceCubes，MSAS,IBMDB2/OLAP,HyperionEssbase，SAPBW等OLAP。其它：XML,JDBC,LDAP,WSDL等对于关系型数据库的内容，也可以定义维度等内容，使用户能够像操作Cube一样对关系型数据库中数据进行分析。同时Cognos强大报表功能也扩展到了OLAP数据源。可直接通过对OLAP数据源进行访问，生成查询和报表。及Cognos的多维分析，查询，报表功能能够给予各种关系型数据库，数据仓库，多维数据库（OLAP）数据源，最大限度为用户屏蔽了访问数据的障碍。1.1.1.2完整的数据展现方案Cognos具有企业级的OLAPServer,能够为用户的分析，报表等各种应用提供高效的秒级响应。用户能结合关系型与多维的优势，提供最佳数据展现方案。CognosOLAPServer的特点：1极快的数据立方体生成速度2压缩型数据立方体，通常为原始数据占用空间的十分之一，甚至更小3支持对异构数据源的读取4文件型的数据立方体，避免对数据库的开销5支持虚拟Cube技术，能够基于时间进行增量更新，能够基于时间进行定点更新，支持超大数据量6智能的高速缓存技术，支持大用户并发访问7OLAP模型设计界面友好，不需要编写程序1.1.1.3灵活的元数据管理cognos具有一致，统一的元数据管理，同时在元数据层具有完备的安全性控制，可以控制模块安全性，报表级安全性，数据行列安全性甚至到单元格的数据。能够为整个企业提供一致的数据视图。由管理员或高级用户定义元数据模型，管理种类繁多的字段、表连接、视图等等对象，并且元数据可以贯穿整个Cognos应用始终，便于最终用户探查细节数据。能够平滑的适应从简单到复杂的应用环境。1.1.1.4灵活的报表设计A)纯浏览器方式：第241页 财达证券有限责任公司数据中心建设项目投标书cognos采用的是纯浏览器方式(无插件，无Applet)，整个系统中最终用户的使用界面为真正的零安装、零维护。用户在任何地点，任何环境都能维护系统。B)多数据源：cognos可以同时连接多数据源，甚至异构数据源，一个报表中可以分页设计，每页都可以进行多查询，每个查询可以连接多个数据源。从而使系统能够很好的应用在复杂环境中。C)存储过程：Cognos对各种数据库的存储过程都能友好的支持。可直接将存储过程返回的结果集字段以表的形式展现，还可以做存储过程和存储过程以及存储过程与数据库表之间的连接。减少了开发人员的工作量，增加了最终用户使用的友好性。D)报表制作的方便性：Cognos在纯浏览器界面中，提供了基于鼠标拖拽的强大的格式定义能力，其优异的XML可视化报表定义方式，可以使用户非常方便的控制报表中内容的精确布局，也可以很方便的制作中国特色的非平衡报表。只需要做简单的操作就可以完成穿透钻取，级联提示等功能。使得最终用户可以自己制作个性化的报表，IT部门从烦杂重复劳动中解脱出来，将精力集中在如何利用数据。E)报表内容：Cognos可以将包括声音，视频，图形，表格，文字，关系行数据库内容，OLAP等任何有用的信息集成在报表中，同时这些内容还可以和查询相关联，使报表的内容声色并茂，内容饱满，充实。F)穿透钻取：Cognos的各个模块能够紧密集成，能够迅速有效地传递数据流和安全性信息，用户可以从一个主题钻取到另一个主题，其独特的分析后的查询，使用户能够通过OLAP分析再穿透钻取到相关的明细数据，适应了用户的分析和使用习惯，从而能从业务上层次上跟踪发生了什么问题和为什么发生了这样的问题。G)高级报表功能：Cognos可以很方便的制作KPI，平衡记分卡，仪表盘等各种高级报表。可直接访问OLAP和关系型数据源制作报表支持在图形等内容上进行钻取支持在报表制作过程中使用MDX（直接查询Cube），使用SQL（查询关系型数据库）支持交叉表中点公式定义。可直接制作非平衡报表，比如将不同维度或字段的内容在同一行或列展现，将同一个维度中不同粒度的节点同时展现。在报表制作过程中进行查询的连接，交并补关系设置更为方便支持仪表盘功能支持GIS地图报表可在图形中添加基本线，标注等，比如表达式的结果，平均，最大最小，标准偏差等1.1.1.1报表发布Cognos中，所有数据立方体、报表、图表、分析，查询等等对象都可以发布到统一的信息门户中，做到信息集中，为使用者的访问增加便捷。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1.1开放APICognos作为一个企业级的端对端的解决方案，产品本身已经提供了全面完备的功能。同时Cognos也完全开放API供企业内部不同应用系统的集成和根据用户需求所作的二次开发1.1.1.2负载均横Cognos产品是为企业级应用精心设计的，具有良好的可扩展性能，其服务器本身就具有智能的负载均衡功能，能根据实际使用情况对各个的模块进行负载，满足企业级大用户数并发访问的要求，需要加入一台新的服务器，通过简单的注册就能加入到整个扩展环境中参与负载；并且支持Windows、UNIX混和环境的负载均衡，能最大限度的利用现有资源保护已有投资。1.1.1.3对资源的利用Cognos采用的无状态连接，服务器只有在用户进行动态操作时才会使用，能更有效的使用系统资源，支持更多用户并发。同时Cognos采用了多线程机制，每个用户请求对系统资源的占用少，能最大化资源的利用和用户并发，即使某个用户请求出了问题，不会影响其他请求，系统还能照常运行。1.1.1.4对数据库优化的适应Cognos具有动态SQL方式，可根据用户的环境，用户对条件的选择动态的生成查询，能最大限度的适应数据库结构针对性能的优化。1.1.1.5多种级别的设计方式Cognos具有多级别的设计方式，允许用户在模拟数据或是采样数据的情况下对查询和报表进行设计，设计完成之后只需要选择在全数据模式下运行就可以了，能最大限度的降低对数据库的压力。1.1.1.6CognosBIBUSCognos的BIBUS为Cognos的产品提供了统一的接口和标准，使得系统模块之间的信息共享，系统的升级和融合变得非常容易。1.1.1.7事件管理Cognoseventstudio,通过其可以在影响业务的事件发生时对用户进行自动的提醒，你可以通过Agent对事件的条件进行定义，设置处理事件的任务。从而为系统提供全面的监控，对用户进行及时提醒。1.1.1.8和Office产品紧密集成Cognos提供了OfficeConnection,可以将Cognos和Office功能进行完美的结合，用户可以直接在Office产品中进行报表的查看，对数据进行运算等各种操作，使Cognos和Excel的功能完美的无缝集成到一起。用户在Excel中对数据进行了计算，修改等各种操作之后，还可以直接将结果上传到服务器上，共享给其他用户。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1流程1）ETLETL(Extraction，Transformation，Loading)能够将各个系统的数据通过抽取，清洗加载等各种操作将数据集中到数据仓库中，形成数据平台。2）集中数据库集中数据库是作为企业信息平台的一个统一的共享的数据平台。通过主题划分创建数据集市，使用共享维技术，实现维度共享。消除了以往基于各个应用系统的展现和数据访问存在的信息孤岛的问题。数据仓库能够为多维分析，查询，报表等各种前端展现提供所需要的、整齐一致的数据。3）OLAPOLAP按照主题为用户提供多角度，多层次，多指标的在线分析和处理。从而将这些数据转化为企业决策所需的信息。同时OLAPServer具备了大数据量大用户访问下高效响应的能力。4）元数据模型对企业的各种数据源进行描述，从而为企业应用提供统一、一致的视图，从而保证前端应用数据的准确性，并且极大的降低系统的开发难度和维护难度。5）前端展现前端展现通过各种分析，查询，报表服务，将各种用的信息灵活的展现给用户。并且通过各种灵活的功能辅助用户进行有效的决策。6）门户系统不管数据是来自什么系统，不管是分析，查询还是报表，用户都可以通过统一展现平台的门户，通过统一认证一次登录之后进行访问。第241页 财达证券有限责任公司数据中心建设项目投标书1.1InfoSphereWarehouse产品介绍1.1.1产品架构我们的目标是使用InfoSphereWarehouse这样一个平台，提供一组完整的紧密整合的服务来满足我们业务的指导原则和目标。IBM提供了极具扩展性的企业级的数据库，根据应用的性能特点提供任何类型的应用的支持。InfoSphereWarehouse提供了开箱即用的数据移动加载和转换的能力，用来降低数据加载的复杂程度，使用更低的成本为数据仓库准备数据，使仓库中的数据被更有效的利用。InfoSphereWarehouse使用一组性能优化组建来满足企业更高的要求，包括可线性扩展的数据库分区，用来优化查询的工作量负载管理，工作负载管理可以确保最关键的应用被快速处理。高效深度压缩可以增强数据仓库的效率，降低存储成本。利用InfoSphereWarehouse，可以把应用的分析能力作为可用的服务提供出来，与数据挖掘和分析展现配合，帮助用户在动态变化的业务环境中获取更高的商业洞察力。这些服务被内置在InfoSphereWarehouse中，用以提供更优的性能、提高效率、降低成本。InfoSphereWarehouse也为数据模型的建模和设计提供一些列通用的开发工具，以及管理和控制Warehouse的相关服务，使数据仓库更容易使用和管理。1.1.2产品功能特性1.1.2.1获取事实的单一版本实时访问准确且受信任的信息能够帮助企业获取竞争优势。然而，IT第241页 财达证券有限责任公司数据中心建设项目投标书团队面临对业务用户的信息需求做出迅速响应的挑战，而传统的僵化的数据仓库和孤立的商业智能解决方案成为他们最大的障碍。很多企业都拥有多个数据集市和数据仓库，这可能导致完全不同的、互相冲突的数据。此外，大多数分析解决方案都是与数据仓库分离的，这导致了维护问题，并且需要用户在使用这些解决方案之前将所有数据从数据仓库中复制出来。IT团队需要一种使他们能够支持“单一事实版本”的业务需求的解决方案，同时必须控制成本、适应不断增长的数据量以及满足越来越多的用户对实时洞察力的需求。InfoSphere®Warehouse解决方案是一个完整的、多用途的环境，它允许用户访问、分析和操作任何类型的信息，不管是结构化数据还是非结构化数据、运营数据还是交易数据、实时数据还是历史数据。InfoSphereWarehouse提供了用于帮助数据仓库架构师和管理员有效地设计和维护企业数据仓库所需的工具和基础设施。此外，它还是一个开放且基于标准的解决方案，包括数据库、管理和交付工具以及嵌入式分析，以帮助用户创建功能强大、灵活和经济高效的数据仓库解决方案。该解决方案允许用户更深入地分析所有业务数据，更深入地挖掘隐含的关系、模式和趋势，并且通过可靠的、实时的深入理解做出迅速响应。1.1.1.1完整的、完全集成的数据仓库InfoSphereWarehouse是适用于动态数据仓库解决方案的理想平台，因为它提供了远远超越传统数据仓库的强大功能。它的一些关键组件能够帮助您交付动态的业务洞察力，这些组件是完全集成到数据库仓库中的。解决方案包括一组完备的功能和经过验证的IBM技术。功能强大的DB2数据库基础IBMDB2v9是InfoSphereWarehouse解决方案的基础。利用其具有强大可伸缩性和不共享的分布式架构，DB2v9提供了高性能的混合工作负载查询处理（既可查询关系数据，也可以查询XML数据）。大量高级特性使DB2v9成为一个功能强大的动态数据仓库引擎，这些特性包括数据分区、行级别压缩、多维集群以及物化查询表（MQT）。DB2v9MQT和多维集群也有助于提高性能。MQT是一种经过预先汇总和预先聚合的表，它将查询结果保存为数据。DB2软件优化器能够透明地将来自基本表的查询重新定向到匹配的MQT，从而极大地提高复杂聚合查询的性能。DB2中的普通表和MQT可以跨多维集群进行组织，以帮助优化磁盘I/O和加载/卸载操作，从而提高分析查询性能。轻松集成了公共代码管理库（例如IBMRationalClearCase®软件和ConcurrentVersionsSystem工具），支持协作团队开发。基于Web的管理控制台功能为数据库管理员和架构师提供了用于在产品运行时环境中部署和管理DB2Warehouse操作所需的工具。为帮助用户更快地理解和利用新的环境，InfoSphereWarehouse包括了一个样本数据库环境和手把手的教程，适用于开发和部署用来提供动态业务洞察力的解决方案。建模和设计工具InfoSphereWarehouse包括基于IBMRational®DataArchitect软件并且能与其进行互操作的建模和设计工具，从而支持用户对物理数据库模式进行设计、建模和实施逆向工程。它提供了一组完备的功能，包括对某个数据库或整个企业进行物理数据建模、模型验证、遵从性分析、影响分析以及变更管理。嵌入式数据移动和转换InfoSphereWarehouse中包含一个用于数据仓库构建和管理的强大图形工具。该工具提供了一组数据流、控制和转换运算符，它们被编译到SQL中，专门针对DB2第241页 财达证券有限责任公司数据中心建设项目投标书进行操作且可以在数据仓库中运行。该工具允许用户更有效地准备和填充数据仓库分析结构，以便进行数据挖掘、多维分析和嵌入式分析。1.1.1.1数据分区InfoSphereWarehouse提供了高级的数据分区功能，为用户提供了将数据分发给多个服务器的多种方式，以实现大规模的并行操作和线性的可伸缩性。不共享的架构有助于确保性能不会由于数据仓库容量增长而下降。由于InfoSphereWarehouse能够在物理上建立多维数据集群，并按照值的范围对数据进行排序，以及将I/O限制到相关的数据分区上，因此它能够极大地减少处理大量查询所需的工作量。此外，按照多个属性对数据进行分组的功能免除了在这些属性上建立索引的需要，从而减少存储需求并降低更新成本。 分区功能包括数据库分区和表分区。数据库的多分区功能可以通过将数据库存放在一个或多个服务器组成的多个分区上，从而更好的管理大型数据库。它提供更大的灵活性和扩展性。并且用户的应用并不需要因此而改变，和数据库在单分区下的使用是基本相同的。经常的，客户使用多分区功能来处理大型的数据库时大都是讲数据库分布在多台强大的服务器上，而不仅是使用一台强大的服务器。硬件使用效率的增加使得在数据量大幅增长的情况下可以获得更好的性价比，从而控制成本。多分区功能更有效的处理复杂的查询，并获得更好的性能。它提供给那些面对数据大幅增长的用户一个有效的处理数据的方法。多分区功能也能够提高数据的可用性，因为它减小了标准数据维护操作所需要的时间和对系统的影响。多分区功能的优点包括：l在多分区环境下，由于并行度的增加，复杂的查询会有更快的性能l减小系统的响应时间，增加用户的工作效率l方便的应对数据的增长l客户可以方便的进行商业智能操作l多分区功能的使用很方便，管理员只需进行简单的操作就可以实现l在分区级别进行维护操作，减小维护时间。表分区表分区(TablePartition)功能，通常称作范围分区，可用于定义每个分区的数据范围并根据数据范围将数据存储为单独的对象。存储对象可以在不同的表空间，相同的表空间，或者都有。此功能常常用于数据容量比较大的表，用来将数据分割成可单独处理的多个对象，从而提高系统的处理能力。此功能的优点包括：l支持创建大型的表。一个分区表象对于普通表而言可以支持巨大的数据量。它通过将数据存储到不同的存储对象来显著的提高表所能容纳的数据量。l更灵活的管理能力。现在可以在每一个独立的分区执行管理操作。对于耗时较长的操作，这相当于将这些操作分成小份来执行。l更细化的索引存放控制。你可以将索引放置在不同的表空间并独立的管理它们。l快速，简便的导入或导出数据。这个能力对于数据仓库这样需要经常移动数据来运行决策支持查询的系统非常有用。l提高查询性能。将数据存放在不同的分区，使得在查询时可以避免检索不需要的数据。1.1.1.2深度压缩使用InfoSphereWarehouse，用户可以充分利用DB29第241页 财达证券有限责任公司数据中心建设项目投标书中独创的存储优化技术，它不仅能够极大减少存储关系数据所需的空间和成本，而且还能够提高查询性能。压缩能够节省可观的空间：行业标准TPC-H数据仓库基准测试表明，可节省45%－69%的磁盘空间。现在，压缩功能更易于使用。InfoSphereWarehouse支持用户在将数据装入数据仓库时对数据进行自动压缩，这有助于降低维护成本。除了减少存储的使用，降低成本之外，压缩功能还能够显著的提高性能。使用行数据压缩技术减少了读取数据时的I/O操作，从而降低了相对缓慢的I/O操作对系统性能的影响，提高了整体的性能。甚至对于消耗CPU较多的操作，使用行数据压缩技术仍能够提高性能。DB2的压缩解技术是将数据行中重复的数据模式映射到一个占用空间较少的符号，从而减少表格数据的总大小。此解决方案采用了一种静态的基于字典的压缩算法，并按行进行压缩。存储优化的优点包括：l大幅减少磁盘的使用，降低总体成本l减小表的大小，便于分布和存放数据l节省备份所需磁盘空间，便于管理l提高系统的整体性能l通过最小化I/O，并提高DB2缓冲池的命中率来加强性能。l包含压缩评估功能来帮助计算使用数据压缩带来的节省l降低对内存的需求（或者更有效的使用存在的内存）l在数据仓库环境下带来更大的节省1.1.1.1极限工作负载管理InfoSphereWarehouse提供了一组独具特色的极限工作负载管理功能，支持实时交付对业务状况的深入理解，同时继续支持所有传统的信息访问、分析和报告需求，而不会影响性能。使用传统的数据服务器解决方案很难将信息实时交付给所有用户和应用程序，因为过多的用户运行查询会给底层基础设施施加技术上的限制。此外，面向大型批处理的数据加载或报告作业，以及由战略和战术规划工作驱动的密集分析处理可能对那些需要快速响应的请求（例如用户与客户进行交互的请求）造成影响。利用InfoSphereWarehouse中提供的高级工作负载管理功能，用户可以为来自不同用户和应用程序的查询划分优先级，并控制分配给这些工作的底层资源总量，从而帮助确保满足关键部门、客户和用户的服务水平协议。1.1.1.2嵌入式分析作为IBMInfoSphereWarehouse软件的一部分，IBM嵌入式分析功能提供了复杂但易于使用的工具集，这些工具被嵌入到数据仓库中。在InfoSphereWarehouse中，IBM已经替您完成了集成工作，因此实现和维护变得更简单，并且提高了用户采用率和您的投资回报。联机分析处理（OLAP）的高级立方体分析、非结构化分析、嵌入式分析以及数据挖掘和可视化功能让您能够充分利用以前未被有效利用的业务信息资源，这些功能紧密协作，构成一个健壮的端到端分析解决方案，为所有用户提供高价值的商业智能。1.1.1.3数据挖掘、建模和打分过去，当要在某个数据集上执行数据挖掘时，必须先从数据仓库中提取数据，然后对其进行单独分析并将结果发回数据仓库。InfoSphereWarehouse提供了嵌入式数据挖掘、建模和计分功能，允许您直接在数据库中执行分段分析和预测性分析。这意味着您可以使用最新的数据，并实时交付分析结果。InfoSphereWarehouse第241页 财达证券有限责任公司数据中心建设项目投标书支持标准的数据挖掘模型算法，例如集群、关联、分类和预测，来自第三方建模工具的其他算法可以以行业标准的“预测模型标记语言”（PredictiveModelMarkupLanguage）格式导入到数据仓库中。借助DB2数据仓库版数据挖掘功能，您可以发现数据中隐藏的关系，而不必将数据导入特殊的数据挖掘计算机或使用小数据样本。lDB2数据仓库版提供的DB2扩展可用于以下建模操作：²使用关联发现功能进行市场一揽子分析、发现产品之间的关联、电子商务网站的站点访问模式或所购买的金融产品的组合。²使用人口统计学和Kohonen聚类方法进行市场划分、商店特点描述和购买行为方式分析。²利用决策树分类，根据期望结果（如购买倾向、预计消费水平和损耗可能性等）描述某个时段内的客户特点。²使用序列发现功能进行DNA分析²使用IBM研究部提供的专利算法，即转换回归，根据历史数据确定未来潜在的财务业绩、预测缺陷率、预测特定地区和服务范围的人口及竞争市场的市场收益。DB2还提供线性回归、多项式回归以及其它高级统计功能。lDB2数据仓库版数据挖掘功能支持以符合预测模型标记语言(PMML)2.1版和2.0版行业标准的格式开发数据挖掘模型。lDB2数据仓库版数据挖掘功能可以从其它工具（如SPSSClementine®、SASEnterpriseMiner®、AngossKnowledgeSTUDIO®等等）中导入数据挖掘模型。l通过DB2数据仓库版可视化数据挖掘功能（基于Java的结果浏览器），可以进行数据挖掘模型分析。它甚至允许非专家用户查看和评估数据挖掘进程的结果。DB2数据仓库版不仅扩展了数据库的功能，还允许用户实时进行数据挖掘分析。您可以将这些功能应用到业务智能和操作应用中，从而更好地为企业和消费用户提供服务–通过为企业和用户提供更明智的建议、更个性化的待遇或针对特定情况不断改进业务模型。lDB2数据仓库版通过使用并行化和缓存技术来提供无以伦比的数据库性能实时评价。l通过简单的开发接口即可使用DB2数据仓库版数据挖掘功能。DWE设计工作室提供了一个无需编码的图形数据挖掘开发环境。l数据挖掘分析的结果是业务规则。例如：购买产品X的客户有15%可能会购买产品Y。这些业务规则存储在称为模型的对象中。lDB2数据仓库版使用SQL或Java接口将数据挖掘的结果（模型）应用于新的数据记录，将数据记录指派给新的群集、预测或分类。DB2数据仓库版支持大多数DB2数据挖掘程序的数据评价功能。例如，决策树、基于中心和基于分布的群集算法、多项式回归和神经网络。l寻找与DB2数据仓库版完全集成的独立数据挖掘工作台的用户应考虑SPSSClementine。lDB2数据仓库版的数据挖掘功能可以在各种不同的环境下使用。例如，可以对UNIX、Linux或systemi5、systemz9以及systemp5操作系统中的其它数据库进行数据挖掘。DB2数据仓库版数据可视化功能通过基于Java的结果浏览器来提供数据挖掘模型分析。DB2数据仓库版允许专家及非专业用户查看和评估数据挖掘进程的结果。第241页 财达证券有限责任公司数据中心建设项目投标书Java可视化程序不仅具有交互功能，还能以图形方式描述关联结果、人口统计学群集和决策树分类建模操作。可视化程序的输入是符合PMML2.1和2.0标准的模型。可视化程序既可以支持事务处理的内联方式运行，也可作为Web浏览器中的小程序运行。用户可以通过可视化程序来分析模型结果，以获得新的业务见解。1.1.1.1非结构化信息分析大多数商业智能解决方案都无法全面访问在整个企业范围内捕获到的所有信息，例如呼叫中心记录、客户反馈、技术注释和其他自由格式的文本字段，以及文档和Web页面。InfoSphereWarehouse现在提供了分析这些非结构化数据并从先前未充分利用的信息中提取知识的能力。非结构化数据现在可以像结构化数据一样进行访问，从而提供了对客户和产品问题的更深层次的理解。提供的非结构化信息分析功能可以提升客户服务水平，为产品提供早期的问题侦测。例如，我们不仅可以从一些结构化数据中分析客户关心的某些事件发生的概率，也可以从邮件、声音、聊天的通讯记录等数据中抽取相关的信息。利用非结构化和结构化信息新的洞察力，来提升客户服务的质量和满意度：第241页 财达证券有限责任公司数据中心建设项目投标书-利用所有可以利用到的信息，提高业务决定的抉择-增强客户的理解、满意度、凝聚力和忠诚度-侦测和预防客户服务问题的升级-流线型的内容分析可以加速处理流程，提高可靠性-客户流动和忠诚度分析，欺诈分析InfoSphereWarehouse还提供了基于文本的分析引擎，遵循UIMA非结构化信息管理架构的标准。利用文本分析引擎可以把文本信息转换成可在DB2数据库中可执行的SQL，把文本转换到一些数据库结构化字段和关系型表中。我们在抽取和转换这些文本的时候要设计相应的流程，主要包括两部分的设计：需要一个工作平来配置文本分析引擎，UIMA的术语叫注释器。我们需要一个基于规则的注释器，基于业务面临的问题和文本资料指定相应的规则。如果是一个基于字典的注释器的话，我们还需要为字典配置一组词。另一部分是配置分析的引擎，用来定义转换的流程。配置要被进行分析的表，指定要用到的文本分析引擎，把分析结果映射到数据库表中的字段中。文本分析转换完成后，即可利用一些报表和分析工具，例如Alphablox或者Cognos来进行分析应用。1.1.1.1OLAP立方体服务InfoShpereWarehouse包括OLAP的高级立方体服务，支持多维数据分析，从而允许您将多个业务变量链接到一起，以执行比以前更为深入的分析。特别地，DB2Warehouse立方体服务允许您采用直观的多维和分层导航的方式来分析业务数据，而无需从数据仓库中提取数据。有效降低业务分析和报表的成本。OLAP和SQL共享相同的信息，单一的管理和维护入口，单一的性能优化，更高的管理维护效率和更低的成本。嵌入式分析和可视化InfoSphereWarehouse包括用于数据挖掘结果的可视分析功能，并且提供了多维分析的显示和导航功能。这些功能是作为丰富的呈现组件提供的，而不通过单独的应用程序提供，因此可以进行轻松的定制并将其直接嵌入到基于Web的应用程序中。通过这种方式，您可以通过用户正在使用的应用程序和门户向他们交付深入的分析结果。利用强大的分析工具来提高灵活性和处理效率第241页 财达证券有限责任公司数据中心建设项目投标书InfoSphereWarehouse通过交付公共的集成设计、管理和分析工具简化了数据仓库的分析开发和部署。这些工具为大量工作提供支持，从重新设计数据仓库和填充数据结构，到执行分析以及通过公共界面管理数据挖掘和多维立方体分析。InfoSphereWarehouse工具基于开放且可扩展的Eclipse技术构建，并且为构建、测试和调试动态数据仓库元素提供了设计时环境。熟悉的图形开发环境允许用户对数据仓库运算符和实体执行直观的拖放或剪切、粘贴操作。轻松集成了公共代码管理库（例如IBMRationalClearCase®软件和ConcurrentVersionsSystem工具），支持协作团队开发。基于Web的管理控制台功能为数据库管理员和架构师提供了用于在产品运行时环境中部署和管理DB2Warehouse操作所需的工具。为帮助用户更快地理解和利用新的环境，DB2Warehouse包括了一个样本数据库环境和手把手的教程，适用于开发和部署用来提供动态业务洞察力的解决方案。1.1MOIA.RSP产品介绍1.1.1MOIA.RSP简介报表集成开发平台的建设目标是提供对主流报表产品的调用和常用功能的支持；将报表制作产品制作的报表进行无缝集成，并能够帮助用户快速定位到自己需要的报表。通过该模块用户可以方便快捷的查询、浏览、下载报表，并对报表进行组织权限、业务权限和数据权限的全面管理。围绕报表管理、制作、发布、集成，形成统一的总体框架构件。报表集成平台按功能及用户职责分为开发平台和运行平台两部分，其中开发平台又分为系统管理(全局统一参数)和应用管理(应用系统独立参数)两部分。开发平台与运行平台可以部署在不同的服务器中，如开发平台部署在开发环境，运行平台部署在生成环境。开发平台主要是技术人员使用的，运行平台主要是业务人员使用的。技术人员在开发平台中定义统一的服务器信息(如COGNOS服务器)，按业务创建不同的应用系统，在不同的应用系统中发布报表，创建数据补录任务等等，然后再将这些信息导入到运行平台中(通过参数发布功能实现)。业务人员登录到运行平台，然后根据权限进入可以使用的应用系统，操作可以使用的菜单及报表。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1MOIA.RSP逻辑架构1.1.2MOIA.RSP主要界面开发平台主界面：第241页 财达证券有限责任公司数据中心建设项目投标书运行平台应用系统选择界面：报表执行界面：报表界面：第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1MOIA.RSP功能集成的报表管理工具统一的用户认证系统便利的报表开发工具1.2MOIA.DSP介绍1.2.1内容提要l产品概述l功能特点l调度引擎l产品应用l开发流程qMOIA是北京先进数通技术有限公司自主研发的信息应用管理软件，面向企业用户。q它是一款面向DW/BI第241页 财达证券有限责任公司数据中心建设项目投标书应用领域的应用集成中间件产品，实现对企业DW/BI应用的作业管理、任务调度、集群管理和运行监控。¢关于MOIA4.4q针对中大型企业用户推出的ETL作业管理、调度、监控工具q深度集成IBMDataStageEE/SEq支持多种集群模式，灵活的节点管理q动态复杂均衡和并发控制¢MOIA能做什么？q构建企业DW/BI应用的任务调度平台q作为企业ETL集群的管理工具q构建企业ETL服务管理平台1.1.1Moia历史主要客户及项目：¢中国建设银行总行、新疆分行、云南分行、湖北分行等q历史数据管理系统q客户营销支持系统q信息资产管理项目q特色业务管理平台¢中国交通银行q应用数据交换平台第241页 财达证券有限责任公司数据中心建设项目投标书¢华为集团q统计分析平台qDW全球化调度系统¢深圳发展银行qODS、DW系统1.1.1产品定位¢MOIA与BI工具(ETL工具/报表工具)的关系qMOIA是企业BI应用集成的中间件软件，它介于专业工具和BI工具之间，与BI工具不形成竞争关系qMOIA通过可扩展的插件方式深度集成用专业BI工具开发的任务，快速构建企业BI应用，并支撑BI应用的运行。它可以集成目前市面上主流的BI工具。¢MOIA和任务调度工具的关系q单从任务调度角度，MOIA和专业任务调度工具形成竞争关系，但调度只是MOIA的核心功能之一；q国外主流任务调度工具不是专为BI应用设计的，应用在BI应用调度上存在诸多不足之处，不能与BI工具深度集成，不能很好地描述BI应用的业务逻辑；q国外产品价格昂贵，且产品不能随业务需求变化而快速升级，一定程度上制约了企业BI应用的发展；第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1产品结构¢MOIA.Engine:MOIA的后台引擎qScheduleEngine：调度引擎qResourceEngine：资源服务引擎qEventEngine：事件服务引擎¢MOIA.ServerqMOIA的后台管理服务,为浏览器端用户提供服务¢MOIA.AgentqMOIA的执行控制客户端，负责作业执行的控制¢MOIA.DesignerqMOIA的开发部署服务，为数据配置、作业配置、应用部署提供服务¢MOIA.MonitorqMOIA的监控服务，为系统运行监控、手工操作提供服务1.1.2功能简介¢数据管理q业务数据管理q数据权限管理q数据部署管理第241页 财达证券有限责任公司数据中心建设项目投标书q数据状态管理¢作业管理qETL应用管理q静态作业管理n作业主题n作业包n作业q作业属性和参数管理q作业和数据关系管理q应用部署管理q业务日期管理q多层次的宏变量管理，实现可变的业务逻辑¢任务调度引擎q调度流程管理q任务扫描和调度q依赖条件管理q执行计划组合q多优先级层次q事件管理和事件服务q动态资源分配q调度例外处理q可拖拉的图形化配置q预设返回值管理¢资源管理q资源采集和监控qETL域和物理节点管理q动态负载均衡q动态并行控制¢系统运行监控q系统运行状态监控q集群状态监控q作业流、作业批次监控q异常事件监控q事件监控q数据链路效率监控q作业日志监控q作业失败重做q作业手工重做¢系统管理q用户管理q安全管理q日志管理第241页 财达证券有限责任公司数据中心建设项目投标书q后台服务管理q第三方系统、事件管理1.1.1拓扑结构产品结构分为两个部分：调度部分和web展现部分：调度部分由主从节点、共享的数据库服务器和存储服务器组成，安装UNIX操作系统：q主节点采用两台配置较高的小型机（HA双机热备）。推荐配置：8C16G（4CPU8G内存）。从节点可以使用配置较低的PCServer（2C4G）。q数据库服务器的配置由应用数据库决定，MOIA参数库本身不需要较多资源。推荐采用配置较高的小型机。推荐配置：8C16G。Web展现部分由WEB服务器和各个客户端组成，安装windowsxp操作系统。qWEB服务器可以采用高端PC（CPU：P41.7G以上，内存1G以上，硬盘20G以上）。q客户端采用普通笔记本或者台式机，通过IE浏览器访问WEB服务器。软件环境第241页 财达证券有限责任公司数据中心建设项目投标书¢数据库服务器q安装MOIA参数库，建议与应用数据库的种类一致。qMoiaSE支持的数据种类有：Oracle9i/10g、DB29.5¢Web服务器q安装Moia.Server、MOIA.Designer、MOIA.Monitorq支持WINDOWSXP操作系统，Jdk1.4以上版本，TomCat5.0以上版本¢主节点q安装Moia的后台引擎Moia.Engineq支持的操作系统有：AIX、HPunix、RedHatEnterpriseLinuxAS4、SUSELinux10。¢从节点q安装Moia的执行客户端Moia.Agentq支持的操作系统有：AIX、HPunix、RedHatEnterpriseLinuxAS4、SUSELinux101.1.1调度支持MoiaSE作为企业ETL服务管理平台中的调度器，支持多种ETL作业类型。在一个标准的调度流程中，通用的调度支持架构如下图所示：第241页 财达证券有限责任公司数据中心建设项目投标书1、调度引擎判定作业的启动条件。2、资源管理引擎根据当前集群内的资源状况，动态负载均衡。3、部署在每个ETLServer上的MoiaAgent，根据分配在本节点的作业情况，以及所预设的作业种类，执行ETL作业。4、根据预设的作业返回值，判断ETL作业的执行结果。第241页 财达证券有限责任公司数据中心建设项目投标书DataStageEE支持MoiaSE调度支持的典型案例是对IBMDataStageEEjob的支持，如下图所示：DataStageEEjob内部可以再度并行，Moia相应的：q动态分配资源供给并行作业运行；q合理有效的并发度控制，从而使作业运行既能充分利用系统资源，又能保证系统不会因并发度过高而降低效率或运行失败；q能动态的将文件I/O平均分配于作业运行的各个节点上，从而减少因某个节点的I/O瓶颈而导致的的作业整体效率的下降；1.1.1调度引擎多层次的作业管理¢静态作业的管理分为三个层次：q第241页 财达证券有限责任公司数据中心建设项目投标书作业，用于处理数据的最小功能单元，每个作业具有可预定义的输入(数据实例)，和可预定义的输出(数据实例)。q作业包：按照某种关系划分的多个作业的集合。q作业主题：同种类型的作业包的集合。通过对作业的三层分类管理，我们可以方便的管理数据平台中定制的成千上万的作业，以MOIA在国内某大型IT企业的数据平台项目应用为例：原有约6000个作业，没有进行任何层次化管理，完全依靠系统管理员对数据平台多年的熟悉进行维护，管理成本高，人员替代成本高。采用MOIA产品后，按照数据处理的总体阶段，分为六个作业主题。每个作业主题内，按照数据源系统分为约10个作业包，每个作业包内大约有100个作业。在展现界面上，作业层次明显，井然有序，大大减轻了管理人员的维护工作。¢动态调度方面：q调度任务由作业和作业包的集合构成分为条件驱动型和事务驱动型对应独立的ETL应用逻辑q调度批次调度任务运行的一个或者多个调度周期该周期内的运行逻辑可相同也可不同q作业流多个作业的集合，并有特定的调度逻辑与作业同时调度批次的对象自由灵活的调度定义¢执行计划支持按日期、按星期两种方式定义执行日历，可以定义指定的某些日期执行（精确到年、月、日），或者指定的某些日期不执行（此外的其他日期均执行）。¢节假日调整q系统默认每周六、周日为节假日，并且支持管理员手工添加修改节假日/工作日。q作业执行日碰节假日的调整方式有：照常－节假日照常执行跳过－节假日跳过，不执行顺延－往后推迟到最近的一个工作日执行提前－提前到最近的一个工作日执行就近－提前或推迟到最近的一个工作日执行执行日历与节假日属性结合，可以灵活定制以满足多种要求¢时间窗口和启动时点q支持指定作业执行的最早时间和最晚时间，形成时间窗口段。并支持在时间窗口内按照时间间隔定时反复调度。q只有系统时间在定制的时间窗口段中时，该作业才能被触发调度q只有在定制的启动时点到达后，该作业才能被触发调度q在预订的最晚启动时间内仍未满足启动条件时，自动预警第241页 财达证券有限责任公司数据中心建设项目投标书¢优先级qMOIA提供九个优先级别，可以根据作业的急迫情况，分别设置。q批次的优先级权重远远高于作业的优先级权重。¢事件管理q提供多个种类的事件定义：调度事件、文件到达事件、日切事件、外部事件等等q事件状态的变化，将影响其他调度单元的条件q可向第三方系统发布调度结果决定作业先后顺序MOIA产品提供完善的作业依赖和调度事件触发机制，保证作业的先后顺序。¢作业依赖机制：q在同一个调度流程图形配置中，可以通过连线设定两个调度对象之间的依赖关系q依赖关系分为强制依赖和非强制依赖。¢调度事件触发机制q每一个调度对象，都可以设置自身的四类事件：启动、结束、成功、失败。当该对象处于相应的状态时，则自动产生该事件的就绪通知q每一个调度对象，都可以依赖其他调度对象的某个调度事件。当其接收到此调度事件的就绪通知时，才能启动。失败重做机制对于绝大多数测试通过的作业来说，生产运行中出现失败很少是由于作业本身功能方面的原因引起的，网络、存储、数据质量等等方面的因素往往是导致作业失败的罪魁祸首。针对这种情况，MOIA提供了失败自动重做的机制：q支持设定作业失败自动重做次数q当作业的失败次数未超过设定值时，自动再次对作业发起调度此外，当作业失败并且自动重做多次仍未成功时，管理员可以根据每次失败的详细信息，排除故障，然后通过系统监控平台人工发起失败重做命令。调度平台将根据人工命令再次对该作业发起调度，并将作业的执行结果反馈到产品监控界面中。充分利用节点性能－资源分配群集模式中，需要将多个作业分配到各个工作节点执行，并且合理、充分的利用资源，MOIA产品提供了资源分配管理功能：¢根据作业的复杂度（stage种类、数量）以及作业输入对象的数据量，自动评估作业所需要的资源量。¢在资源充足时，支持两种分配模式：q集中模式：作业的所有进程都尽量分布在同一个节点上运行，占用同一个节点的资源。q分散模式：作业的所有进程尽量分布在不同节点上运行，充分利用每个节点的资源¢在资源不足时，即目前所有节点的资源总和小于作业所需的资源量时，支持两种资源等待模式：第241页 财达证券有限责任公司数据中心建设项目投标书q锁定模式：锁定系统当前的资源不再分配给其他作业，占用资源的作业逐渐完成释放资源，系统当前资源逐渐回收直到满足该作业的资源需求后，分配给该作业执行。q对于优先级高的核心作业，推荐采用此模式。q等待模式：剩余系统资源继续分配给其他作业，直到系统资源耗尽。占用资源的作业逐渐完成释放出多余资源后，再分配给作业。q对于优先级低的作业，推荐用此模式。¢对节点而言，每当运行或者结束一个作业，系统资源量都会发生改变。每个工作节点的资源量变化情况实时反馈到主节点的资源管理服务中，不仅供资源分配服务使用，还可以在监控界面上随时查看每个工作节点的实时资源状况。调度架构在作业调度平台的管理下，整个集群就像是一个逻辑上的超级计算机，而调度平台就是它的操作系统，可以有机的将整个系统的硬件资源充分的利用起来。调度平台的各个服务采用松耦合的方式组装而成，支持多种配置的资源部署策略，其目标是使用最优的方案为作业的运行分配硬件资源。调度平台采用高度参数化的方式实现，具有超强的适应能力，能满足大多数数据整合的需求，特别是对于采用了专业ETL工具的项目，只要提供相应的作业执行指令API集合，就能对该类ETL工具的作业集进行调度。图形化配置监控第241页 财达证券有限责任公司数据中心建设项目投标书配置过程中，支持Excel批量开发模式+图形化开发模式。q图形组件化q可拖拉式配置q作业流可嵌套1.1.1支持的计算模式¢SMP(平衡多处理器)¢MPP/GRID(海量并行处理/网格)q支持多种MPP集群方式q配置简单、灵活q强大的横向扩展能力q非对称松散结构q实现集群管理、动态资源分配，动态负载均衡和并行控制第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1数据管理服务应用数据管理信息化平台建成后，往往在数据中心汇集了来自各个数据源系统的众多数据，按照数据模型经过加工整合汇总后，形成了种类繁多、物理存在形式各异的海量数据。由此也带来了管理上的一系列问题，例如：存储管理混乱导致数据大量冗余、数据状态无法及时监控导致数据质量不高、经过多次整合后的数据源头和目标难以确认等等。为此，MOIA产品推出了应用数据管理功能：ü将所有的应用数据都抽象为数据实例，不管物理存在形式是数据库表，还是数据文件，都转化为标准的二维数据体。ü从业务逻辑上，从物理存在形式、存放位置将应用数据分门别类，形成三个管理层次：数据实例库、数据圈、数据实例。数据圈与应用系统相对应。第241页 财达证券有限责任公司数据中心建设项目投标书ü提供灵活的数据实例库分类机制，可以根据项目的应用数据管理需要，对数据实例库进行分类。分类方式：S（数据采集类）、A（数据转换类）、D（数据提交类）。ü所有的数据实例均在产品的参数库中登记状态信息并且随时保持更新。通过对这些状态信息的查看，系统管理员可以对整个数据中心的应用数据一览无遗。注：数据实例库是一些具有类似属性的数据实例的集合，与数据库(Database)的概念不同：数据实例库是MOIA产品内部的一个概念，可能对应应用数据库（ApplicationDatabase）的一些表的集合，也可能对应一些应用数据文件（ApplicaiontDataFile）的集合。具体案例国内某大型股份制商业银行数据交换平台的应用数据管理机制：源系统以ODS，CBK，IBP为例，目标系统以ODS、PLS、DPS为例，其中ODS既是源系统又是目标系统。在数据中心：应用系统实例库分类数据实例库数据圈ODSS类S1S1_ODSD类D1D1_ODSA类A1_ALL标准数据全量库A1_ALL_ODSA1_INCRE标准数据增量库A1_INCRE_ODSCBKS类S1S1_CBKIBPS类S1S1_IBPPLSD类D1D1_PLSDPSD类D1D1_DPS在该案例中，S类、D类实例库只创建了一个实例库S1、D1，下面创建了多个数据圈（S1_ODS、S1_CBK、S1_IBP、D1_PLS、D1_DPS）。A类库中只是按照全量数据和增量数据创建了两个A类实例库更好的做法是：ü按照数据来源的不同，创建多个S类实例库，例如按照总分行的数据源来源分别创建S类实例库，或者按照应用系统的重要程度分别创建S类实例库。üD类库的管理与S类库类似。ü按照标准数据、统计数据、汇总数据等等业务逻辑处理的不同，对于全量数据和增量数据，组合产生分类方式，创建多个A类实例库。作业对象管理常规的数据整合工具，多是以作业为单位进行管理，主要流程是分析业务逻辑à定制作业à执行作业à第241页 财达证券有限责任公司数据中心建设项目投标书监控作业状态。在作业数量不大的情况下易于管理，然而，当数据整合度越来越高、作业数量越来越多、作业复杂度越来越高的时候，问题也就随之而来：如何管理作业（动态执行）与数据（静态存放）之间的关系？如何知道作业与数据源系统、目标系统的关系？在复杂的数据整合操作中，当存在数据产生的先后关系时，通常的做法是通过设置作业的先后关系来实现（作业依赖），这些作业依赖关系管理起来费时费力，而且容易产生死循环导致作业无法驱动。……为了解决这些问题，在应用数据管理的基础上，MOIA产品提供了作业对象管理功能：ü每个作业，都定义其输入输出对象（数据实例）。每个数据实例，都作为作业的输入或者输出对象。ü数据实例所在的数据圈与作业自动发生关联。ü数据圈与应用系统（源系统或者目标系统）本身存在对应关系。以数据圈为桥梁，作业与数据圈发生关联时，同时也就与应用域发生了关联。带来的好处：ü管理员可以方便的查看，某一个源系统的数据进入数据中心，被哪些作业进行了处理。或者，要提交给目标系统数据，需要执行哪些作业。üMOIA产品中，每个作业的输入输出对象（实例）状态都是作业触发的必要条件，从而实现了作业的输入依赖。当作业之间只有输入输出之间的先后顺序时，开发人员不必再埋头分析其作业依赖关系了，只需要定制其输入输出对象即可，大大简化了开发工作，提高了工作效率。ü对于未按时间、条件提交到目标系统的数据实例，可以通过定制的作业输入输出对象进行回溯，直到准确定位出失败的作业，或源系统未接收到的数据实例。让对应的目标系统运维人员清楚直观的查看到数据中心的运作情况。第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1事件服务¢事件可以作为作业的启动条件之一。事件就绪通知可以由人工通过Moia.Monitor发出，也可以通过外部应用程序自动发出，由事件管理服务器接收。¢事件管理服务器所接收的事件通知，经过筛选、分析后，将事件相关的作业逐一进行启动判定，并提交结果给调度引擎。¢如果定义了内部事件，则调度引擎在作业启动/结束/成功/失败时，也将会产生相应的启动/结束/成功/失败事件，发送到事件管理服务器。¢外部应用程序可灵活定义事件接收通知，事件管理服务可以将调度引擎的实时调度状况，以事件的方式发送给外部应用程序。一个典型的实时调度事件通知为：q作业[job1]，于[yyyy/mm/ddhh:mm:ss]启动q作业[job1]，于[yyyy/mm/ddhh:mm:ss]结束，运行成功q作业[job1]，于[yyyy/mm/ddhh:mm:ss]结束，运行失败¢使用MOIA提供的API(基于TCP/IP)，可以非常方便的集成企业的其它应用并进行业务流程控制。1.1.2高级功能¢集群管理q节点Live状态检查，所有节点互为备份，充分利用硬件资源q节点资源使用情况采集q动态增减节点qETL域管理(按照需求对节点进行分类管理)¢动态资源分配q第241页 财达证券有限责任公司数据中心建设项目投标书多种策略：资源评估模型、最大并行化、动态分组、强制绑定、优先服务q与具体作业深度结合¢动态负载均衡¢动态并行控制¢任务执行断点恢复(作业级)1.1.1开发流程1.1.2用户角色¢按用户角色的不同进入不同的系统界面第241页 财达证券有限责任公司数据中心建设项目投标书q系统管理q应用开发q运行监控1.1.1用户界面MOIA产品的用户界面设计模仿WindowsXp操作界面设计，力求简洁、直观。1.1.2MOIA用户第241页 财达证券有限责任公司数据中心建设项目投标书1.1.1MOIA的价值¢提供性价比最优的ETL服务管理解决方案¢提供了简单、高效、低成本横向扩展能力¢资源管理、负载均衡、并发控制解决了ETL工具的弱项，保证其高效稳定的运行¢不需要专门的ETL备份机，充分利用硬件资源¢提高企业BI应用的集成开发效率¢实现对资源、数据、任务的集中管理和控制，真正适合BI应用特点的中间件产品1.1.2应用案例建立DataStageEE集群应用场景1¢应用现状q中小企业的ETL节点通常配置两台小型机运行DataStageEEq两台都作为ETL节点q独立运行，project间的作业流程控制成为问题q作业只能在一个物理节点上运行，无法发挥并行引擎的能力q本意是想互为备份，但是一旦某节点发生故障，手工切换过程非常复杂，恢复事件长¢ETLMPP集群q两台小型机组成一个集群，由MOIA统一管理和调度q两台ETL节点同时工作，互为动态备份，组成HA结构q在MOIA调度下运行，project间的作业流程可以任意控制q一个物理节点发生故障，MOIA能动态识别，正常节点继续运行作业，保证业务处理的连续性第241页 财达证券有限责任公司数据中心建设项目投标书应用场景2¢应用现状q中小企业的ETL节点通常配置两台小型机运行DataStageEEq一台作为工作节点(节点A)，另外一台作为专门的备份节点(节点B)q作业只能在一个物理节点上运行，无法发挥并行引擎的能力q资源的严重浪费，经常需要同步生产机的动态作业信息到备份机¢ETLMPP集群q两台小型机组成一个集群，由MOIA统一管理和调度q两台ETL节点同时工作，互为动态备份，组成HA结构q在MOIA调度下运行，project间的作业流程可以任意控制q同一物理作业可以在两台节点上并行执行，实现大数据高效加工q一个物理节点发生故障，MOIA能动态识别，正常节点继续运行作业，保证业务处理的连续性第241页 财达证券有限责任公司数据中心建设项目投标书应用场景3¢应用现状q中小企业的ETL节点通常配置两台服务器运行DataStageSEq一台作为工作节点(节点A)，另外一台作为专门的备份节点(节点B)q作业只能在一个物理节点上运行，无法发挥并行引擎的能力q资源的严重浪费，经常需要同步生产机的动态作业信息到备份机¢ETLMPP集群q两台小型机组成一个集群，由MOIA统一管理和调度q两台ETL节点同时工作，互为动态备份，组成HA结构q在MOIA调度下运行，project间的作业流程可以任意控制q一个物理节点发生故障，MOIA能动态识别，正常节点继续运行作业，保证业务处理的连续性第241页 财达证券有限责任公司数据中心建设项目投标书应用场景4¢适合于中大型数据规模的企业¢软件投资(DataStage的License)大于硬件投资¢具备无限的横向扩展能力，可方便地增减节点¢在MOIA管理下，实现动态资源分配、动态负载均衡和并行控制，可以最大程度地发挥DataStageEE并行计算引擎的计算能力¢根据权威机构的报告：同样投资的MPP集群处理能力是对用高端小型机的5-15倍构建企业数据交换总线第241页 财达证券有限责任公司数据中心建设项目投标书构建企业ETL平台第241页 财达证券有限责任公司数据中心建设项目投标书1附件第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页 财达证券有限责任公司数据中心建设项目投标书第241页'