(新)ETL概述

1、前言

经过多年的信息化建设,各企事业单位都积累了海量的数据,并且这些数据还正以指数级增长,企业迫切需要对这些数据进行挖掘、清洗和处理,找出其背后的规律,准确把握企业的运营情况,从而进行科学决策,如果没有科学的数据分析和统计作依据,各项管理和决策就如同空中楼阁,虚而不实,然而在数据应用中,通常都会面临各种问题,比如:
  • 各个业务系统相互独立,形成多个信息孤岛,数据共享存在困难;
  • 业务系统中数据未得到有效整合,难以支撑数据的综合分析;
  • 数据查询分析需要在多个系统中交叉进行,查询的效率及准确性低,对业务系统的负荷较高;
  • 数据质量差,存在大量的“脏”数据;
  • 数据不一致程度高,数据理解差异、口径不一等导致统计报表不一致;
  • 历史数据遗失情况常见,对历史数据的分析难以进行;
  • 未来数据的增长趋势明显,数据查询日趋复杂,业务系统难以适应企业的不断发展;
基于上述问题,为全面提升企业数据资源的开发利用水平,构建统一、集成、标准化的企业级数据平台势在必行。但是,在企业级数据平台的构建过程中,由于业务系统众多,数据来源复杂,其数据内容、数据格式和数据质量千差万别,数据集成、共享和标准化的难度较大,企业需要一个高效、敏捷、易用的平台完成对企业数据资源的梳理和有效集成,从而为企业的数据应用打下坚实的基础,这是增强企业竞争力的必然选择。

2、产品说明

目前,数据整合类产品大多属于代码生成类工具,即采用可视化开发界面,通过拖拽设置各种数据处理组件来组成数据流和任务控制流,从而代替手写代码的方式,并依据自身的数据处理引擎来完成数据的加工处理,多数采用客户端开发+服务器运行的模式。这类产品功能丰富、架构复杂,在提供强大功能的同时也带来一些不便,如学习曲线较长、蛛网式组件开发调试困难、系统部署繁琐、监控及运维不便、实施周期过长、产品价格过高等等。这些过于复杂的重量级 ETL 产品让很多想开展数据整合工作的用户望而却步,目前市场上急需一种适合敏捷开发、轻松运维、价格合理的轻量级数据整合工具。
奥威ETL平台正是定位于这样一款轻量级数据整合类工具软件,具有开发容易、部署简单、运维轻松的特点,产品采用先抽取加载到目标数据库后再进行清洗转换的 ELT 方式,充分利用数据库服务器自身的性能优势,通过异构数据采集、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎,开发人员只需要掌握基本的 SQL 语言就可以准确、高效的实现企业内数据整合的开发工作,为企业提供包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。