客户需求

通过数据仓库的建设
，，
，，打破数据孤岛、、、形成数据合力、
、、建设数据质量体系，，，，支撑全行数据应用
。。。。解决数据加载耗时越来越长，，，无法满足目标系统对数据的时效性要求
；解决只能处理结构化数据，
，，无法满足多样化（半结构
、、非结构化）格式数据处理需求。。

解决方案

基于大数据计算引擎进行信息统计，，同时使用实时处理工具进行线上日志的实时解析比对及处理；实现大数据的批量处理和快速检索
，，大大减少数据加载耗时，，，，通过分布式计算避免I/O瓶颈
，，，，支持线性扩展
，，支持非结构化数据的存储和处理，
，
，，对数据进行统一整合，，实现多租户管理；使用流程工具调用每天的批处理业务，，
，提供稳定高效的批处理性能，，以及高并发
，
，，，且支持全文索引下的毫秒级查询。。

应用效果

数据仓库从传统Oracle库迁移到大数据数仓后，，，并行入库任务性能提升7.34倍，，并行任务最多提升46.6倍
；在核心存储过程性能方面
，，总体核心作业性能提升了5.7倍；大数据量批处理性能从小时级降低到分钟级甚至秒级；对内数据仓库将全行数据进行归集并整合，，，为全行业务应用提供数据服务；对外提供了涉及营销与风控的价值数据，
，
，比如客户画像、
、、欺诈名单等。
。