星环科技助力某农商行实现从 Oracle 向 TDH 平滑迁移

　　过去多年，中国信息产业被认为“缺芯少魂”，芯片、操作系统等核心技术依赖进口，基础软件市场更是被外资垄断。根据华西证券研究报告显示，中国三大基础软件领域中，操作系统、数据库、中间件市场外资占比分别为 92.9%、64.8% 和 51.1%。可以说，整个基础软件行业现状令人担忧。

　　为改变这种现状，夯实数字经济“底座”和确保国家信息网络安全，IT 基础设施国产化替代势在必行。国家层面从“十四五”开始，重点关注信创产业的国产化程度，实现自主研发和自主可控，构建打破以美国为首封锁的自主创新技术体系。

　　然而，国内大部分基础软件的研发还是基于开源的数据库技术，或部分开源的功能方案。这种做法，依旧是在别人的地基上盖房子，存在极大的不确定性和不稳定性。星环科技通过自主研发，逐步以自研技术取代了开源技术，星环科技大数据基础平台Transwarp Data Hub（以下简称 TDH ） 也因此成为目前市场上少数自主研发的国产大数据平台。

　　根据工信部电子第五研究所代码扫描测试报告，TDH 的 1200 万行代码里自研代码率超过 70%，另一款分布式数据库产品 ArgoDB 的代码自主率（行数）则超过 90%。TDH平台成功实现了大数据基础软件的国产替代，在政府、金融、能源、制造业等十多个行业内落地，支撑如金融风控与营销、智慧制造、城市大脑、智慧交通等多种核心行业应用。

　　本文将结合某农商行从传统 Oracle 数据库向大数据管理平台平滑迁移的实践案例，介绍迁移之后效率的提升和主要功能实现。

　　星环 TDH 替换 Oracle，数据服务能力及处理效率得到10 倍提升

　　某农商行为了更快速地享受数字化果实，选择与大数据领军企业星环科技合作，希望借助星环科技在大数据、人工智能领域的技术实力，搭建一套处理能力更强，更易于扩展，性能更高的统一数据平台。本次合作中，基于星环 TDH 建设的大数据平台 ODS，为某农商行构建了全行数据基础平台，实现了该农商行从传统  Oracle  数据库向大数据管理平台平滑迁移，数据服务能力及处理效率得到了将近 10 倍的提升。并通过大屏展示项目建设，实现了数据可视化。

　　星环凭借业内领先的大数据、人工智能技术，结合同业最佳实践及该农商银行现状，基于星环大数据基础平台 TDH 为该农商行搭建大数据平台 ODS，实现了批量处理平台、实时处理平台、历史数据查询平台、 ODS 调度监控功能四个主要功能。

　　一、批量处理平台

　　本次项目接入的业务系统涉及卡对账平台、贷记卡系统、渠道整合平台、手机银行、CRM 对公系统、CRM 对私系统等数十个业务系统，每个平台有数百张表数据，数据量非常庞大，而随着业务的增长，数据量还在爆发式增长，该农商行原有的传统 Oracle 数据库处理效率已经跟不上业务发展。针对该农商行的需求，星环科技基于关系型分析引擎 Transwarp Inceptor 搭建了批处理平台，该平台可以实现处理效率的 10 倍提升。

　　Transwarp Inceptor 是星环自主研发的一款用于批处理和数据仓库的关系型分析引擎。它支持SQL 2003标准、Oracle PL/SQL以及DB2 SQL PL，对 Oracle、DB2 以及 Teradata 也有很好的方言支持。Inceptor 的另一大优势是对 ACID 的支持，可以满足用户对数据处理中一致性和可靠性保障的需求。此外，Inceptor 拥有极为优异的大数据分析性能，比 Apache Hadoop 处理速度快 10 倍以上，比MPP处理速度快 5 倍以上，在 TPC-DS 和 TPC-H基准测试中也胜于其他 Hadoop 和 MPP 产品。目前，Inceptor 被广泛地应用于数据仓库和数据集市的构建，在中国，已经有超过500 家客户在 Inceptor 上创建了他们自己的商业应用。

　　二、实时处理平台

　　由于银行业务的特殊性，使得它对数据处理时效性的要求也越来越高。比如：实时交易反欺诈业务，需要对客户交易行为进行实时分析，进而根据风险级别对客户资金交易进行预警或者阻断，保障客户资金安全；实时营销业务，需要实时采集客户各渠道行为信息，然而结合推荐模型，采取事件式实时营销；而在线业务实时监测业务，尤其是在线信贷业务，自动化审批流程替代了传统的人工审批，对后台的实时监测、分析、预警提出了更高的要求。

　　基于星环实时流计算引擎 SlipStream 搭建的实时数据采集平台可以满足该农商行对实施处理平台的所有需求。目前实现三个内容：监控大屏查询功能，部分 ODS 表实时落地，配合 BI 项目进行部分表的加工。

　　相对于采用编程的方式开发流应用，采用星环 Slipstream 具有以下优势：

　　1. 微批模式和事件驱动模式的一体化，在同一套系统里，用户可以根据业务需求，灵活切换微批模式的流处理和事件驱动模式的流处理；