镜舟科技助力吉利汽车做世界领跑者

吉利汽车领跑国产汽车数字化转型,镜舟科技为数据应用保驾护航。

了解镜舟数据库

本文发表于: &{ new Date(1704297600000).toLocaleDateString() }


吉利汽车集团

吉利汽车集团是吉利控股集团旗下一家集汽车整车、动力总成和关键零部件设计、研发、生产、销售和服务于一体的汽车集团,现有员工 7 万余人,连续四年排名中国品牌乘用车销量第一,持续引领中国品牌自信向上。

吉利汽车集团在中国上海、宁波,瑞典哥德堡、西班牙巴塞罗那、美国加州、德国法兰克福、马来西亚吉隆坡等地建有造型设计和工程研发中心,设计研发人员超过 20,000 人,拥有大量发明创新专利。在中国、马来西亚建有世界一流的现代化整车和动力总成制造工厂,拥有各类销售网点超过 1400 多家,产品销售及服务网络遍布世界各地。

秉承“人本、创新、卓越”的价值观,吉利汽车集团将“创造超越期待的出行体验”作为使命,致力成为最具竞争力和受人尊敬的中国汽车品牌。

 

01 精准洞察业务先机,吉利汽车推动企业大数据平台建设

随着业务发展需要,吉利汽车自 2017 年开始组建大数据团队,最早基于 Oracle 构建数仓,2018 年落地以 Hadoop 生态发行版 HDP(Hortonworks Data Platform)构建的大数据平台,同时 2019 年上线自研的大数据开发治理平台·iGData。
 

Hadoop + iGData 组成的吉利大数据平台(简称:GDMP) 1.0  具备数据采集、低代码开发、任务调度、数据地图、质量监控、数据服务等能力,成为吉利汽车第一代大数据基座与数据开发治理平台,承载了研、产、供、销、服全链路业务线。

业务发展提速,大数据 1.0 平台面临挑战

在汽车电动化、智能化、网联化、共享化发展潮流下,车联网数据年度以 PB 级增长,业务场景覆盖面越来越广,大数据平台累计任务数已达数万。业务快速发展对大数据计算能力、存储能力等场景提出更高、更多样化的诉求。GDMP 1.0 架构平台面临计算、存储、调度等方面的挑战。

GDMP 1.0 技术栈

业务的快速发展与数据规模的暴增对大数据团队提出更高的交付效率与成本控制的要求。基于上述要求,吉利汽车启动了新一代 LakeHouse 湖仓融合的技术架构调研。

 

02 基于镜舟数据库构建服务实时统一、成本可控的大数据治理生态

2020 年 12 月,吉利汽车开始对 StarRocks 进行 POC 测试,并经历了大规模测试和前期业务上线的检验。在实际业务应用中,企业也需要考量数据库长期的技术支持和稳定性。

因此,吉利汽车最终选定了 StarRocks 的商业版产品——镜舟数据库作为链接业务与技术的桥梁,替换 ClickHouse、Impala、Trino 等产品,实现 OLAP 层的极速统一,同时开启了吉利汽车新一代 LakeHouse 湖仓融合的大数据 2.0 时代。

GDMP 2.0 技术栈

 

报表极速分析、经营指标实时展现

随着数据治理的基础设施逐渐完善,数据优化业务也成为可能。

吉利汽车开始将大数据的能力应用到业务领域的实时场景中,着力解决不同领域、不同层级庞大规模的生产管理人员查看实时跟踪需求,深度挖掘数据潜力、洞察用户需求,旨在为研、产、供、销、服各个领域,各个阶段提供极速数据响应,提升业务分析能力。

当前在镜舟数据库中,数据查询分析的效率得到了大幅提升。

其中,利用镜舟数据库湖仓融合新范式,通过物化视图、联邦查询能力,单表 480 亿,行大小 1k ,物化视图具备 10s 内完成刷新能力,业务基于镜舟数据库自助生成所需数据,以实现数据自助化、自动化,高效率满足业务诉求。

 

03 统一、实时的镜舟数据库全面应用,为业务长线获益

目前,吉利汽车在镜舟数据库集群近 25 节点规模,承载总数据规模达到 70 TB,上线运行了集团项目达 51 个,遍布研、产、供、销、服各个业务线,单表数据量达百亿,业务自助开发的报表达 2000+,报表查询平均耗时在 100-200 ms。

  • 利用镜舟数据库统一业务入口,解决以往多组件综合利用才能满足业务的痛点;
  • 镜舟数据库的高性能计算引擎将数据服务效率提升 30%,对外提供的数据服务访问时效基本在毫秒级别,大大降低了业务的查询等待时间;
  • 利用镜舟数据库 Catalog 轻松访问各类数据源,实现集团内部的数据联邦计算,同时配合视图功能,一个工程师即可完成业务场景的开发,省去繁琐建模等过程,对于临时紧急场景能够提供有效支撑,极大缩短开发时间;
  • 镜舟数据库已应用到售后、研发等 500+ 场景、预警和预测 50+ 场景应用、业务自主 DT 等 300+ 场景应用,为数据场景提供全面、实时数据支持;

 

04 结语

通过与镜舟科技的合作,吉利汽车能够更好地满足用户需求,提供个性化的出行服务。

接下来,吉利汽车将与镜舟科技深入更多技术场景,在数据量不断增长情况下,持续优化计算性能,并开始计划 Muti-Warehouse 资源管理与隔离、多 Hadoop 集群接入等新的数据服务应用。未来,吉利汽车希望进一步加深与镜舟科技的合作,共同探索智能汽车领域的新机遇,实现车联网的深度融合,为用户创造更加智能、安全、便捷的体验。