今日上午,上海市科学技术励大会举行。会上表彰了2017年度在上海科技创新中作出突出贡献的科技工作者。华东师大作为第一完成单位组织推荐的3项获得表彰。
其中,由华东师大数据科学与工程学院钱卫宁教授团队牵头,联合上海优刻得信息科技有限公司、生产监督管理总局通信信息中心、上海心河信息技术有限公司等几家单位共同完成的《基于云服务的实时分析型内存数据管理系统关键技术及应用》项目荣获科技进步一等。在励大会上,项目第一完钱卫宁教授作为获代表,台接受了市领导的颁。
互联网技术的飞速发展在促进新经济爆发式增长、传统行业转型变革的同时,也为各领域积累海量优质数据资源奠定了基础。对这些数据的实时分析处理,是充分发挥数据价值、提升企业竞争力、提升治理水平的关键,是金融欺诈检测、应急响应、数字营销和推荐等应用的关键技术问题。
另一方面,金融、电信、能源、制造、零售、数字等应用领域核心信息系统“自主可控、安全可靠”已成为我国信息技术的主要发展战略。作为信息系统的基础系统软件,数据管理系统核心技术点多、系统集成度高,长期以来依赖于国外厂商的产品或技术。
应用需求的驱动和支撑硬件技术的发展,特别是众核处理器、大容量内存、高速网络等技术的普及,以及云计算平台的有力支撑,为数据的实时分析型处理问题的解决提供了新思。项目以解决海量数据实时分析型查询处理问题为目标,系统研究了内存数据管理系统的系统架构和实现,实时数据注入方法,云计算平台优化和系统测试方法等核心技术,实现了核心技术创新和系统研发,以及新型应用的推广使用。项目创新点如下:
1.研制了基于内存集群的分析型查询处理引擎,通过弹性流水线等技术,获得了优于主流开源软件系统的查询处能;
2.提出并实现了强一致性实时数据注入方法,解决了业务系统与分析系统间的实时数据同步问题,实现了200毫秒内的数据同步;
3.提出并实现了基于数据流的在线监测与运维方法,解决了云数据库服务的可靠性和可用性问题,系统的业务可用性达 99.99%,数据持久性达 99.9999%。
该项目发表论文 95篇;申请知识产权44项。另外,该项目联合研发的系统已成功应用于超过 5万家企业客户,管理、分析的数据量已超过 10PB,其业务包括多家银行和金融支付机构或企业的实时风控,互联网教育、在线广告、数字娱乐、网络通讯、科研和信息系统运维等领域的实时与推荐等。总之,该项目探索了一条核心信息系统摆脱国外IT企业垄断,自主研发、应用推广的道,取得了显著的经济和社会价值。