以云原生重新定义大数据
大数据和云计算之间存在着密切且相互推动的关系。大数据时代已经到来，大数据应用背后是云计算，两者的高效连接为释放大数据的价值奠定了良好的基础，使业务创新成为可能。“云原生大数据”是上述技术投影的一种形式。云原生最早由Pivotal的Matt Stine在2013年提出。Cloud Native CloudNative是Cloud+Native的组合。云计算意味着应用程序位于云中，而不是传统的数据中心。原生意味着应用程序从一开始就考虑到云环境，并为云设计原生，充分利用云平台的弹性+分布式优势。云原生大数据是在设计之初就充分考虑如何利用云的优势，最大限度地发挥数据价值的大数据。
早在2008年就开始自主研发，并于2010年2月获得私有云操作系统商业版版权，是一家拥有深厚云基因的公司。2015年，在面对地方公安的多重警务种类和地方城市多层次复杂的数据生态问题时，平高对大数据平台的研发有了一定的思考。结合多年的云计算自主研发经验、实践经验和敏锐的技术趋势研究，平高认为，要想让大数据有效释放价值，解决跨行业的数据互联问题，构建成熟的数据管理能力，结合云计算的优势。我们认为，我们需要支持数据管理和应用程序。在2016年，我们看到了云数据湖的诞生。产品高云数据湖管理平台云原生采用存储计算分离架构，主要体现在以下几个方面，通过云原生存储加速数据访问，云原生计算智能调度资源。通过云本机网络保障数据安全。* 产品高云数据湖管理平台（Bingo）是国内首个专用云数据湖之一，是新一代的数据收集、共享、平台。
云原生大数据，加速数据价值从共享Nothing向共享存储产品释放高云数据湖采用存储和计算分离架构，采用基于S3标准协议的云原生对象存储来托管大规模数据存储。计算层是无状态的。与基于Hadoop架构的数据湖相比，Pinkao Cloud数据湖存储计算与Hadoop/Spark/MPP等异构计算引擎无缝连接，可以回收计算资源，并可按需扩展，具有计算灵活、成本低等优点。利用云技术加速数据存储访问--基于SDN软件定义网络技术的数据路由加速解决了网络层的数据智能路由，使数据访问更接近磁盘访问，缩短I/O路径，减少上行数据复制包。解决了内存隔离架构下的I/O延迟和性能损失等问题。- 分布式存储加速分布式存储技术可自动缓存接入热点数据，大大提高了接入速度。- 高性能并行加速基于底层云平台DPDK + SDN架构，对计算节点的数据传输层进行多核并行架构改造，提高整体云数据湖大数据计算集群网络传输性能，同时符合POSIX标准包Socket网络开发组件。对负载均衡、数据缓存等服务进行优化改造，以提高关键网络服务的性能，而云上提供的纯软件负载均衡服务每秒可支持150万个请求，同时连接多达500万个。云技术支持开放性、轻量级数据计算-多范式开放计算产品高云数据湖存储使用标准S3协议进行离线计算、实时流计算、交互式分析、可以无缝对接多范式计算引擎，如AI计算，外部表支持不同分区文件的映射，灵活满足不同数据处理需求，提高数据共享的使用效率，构建“一个数据，多个计算”，跨部门。跨复杂生态系统的异构计算引擎可以快速连接，而无需在引入或交换新计算技术时迁移数据。- 轻量级功能计算产品High Cloud Data Lake基于一个轻量级、多编程语言上下文环境保证的容器沙箱，提供符合AWS标准的多租户Lambda云功能。基于数据湖多维感知的全链路事件驱动，构建了云数据湖内生数据计算处理引擎。支持数据定义DDL 、数据管理 DML等事件，如数据写入事件、数据更新事件、数据删除事件等，用户可以根据业务场景注册云功能和设置规则。数据湖具有内置的功能，如通用图像识别、OCR识别和实体提取。同时支持上传用户定义函数，支持Java、C/C++、Python等编程语言，实现敏捷、轻量级的数据处理。云本机混合调度，屏蔽底层资源差异，优化分配资源-异构资源统一管理调度，针对以最佳资源配置提供服务的大数据异构计算资源调度高效能交付场景，基于大数据异构计算引擎的资源需求差异化特性，产品云研究异构资源的统一管理控制和调度技术，根据物理区域、业务区域、安全区域划分数据计算可用区域，在同一可用区域内，服务支持以虚拟机、容器、裸机等不同资源形式运行，支持GPU、NPU、FPGA等加速设备资源化交付。在异构大数据计算引擎场景中，可以优先提供最优的资源分配。- 多核协同调度国内芯片厂商正在蓬勃发展，每个芯片的擅长领域也不同。在此背景下，各集团公司或单位可能同时提供多个芯片服务，有时集团公司及其子公司所使用的芯片也会有所不同。平高云数据湖屏蔽了底层异构计算引擎的差异，根据客户的使用场景安排合适的芯片以提供计算服务，不同厂商的芯片协同工作支持应用，避免了技术锁定、容量不足等潜在的业务风险。- 弹性伸缩利用存储分离架构来有效利用资源，计算实现无状态，数据计算可以根据用户自定义业务规则自动伸缩，支持多租户计算资源的隔离和动态调度。使用SDN确保数据安全高云数据湖将代码与执行代码所需的数据和环境变量隔离开来，并根据代码执行环境自动将所需数据与环境变量关联起来。SDN还可以隔离敏感数据，以确定客户端IP、访问协议和在云网络级别访问的访问端口是否可以访问。对于高度敏感的数据，可以再次隔离子网，以确保多个级别的数据安全。
通过云计算与大数据的融合，新技术的协同和包容，可以发挥指数级增长的价值优势。未来，技术交叉融合必然是趋势，我们将始终保持开放中立的态度，以推动行业发展为目标，积极探索创新与融合，赋能行业客户的发展。