TB级大数据如何采用优刻得USQL数据湖分析降本90%
摘要：TB级大数据使用优刻得USQL，将数据分析的等待时间从平均43小时降到2小时;同时依托USQL根据数据分析量计费，不使用不收费的特性，帮助客户将数据运算成本降至自建方案的0.5%。当前，大数据的价值已无需赘述，作为衡量一个公司核心能力的最底层标准，数据的建设也面临着诸多难题。为了帮助企业用户解决大数据分析门槛高、效率低的问题，优刻得USQL数据湖分析应运而生，可轻松完成面向海量数据的数据建模工作。纵观目前企业大数据建设面临的问题，可大致分为三点。其一，是数据资产不清晰，伴随着业务多元化发展，数据来源越来越多但数据质量难以把控;其二，不同业务间烟囱式的数据架构模式造成了数据孤岛;其三，伴随着数据量逐渐扩大，分散的数据如何联动，挖掘更大的价值成为诸多公司探索重点;而数据分析、数据资产管理、数据安全也面临越来越严峻的挑战。企业用户在云端搭建大数据平台时，往往会被大数据生态的复杂性所困扰，需要面临复杂技术栈导致的人才门槛、大数据分析前期服务部署产生的巨大成本、数据分析耗时长等诸多问题，使得“大数据形成了大麻烦”。为了帮助用户解决以上问题，优刻得USQL数据湖分析以一个能力强大的计算平台作为后端支撑，可以在PB级海量数据上进行复杂的SQL计算，同时USQL拥有读取型Schema的属性，可关联分析多种存储格式的数据，极大降低了产业用户使用大数据的门槛。在场景实践中，USQL成功赋能新媒体整合营销平台爱普新媒的业务部门。目前爱普新媒广告业务数据规模达到数百TB，日增长量为1TB左右，业务日常不固定的分析需求非常多。在现有的大数据处理方案下，数据部门每月需投入大数据工程师20个人/日，平均每次需求处理时长为1.8天，此外还需额外花费数千元维持一个数据仓库集群。与用户自建大数据平台的相比，通过使用优刻得USQL，将数据分析的等待时间从平均43小时降到了2小时;同时依托USQL根据数据分析量计费，不使用不收费的特性，帮助客户将数据运算成本降至自建方案的0.5%;此外，USQL产品7*24小时可用，客户不需调配技术人员维护，减少了人力支出，也大幅度改善企业对大数据工程师的依赖。