许多企业已经认识到数据资产是核心竞争力的来源,但对于大数据价值如何进行挖掘、如何变现,理念上认为是当务之急、行动中却“狗咬刺猬无处下嘴”。这主要是因为,多数企业存在以下困难:数据挖掘专业性强,企业内部缺乏相关人才;数据挖掘项目周期长、见效慢,且很多时间消耗在数据采集阶段;不同挖掘分析需求在业务上虽有不同、建模技术上因子多且重合率高,业务与建模人员存在沟通协调上的障碍。
有鉴于此,领诚科技推出了BigHack大数据挖掘分析平台。它通过产品化的平台架构设计及内置数据整合与挖掘建模的方法,全面减轻企业在部署数据挖掘分析时,面对数量庞大的用户个性化需求、必须基于海量数据进行针对性挖掘建模的现实困难。
BigHack可采集、清洗和解析企业内外部结合的混合数据源,采用统一数据架构和混合数据模型构建挖掘平台后台库,同时内置挖掘分析引擎,使基于BigHack的行业分析应用的开发部署难度大大降低。下图为BigHack总体架构(图中示意影视分析应用):
为了帮助企业节约投资规模、增强自主可控能力,同时使团队能力得到快速成长,BigHack在平台研发中广泛采用开源技术和产品构建,同时大量融入领诚科技经验和知识产权的多年积累。下图是BigHack的一个部署实例。
BigHack大数据挖掘分析平台具有广泛的应用场景和价值。例如:
在数据采集时,通过将量化的数据质量问题予以清晰展现,可以可视化数据问题,促进源系统和数据源优化提升质量。同时,通过扩大内外部数据采集范围,使数据源更丰富、信息关联更完备、分析视角更全面、业务价值更充分。
在数据整合时,通过平台内置的数据预处理程序,整合内外部异构系统及互联网数据,大大简化基础数据处理,促进数据分析工作效率的提升,同时通过内置的数据挖掘集市,使前端分析应用的数据建模轻松实现。
在数据挖掘时,通过平台内置的数据挖掘分析模型,使挖掘和预测需求通过灵活配置即可实现,同时通过分析结果的直接业务反馈,能够帮助业务提升,也进一步促进数据源头的效率和正确性。
在平台建设时,通过部署产品化的BigHack平台,轻松搭建从数据采集、清洗、处理到开发、测试、展现的全套数据挖掘工具及数据挖掘平台,为向业务用户提供数据挖掘服务奠定坚实基础,同时由于平台内固化数据挖掘模型,易于按照业务需求开发易用、好用的业务应用,使平台的业务价值充分突出,而平台本身也具有持续可发展能力。
企业用户可以在企业内部私有部署BigHack平台,也可以采用云服务的方式,随时享用领诚科技部署在公有云上的BigHack实例。通过BigHack云平台,企业用户除可直接享用领诚科技的数据服务(平台根据用户需求直接输出挖掘成果)外,还可以享用数据处理服务和挖掘算法服务,以及通过平台间接接入第三方数据挖掘服务。