我们坐在一个大数据的时间炸弹上
1140亿美元。这是2018年在大数据上花费了多少全球组织,只需五年增加300%以上。但是多少钱花了多少钱?
在过去的10年中,我们已经看到广泛采用了管理大数据的新方法,如MapReduce和较少模式数据库的额定数据库,以及Hadoop,Storm和Spark等互补技术用于存储和处理。但是利用大数据意味着不仅仅部署特定的平台或范例:最佳,这意味着如何重新设计公司的结构和组织数据。
尽管数据具有大量的福利,但很少有组织已经开始准备采用新功能和数据平台的基本步骤。全球公司的一个行业调查发现,只有35%的数据捕获,策划,验证和保留的强大流程。同样令人不安,67%“没有明确定义的标准,以衡量其大数据倡议的成功。”相反,大数据解决方案集成了反应性,部门按部门或根本没有集成。
根据2014年IDC报告,世界上,世界上可用数据的数量将爆炸到2013年2013年的44次Zettabytes。未能为此未来一代大规模数据量和见解进行准备的公司运行了招致运营和技术债务的风险。在工作中的企业自然选择的一个例子中,那些落后的人注定要枯萎。
这是他们可以期待的那样,因为这个大数据时间炸弹脱落。
灾难性的透明度损失。很少有IT专业人士在规模中有经验管理大数据平台 - 这一情况在行业中创造了大量技能短缺。到2018年,美国公司将少150万经理能够做出基于数据的决策。最近的麦肯锡季度报告估计,为了缩短这种差距,公司需要花费50%的数据和分析预算培训前线管理人员;它还指出,很少有公司意识到这种需求。
随着数据需求宽广的,经理们没有坚定了解信息管理和数据可扩展性的最佳实践将遇到管理数据驱动系统的重大挑战。通过不良操作透明度,企业将努力识别数据不准确和有意义,甚至是否正确运行键报告和指标。能够掌握这些复杂性并询问有关数据的正确问题将成为强制性技能。任何更少的东西都意味着缺乏对您的业务的运行方式,抑制知情决策和减少贵公司的竞争优势。
飙升的人员费用。2014年,数据科学家在清洁和处理数据集中估计了50-80%的工作时间。在近期,公司常常旨在将数据准备任务的自动化外包给关闭或近岸数据专家。对这些服务的需求已经推动了MicroWork平台的爆炸,如CloudFactory,Mobileworks和Samasource,预计到2018年将成为50亿美元的行业。
但是,外包方法不扩展。返回到预测的44 Zettabytes的数据,这一数量的快速增长将需要数千个海上和近岸团队资源,并具有长期可行的解决方案。任何可持续解决方案都需要涉及重大的自动化。
通信阻塞。今天通过策划数据互相互动,但努力促进进程宫的努力与未来20年内的进展情况相比。将出现新的企业数据网络标准,涉及各种尺寸的交易,发布和测量策划数据集以及相应的算法和元数据的组织。一家无法参与这一全球数据市场的公司将无法利用提供的市场情报。
在全球经济的每个部门已经开始,这对商业质量数据分享的这种演变已经开始。在压力下,允许第三方核查其研究,葛兰素媒体如葛兰素斯米特克莱斯的制药公司最近提出计划更广泛地分享临床试验数据。奥巴马总统呼吁科技公司分享有关潜在黑客威胁的数据。最近的Forrester报告预测,数据服务将成为2015年的“产品产品的主流方面”,引用John Deere的Farmsight对Lexisnexis的分析产品的例子。在这个步伐和未来十年,有效地利用大数据不仅仅是赢得市场的关键,这将是参与的先决条件。
尽管有这些即将发生的挑战,您可以避免大数据定期炸弹 - 如果您现在采取行动。以下是三个步骤,可以在您的公司内拆除此迎面而爆炸。
1.抵制“立即收集数据”,以后提出“方法
为确保未来的分析功能,公司必须现在投资一个平台,该平台可以快速,高效地在新数据集中开机。他们应该考虑他们的业务如何在未来在数据摄取和联合会中运作,以及如何发生从传统系统到端到端的自动化数据和分析的转换。
核心至关重要的是投资一个新平台的能力,而是仔细,仔细,透明地投资,而不是收集数据而没有明确的目标或投资努力来解释被收集的数据。
2.重新建立架构遗留数据应用 - 无论看起来多么痛苦
许多公司过于依赖于具有高维护开销的过时的遗留系统,其中升级或做出战略变革的成本得到了优先考虑。即使是主要的科技公司也是如此 - 例如,虽然三星的Smarthub电视机软件在云上运行,但由于移动它们的成本,其所有金融交易仍然是本地的。
网络结果是,在许多组织中,数据均在许多配置中静坐。一些数据 - 例如社交媒体统计数据 - 甚至存储在公司之外,创建另一层复杂性。为了在大数据中进行创新,公司必须重点改进遗留数据应用,以重点放在各个部门的更大的操作透明度。
3.采用模块化和多粒度的数据管理方法
进一步,进一步将原始和富有洞察力的数据塑造成模块化,种组良好的实体,在不同的粒度水平上,您越有可能能够有效地利用业务见解以及仍然灵活,以便对更改的大数据景观作出反应 - 这是如何融合大数据时炸弹的方式。
(感谢Poannima Apte和河马的Edward Newell阅读了他们对这个故事的研究帮助。)
Cameron Sim是Crewspark的首席执行官。