大数据如何在太空勘探中提高新时代
2018年,来自世界各地的一组组织将开始建造最大的广播望远镜,平方公里阵列(SKA)。
拥有一百万平方米的收集区域和足够的光纤以缠绕地球两次,这种现代化工程的奇迹将足够敏感,以便在一个星球上距离地球50岁的地球雷达敏感。SKA还将生成700磅的数据,相当于大约35倍数据存储在国会库中的数据。全部容量,预计SKA的孔径阵列比整个互联网产生更多的数据。它不需要火箭科学家意识到这种洪水的信息创造了一个大数据问题,也许我们曾经遇到过的最大数据。
解决空间行业的这一大数据问题需要在数据存储,处理和访问(或可视化)技术中的创新,反过来,这反过来又为初创公司和大型数据嘎吱嘎吱的公司创造了充足的机会,以利用。
一些主要因素将推动在未来几十年中落在我们下面的天空中的Terabytes数量的指数增长:商业卫星部署速度的增加,实现更快的通信技术,以及行星际任务的开始。
不断增长的“轨道经济”和深空勘探
DWWindling推出成本和卫星市场的民主化将导致轨道活动前所未有的增长。基于各公司和空间计划的宣布计划,将在本十年结束时推出2,000至2,750立方体和纳米SAT - 戈达德太空飞行中心目前在轨道上列出2,271颗卫星。大多数新航天器将具有商业应用,特别是在地球观察中。地球观察意味着图像和视频,通常是多频谱甚至3D,这是涉及的数据单元中最重的“包装”。
从历史上看,保持空间数据闸门的最大屏障关闭是能够将收集的信息传送回地球。大多数当前空间任务使用射频来传输数据,这是一种相对较慢的方法。NASA的典型深度太空探险家每秒兆字节的顺序送回数据,而地球轨道航天器通常在每秒千兆字节中这样做。然而,在未来,空间行业预计将开始切换到新型的光学(或激光)通信,这将显着增加下载速度,并且在数据量中平均值1,000多次浪涌。
在过去的几年里,国家空间计划和私营公司都有一些关于他们雄心勃勃的行星期际任务的计划的大公告:据报道,中国策划了月球殖民地,Spacex对马斯的载人任务很好,特别是鉴于美国宇航局和行星资源的最新合同奖,并计划展望和矿山近地球小行星用于水和铂族金属的近地球小行星本十年的结束。(披露:行星资源是我的投资组合公司之一。)
行星资源的联合创始人Eric Anderson估计,“行星”数据可以在我们自己的太阳系矮人中提供的地理数据的数量三个数量级。
数据存储和管理
亚马逊和美国宇航局最近推出了NASA地球交易所(NEX)平台,协作和分析工具,它结合了最先进的超级计算,地球系统建模,工作流管理和美国宇航局遥感数据。通过NEX,用户可以探索和分析大地球科学数据集,运行和共享建模算法,在新的或现有项目上进行协作,以及在其他科学社区内部和其他科学社区中的交换工作流程和结果。目前,NEX主要使用气候,植被和Landsat全球土地调查的数据集。然而,平台最终是一个强大的展示,用于云计算技术可以为空间行业做些什么。
与此同时,通过动员未被发救的资产 - 卫星星座,无人机和其他空中影像平台,将经济分享到地质业务的概念,我们看到了一些玩家测试新的商业模式。 - 卫星星座,无人机和其他空中成像平台,并基本上创造了新的收入渠道数据所有者。“虚拟卫星星座”和“Geo-Appstore”的概念变得越来越成为现实。在过去的一年中,我们已经看到了许多基于云的平台,如ESRI和Cloudeo商店,将数据提供商,软件开发人员和服务提供商聚集在网上市场中,客户可以在线市场搜索地理空间产品以满足他们的需求在基于安全的SaaS的环境中。(披露:Cloudeo是我的投资组合公司之一。)
即使是硬件创新者也认识到将其平台开放以更大合作的重要性。基于硅谷的行星实验室 - 从DFJ,OATV和Yuri Milner等团体筹集了超过6000万美元 - 这是希望在今年年底之前发布其开发人员API(应用程序编程界面)。
可视化
可视化是使地理空间数据对最终客户有用的另一个重要方面。无论您是一位寻求评估土壤湿度含量如何影响田间的植被水平的农民,或者试图识别砍伐渡梦模式和非法记录操作,分析和呈现的方式都可以是最终结果的部分。
西班牙语启动Cartodb最近提供了一种独特的可视化方法。它不是专注于Google地球等基础地图,它侧重于顶部的数据和应用程序图层。此外,通过使用开源方法,Cardodb将超过50,000名用户吸引到其平台,并且他们不断促进平台上可用数据和应用的质量和数量。结果已经是来自房地产和银行到医疗保健和自然资源的数千名行业的千分之一漂亮的地图。投资者对本公司的途径有信心,本月早些时候将在800万美元的时间内进行800万美元。
地理信息系统(GIS)市场估计为25亿美元,数据可视化市场达到42亿美元,基于位置的服务支付75亿美元。难怪谷歌通过今年早些时候获得了Skybox成像和Titan航空航天等互补资产,在其平台上积极构建。通过将卫星和无人机图像与其计算能力和内容交付能力组合,谷歌有机会建立第一个完全垂直集成的GIS服务,也许有一天需要谷歌地球平台。
虽然在发射火箭和建筑空间站看起来更加迷人,但事情的真相是,通过数据暗惊的人将空间字节转换为美丽的地图和信息图表,仍将在地球上进行主要的美元。