加利福尼亚州红木市 - 金融网络始终引领了数据分析和技术采用的创新，并且在处理和在数据周围移动时，他们正在创造最大的大数据挑战之一。

洲际交流街道首席数据官Steve Hirsch是统计数据的统计资料，谈到了今天VentureBeat的Datapeat数据科学峰会的财务数据。洲际手机为纽约证券交易所以及世界各地的其他22家实时金融交易所处理了大量数据。

该网络现在为美国股票选项市场的一天提供140亿股录取。四十八巨大网络管道提供该信息，不断运行5千兆位。这些网络每秒提供1000万条消息，并且在微秒内测量延迟或延迟的延迟。洲际交易所必须每天处理7个TB的新鲜数据。Hirsch说，这就是与今天的市场取得联系所需的内容。

他说，自1867年创建第一台电报的Typer磁带机以来，我们已经走了很长的路。金融业导致了数据分析的创新方式。它引入了在1987年电影如华尔街这样的电影中的餐具股票机机器，这是一部1987年出演的查理光泽。库存交易所在交易价格信息上垄断，甚至谷歌和雅虎等来源可以访问15分钟延迟的数据。这一点五年前就是真的。

但金融业和美国证券交易委员会认识到，数据的民主化将导致更公平的交易，因此，股票的交易明显。

1998年，SEC介绍了监管ats，这允许新的交易交易与纳斯达克和纽约证券交易所竞争。那些交流自己的服务器和开放系统可以水平扩展。

“这是机器的崛起，”Hirsch说。

变化是戏剧性的。Hirsch与群岛进入交易场景，这是一家联合各种“岛屿”在交流中的公司，并帮助民主化数据。在过去十年中，每日交易量山峰增加了1000倍。这是释放这些信息的结果。

2007年，SEC简介规例NMS。这使得已经连接了十几个交易交易，现在乘以40。这介绍了复杂的问题，以确保价格在40个不同的数据集中实时符合，交易是公平的。

“这种复杂性意外，”Hirsch说。“你如何[观看]一个拥有40个不同的交易的市场？”

SEC的监管NMS今天仍然有效。关于金融交易数据的简单事件是它基于结构化数据或一堆数字。但现在最复杂的交易者正在使用历史数据构建预测模型，然后用实时传感器将它们延伸，用于新的数据输入。这意味着他们正在对Facebook，Twitter和传统新闻来源进行情感分析。

“这进入了整天交易的机器，”Hirsch说。

Hirsch表示，该系统并不完美，如2010年5月6日发生的“闪存崩溃”所证明。在那一天，道琼斯工业在几分钟内下降了9.2％，除了通过自动交易系统传播的恐慌之外，没有明确的原因。它在4月再次发生的时候，黑客接管了联邦新闻的Twitter饲料并种植了白宫有爆炸的恶作剧，总统受伤了。AP立即拒绝推文，但重新发布了3000次。道琼斯工业在恢复前跌至9分钟。

这些自动崩溃在投资者之间创造了恐惧，因此交易商现在已经建立了系统的限制，以便在大瀑布期间暂停交易。

“我们已经看到了让市场运行时会发生什么，”Hirsch说。“我们相信它太复杂了。现在有数据驱动的安全网停止闪存崩溃。他们在交易中引入暂停。“

监控23网络是200个数据科学专业人员的全职工作。洲际交易所的数据科学产品，数据调度，由关键销售。