经过九年的研究,Numenta终于有模仿大脑作品的方式(面试)
Jeff Hawkins和Donna Dubinsky开始Numenta九年前创建了人类大脑流程方式后建模的软件。它已经超过预期,而是雷德伍德市,加利福尼亚州的初创公司最近举办了一个开放的房子来展示它的进展情况。
霍金斯和杜巴斯基是顽强的士兵,用于坚持下去。霍金斯是原始棕榈飞行员的创造者,是2004年“智力”书的大脑专家和共同作者。杜巴斯基和霍金斯先前已经开始了手推车,但是当那个跑步时,他们在2005年再次在2005年一起拉到一起,研究员Dilep George开始Numenta。该公司致力于复制人类大脑的处理能力,并在今年早些时候发布其第一个产品Grok,以检测信息技术系统中的不寻常模式。这些异常可能会在计算机服务器中发出问题,并在早期检测问题可以节省时间。
虽然这似乎是一个奇怪的第一个商业应用程序,但它适合大脑的擅长:模式识别。Numenta在Hawkins的分层时间内存中构建了它的体系结构,关于大脑如何具有存储数据的内存层,这些内存在时间序列中存储数据,这解释了为什么我们容易记住歌曲的单词和音乐。该理论成为Numenta代码库的潜在基础,被称为皮质学习算法(CLA)。该CLA已成为驱动Numenta的所有应用程序的共同代码,包括Grok。
霍金斯和杜巴斯基在该公司最近的开放式房屋中表示,它们比以往任何时候都比以往任何时候都更兴奋,而且他们开始与潜在合作伙伴的更深层次的对话,了解如何使用Numenta技术。我们参加了开放的房子,并在后来采访了霍金斯和杜巴斯基。这是我们对话的编辑成绩单。
以上:numenta cofounds donna dubinsky和杰夫·霍金斯
图像VidtureBeat:我喜欢这个活动,我在你的介绍中遇到了几件事。回到什么时候,你在智力上写了这本书。你开始了numenta。你说你一直在学习25岁的大脑。在我看来,你已经知道了大脑的很多。所以我很惊讶地听到你说,我们根本不知道大脑工作的方式。
杰夫霍金斯:嗯,在我在公开的房子里给了那些言论,我的意思是说我一直在工作超过30年,而且当我开始,那些年前,我们几乎没有关于大脑的任何东西。但是,我们在过去的10年或其他东西中没有任何知识。过去30年来取得了巨大进展。
vb:在numenta的开始时,如果你回顾你所知道的,那么将它与你现在所知道的,现在有什么不同?
霍金斯:如果您回到Numenta的开始,我们的理解状况类似于我在智力上写的内容。这是一个很好的快照。如果你看看这本书,你会看到我们知道皮质是一种思维的层次结构。我们知道我们必须实施某种形式的序列内存。我写了这篇文章。我们知道我们必须为这些序列形成共同的陈述。所以我们知道很多这些东西。
我们不知道的是Cortex如何学习和做事。就像是,是的,我们有这个大框架,我写了关于框架的内容,但获取细节,所以你实际上可以建立一些东西,或者完全了解神经元如何做到这一点,非常具有挑战性。我们当时不知道。还有其他东西,如感觉,电机,这些其他系统的工作。但大小是我们没有一个理论,这是一个实际,可实现的,可测试的水平。
以上:numenta cofounder jeff hawkins
图像vb:我记得这本书,你有一个非常有趣的解释记忆工作如何。你说你可以更好地记住一首歌的话,因为他们被附着在音乐中。音乐的时间是这种时间记忆。这仍然是这种情况,就如何描述大脑如何运作,如何更容易地记住一些东西?
霍金斯:存储器是时间特征,是一种基于时间的特征。如果你听到了一部分的东西,你会认识到整个事情,并开始把它踢回到你的脑海里。这仍然是真的。再次,我们没有确切地知道这是如何工作的。
事实证明,在这本书中,我写了一些关于这个内存必须具有的某些属性的一点。你提到的是从歌曲中间开始并捡起它。或者您可以在不同的钥匙或不同的速度中听到它。我们不确定我们是如何做到的。
当我们开始Numenta时,我们列出了与测序内存和预测等相关的挑战列表。我们在他们身上工作了很长几年,试图p out如何构建一个解决所有这些限制的系统。这很困难。我认为没有人这样做过。我们在它上面工作了近四年,直到我们突破,然后一切都在一起,在几周之下。然后我们花了很多时间测试它。
vb:你能以某种方式描述该平台吗?
霍金斯:我们使用的术语有点具有挑战性。HTM是指皮层的整体整体理论。您可以将书中的内容视为HTM理论。我当时没有使用这个词。我打电话给内存预测框架。但我决定使用更抽象的术语“分层时间记忆”。这是层次结构,测序的内存和播放该理论的所有概念的概念。
实施,细胞如何做到这一点 - 这是一个非常详细的生物学模型,以及计算机科学模型 - 我们给出了不同的名称。我们称之为皮质学习算法。它是将细胞的实现为HTM框架的组件。这是你可以减少练习的东西。CLA,你可以描述这一点。很多人都创造了这一点,它有效。虽然HTM是一个有用的框架,用于了解整个事情是什么,它并没有告诉你如何构建一个。说“我们要发明一辆有轮子,电机,消耗汽油等的汽车之间的区别是 - 这是HTM版本 - 并弄清楚如何建立一个真正有效的内燃机和某人的内燃机可以建立。
vb:当你在那里谈论算法时,你在模拟什么?大脑的作用是一部分很小的部分吗?
霍金斯:如果你看看Neocortex,它看起来很相似。然而它有一些基本结构。您在任何动物的任何新胶质中查看的第一个基本结构,你会看到细胞层。你看到的层在狗,猫,人类,小鼠中都是一样的。他们看起来很像你去的地方。
CLA捕获是一层细胞如何学习的内容。它可以学习不同类型的东西的序列。它可以学习电机行为的序列。它可以学习感觉输入的序列。我们正在建模一段皮质层。但我们只是建模一个非常小的一块。我们正在建模1,000至5,000个神经细胞。但它是在各地使用的相同的过程。我们的型号相当小,但该理论涵盖了皮质必须做的很大组成部分 - 层层中的细胞理论。我们现在也了解这些层是如何互动的。那不是CLA本身,但我们现在了解多个层是如何互动的,以及他们彼此做的事情。CLA具体涉及一层细胞的表现。但我们认为这是一个非常大的交易。
以上:numenta的grok.
图像VidtureBeat:它听起来像是当你们在一开始时谈论的时候,它花了比你所期望的所有想法所花费的时间更长。
Donna Dubinsky:说公平。我们知道它会很难,但我不认为我们预计将需要这么长时间才能获得第一批商业产品。已经花了很长时间才经过多个多种这些算法,并将它们达到我们觉得它们的表现良好。
vb:你能解释一下吗?底层平台是算法。它到底是什么?它像一个大脑一样,你喂了什么?什么是嘎吱作响?
杜巴斯基:在我们认为是人类脑的算法之后,它是建模的人类脑的算法。你的大脑是什么,以及我们的算法所做的,是自动找到模式。看待那些模式,他们可以预测下一个可能发生的东西,并在他们预测的内容中找到异常。这就是你每天都在沿着街道走的东西。您在世界上发现模式,进行预测,找到异常。
我们已经将其应用于第一个产品,这是在AWS环境下的计算机服务器中检测到异常。但是,就像你能做的那种事情一样,这只是一个例子,而不是结束。我们已经示出了几个例子。我们热衷于展示如何广泛适用的技术跨越一束不同的域。
vb:是否有一些好处需要更长时间才能获得您可以兑现的市场?有类似亚马逊Web服务或您启动公司时不存在的云。
杜巴斯基:这是一个很好的观点。肯定有AWS对我们来说非常棒。AWS在我们的算法喜欢读取它的情况下以完全的方式拍摄和包。它是流的数据。它随着时间的推移而流动。它有五分钟的增量。这对我们来说是一个很大的速度。我们可以将其读入我们的算法。
多年来,我们已经谈到了许多想要使用此东西的公司,并且他们的数据根本不是像这样的流式格式。每个人都谈论大数据。我认为这是大数据库的方式。每个人都在进行所有这些数据并在数据库中堆放它并寻找模式。这不是我们根本不做的事情。我们在流数据上进行,随着时间的推移而移动,并创建模型。
我们甚至不必保留数据。如果系统下降或某些东西,我们只需保留千万数据点。但我们不需要保留数据。我们保持模型。这与其他人在大数据世界中做的那么不同。我们去AWS的原因之一是它让我们周围有了这个问题。将我们的产品连接到AWS非常容易。
vb:几乎看起来与大数据移动,很多公司都在考虑比以前更大的问题。他们似乎需要更多的事情。
杜巴斯基:越来越多的人都是越来越多的事情。当我想到我们要适应的地方时,它会更接近传感器。您有越来越多的传感器生成信息,包括使用移动设备走路的人。这些是网络中的节点,在某种意义上。这些数据越多进入公司和辛勤费用,他们越需要找到它的模式。
人们不知道如何处理所有这些数据。当你读完所有互联网的东西时,请问那些写它的人,“你将如何使用互联网上这个东西的数据生成?”他们对你来说并不好。
vb:它似乎是它们中的共同线程是模式识别,这就是大脑擅长的,对吧?
1 2 3查看全部