潜在的AI正在构建软件以使小型ML更加高级

在这个故事中，我想介绍两件事。第一个是小型机器学习或小型ML的概念。第二个是初创公司，它是试图围绕该概念建立社区的众多企业之一。让我们首先解决微小的ML。

两个月前，我访问Microsoft并与Microsoft Research的首席软件工程师Byron Changuion聊天之后，不知不觉中写下了关于这个想法的文章。他正在为机器学习软件构建编译器，以便可以在微处理器上运行。我很着迷，因为大多数公司都在努力制造低功率芯片，这些芯片可以在较小的甚至电池供电的设备上执行机器学习推理。

但是没有人真正提倡对像微控制器这样的东西进行推理的想法。AI涉及两个阶段：训练模型(该模型需要大量的训练数据集，并通过数据中心中的大型GPU或另一种类型的处理器来运行它们)和推理。推论是针对训练后的模型运行新数据以查看其是否合适。推理所需的计算能力比训练所需的要少，但推理仍会占用大量处理器。

写完微软的故事后，我了解了来自Google，高通和ARM等公司的整个社区，他们试图将AI推论带到最小和最遥远的边缘。这个想法是，通过将机器学习模型放置在传感器(而不是网关)上，您可以过滤掉大量无用的数据，保护用户隐私并改善延迟。

这个领域中的大多数演示都涉及在一角钱大小的传感器上的人检测计算机视觉或微型微控制器(MCU)上的语音识别。但是这里有巨大的潜力，尤其是与物联网有关的潜力。这就是为什么我很高兴遇到Jags Kandasamy的经历，他是一家成立11个月的初创公司Latent AI的联合创始人兼首席执行官，该公司正在编写软件以帮助在最远的地方高效地运行模型。

坎大萨米说，他的软件可以优化现有模型，因此它们可以在MCU上运行，并且不会损失原始模型的准确性。有两种产品。一种产品包括在云中运行的软件，该软件可帮助压缩现有的神经网络，使其可以在较小的设备上运行。另一个产品是一个编译器，它可以将公司所说的库文件压缩10倍，只需几个小时。Kandasamy说，他目前有10个客户正在试用该软件，并且正在与芯片供应商进行谈判，以便他可以针对他们的芯片优化该软件。

坎大萨米(Kandasamy)向我展示了他如何使用流行的图像识别神经网络，并使用优化器对其进行了调整，然后对其进行编译以在手机上运行。手机显然是比传感器更高性能的设备，但是正如他指出的那样，手机可以带来更好的演示效果。在演示中，该模型运行良好，可以识别会议中心周围的人员，酒瓶和其他用具。

由神经网络生成的模型不仅限于计算机视觉或语音识别。例如，让振动传感器运行旨在检测灾难性故障的模型，可以命令设备关闭。或者助听器可能会运行一个模型，该模型可以将对话与背景噪音区分开。我们很可能会在需要公司快速响应的地区，对隐私至关重要的用例以及电池寿命至关重要的任何地方部署此类软件。

6月，Latent AI筹集了由Steve Jurvetson在Future Ventures领导的350万美元的种子轮融资，其中包括SRI International Ventures，Perot Jain和Gravity Ranch。潜在AI是SRI International的衍生产品。