选自infoworld作者：serdar yegulalp参与：黄小天、李亚洲、微胖
这些 python 库帮助你加速数据传输，通过 aws lambda 对大型计算工作做碎片化处理，并使用略低于 tensorflow 的模型工作。
机器学习令人兴奋，但具体工作复杂而困难。通常它涉及很多手动提升——汇总工作流及传输渠道，设置数据源，以及在内部部署和云部署的资源之间来回分流。
用来提高工作效率的手头工具越多越好。庆幸的是，python 是一个威力巨大的工具语言，在大数据和机器学习之中被广泛使用。下面是 5 个 python 库，帮助你缓解来自交易提升的重负。
pywren
地址：https://github/ericmjonas/pywren
pywren，一个带有强大前提的简单包，能使你运行基于 python 的科学计算工作量，以作为 aws lambda 函数的多个例子。项目 at the new stack 的简介这样描述 pywren: 把 aws lambda 用作一个巨大的平行处理系统，以处理那些可被切割成诸多小任务的项目，这些小任务的运行不需要占用很多内存或硬盘。
lambda 函数的一个缺点是运行时间最长不能超过 300 秒。但是，如果你需要一个只花费几分钟就能完成的工作，并在数据集中需要运行数千次，那么 pywren 也许是一个好选择，它可以一种用户硬件上不可用的规模平行化云端的工作。
谷歌的 tensorflow 框架正迈入伟大时刻，因为刚发布了 1.0。人们通常会问一个问题：如何利用在上面训练的模型而无需使用 tensorflow 本身？
tfdeploy
地址：https://github/riga/tfdeploy
tfdeploy 可以部分解决这个问题。将训练过的 tensorflow 模型输出「一个简单的基于 numpy 的可调用对象（callable）」，也就是说，借由 tfdeploy，可以在 python 中使用模型，而且 numpy 的数学和统计库被作为唯一的依靠。几乎所有能在 tensorflow 上跑的运行也能在 tfdeploy 上跑，而且你可以通过标准 python 隐喻方式来延伸库的行为（比如，超载一个类别）。
现在，坏的消息是：tf 部署并不支持 gpu 加速，要是 numpy 能克服那一点该多好。tfdeploy 的创造者建议 gnumpy 项目是一个可行的替代。
luigi
地址：https://github/spotify/luigi
编写成批作业通常只是处理海量数据的其中一步：你也不得不将所有这些工作串联起来，做成类似工作流程的东西。luigi 是 spotify 打造的，用于「解决所有通常与长期运行成批处理作业有关的管道问题。」
有了 luigi，研发人员就可以从事几个很难、与数据无关的任务处理——「一个 hive 询问，一个在 jave 上完成的 hadoop 任务，一个 scala 上的 spark 任务，一个从数据库中导出表格」——创造一个端到端运行它们的工作流。对任务的整个描述以及依存性被打造为 python 模块，和 xml 配置文档或其他数据形式不同，因此，可以被组合到其他以 python 为中心的项目中去。
kubelib
地址：https://github/safarijv/kubelib
如果你采用 kubernetes 作为完成机器学习工作的编排系统（orchestration system），你最不想要的就是它产生的问题比能解决的问题都多。kubelib 为 kubernetes 提供了一系列的 python 接口，本来是用 jekins scripting 作为帮助。但没有 jenkins 的情况下也能够使用，它能够完成 暴露在 kubectl cli 或者 kubernetes api 中的所有事。
pytorch
地址：https://github/pytorch/pytorch
不要忘记了最近发布的、引人注目的 python 库新成员 pytorch，这是 torch 机器学习框架的一个工具。pytorch 不仅为 torch 添加了 python 端口，也增加了许多其他的便利，比如 gpu 加速，共享内存完成多重处理（multiprocessing，特别是多核上隔离开的工作。) 最好的是，它们能为 numpy 中的无加速功能提供 gpu 驱动的替代选择。