前戴尔EMC中国研究院院长创业：开发人员推出免费使用的AI加速虚拟化平台-量子比特
AI加速的尴尬现状，你感觉到了吗？
排他方案，用于非虚拟化，成本高。缺乏跨异构的快速管理和调度，方案困难，供应商容易锁定。
对于AI开发者来说，虚拟化使用的是加速器计算资源、现有的调度和管理软件，而非平民化。
因此，现在，几个虚拟化计算领域的专家，构筑面向开发者，免费下载能使用的解决方案的组套，正式以GitHub发售。
这就是刚刚上线的OrionAI计算平台。
整个OrionAI计算平台，包括AI加速器虚拟化软件、异构加速器管理和调度软件等两个组件。
这里，OrionAI加速器虚拟化软件不仅支持用户使用本地加速器资源共享，还支持应用程序透明地使用远程加速器资源而不更改代码。
这样可以打破资源调度的物理边界，构建更高效的资源池。
异构加速器管理软件和调度软件支持用户的应用程序在多个不同的加速器上透明运行，而无需更改代码。
最终，您可以利用各种加速器的优势，构建更高效的异构资源池。
刚刚上线的OrionAI计算平台社区版v1.0支持GPU虚拟化，开发人员用户可免费下载使用，供AI、互联网和公共云头客户试用。
OrionAI计算平台为什嚒出发。
方案创建者表示，随着AI技术的快速发展和普及，越来越多的客户使用高性能的AI加速器，如GPU、FPGA、AI ASIC芯片等。
同时，越来越多的客户需要高效的AI加速器虚拟化软件和高效的异构加速器管理和调度软件来提高加速器资源利用率，从而更好地利用多个不同的加速器，提高性能可以降低成本并避免供应商锁定。
但相应地，它面临着开头提到的两个痛点。
首先，AI加速器的价格很高。
以著名的英伟达V100GPU为例，价格在8万元左右，高性能FPGA卡，价格也在5万元。
其次，由于缺乏高效、经济的AI加速器虚拟化解决方案，目前大部分企业不得不垄断使用上述昂贵的加速器资源，资源利用率低、成本高。
AWS根据re：Invent2018公开的数据，AWS中的GPU利用率仅为100%。
如果物理计算机只有一个GPU，那么如果没有GPU虚拟化解决方案，用户可以让一个虚拟机独占使用GPU，这意味着GPU不会被多个虚拟机共享。
于是，加速虚拟化领域的几位老兵决定试水，最终提出了自己的方案：OrionAI计算平台v1.0。
该平台支持用户通过多个虚拟机或容器共享本地和远程GPU资源。
使用OrionAI平台的典型场景包括：。
首先，在多个虚拟机或容器中共享本地GPU。
用户只需将VM或容器中的CUDA执行环境（CUDA runtime）置换为Orion执行环境（Orion Runtime）即可。
另一方面，用户的AI应用程序和使用的深度学习框架（TensorFlow、PyTorch等）不需要更改，可以像在本地CUDA运行环境下一样运行。
同时，用户需要在物理服务器上执行Orion服务（Orion Server），该服务接管物理GPU，将物理GPU虚拟化为多个Orion vGPU。
用户在不同虚拟机上运行的AI应用程序将分配给不同的Orion vGPU。这将大大提高物理GPU的利用率。
第二，多个虚拟机或容器共享远程GPU。
用户可以在没有GPU的服务器上运行VM/容器，AI应用不需要改变，可以通过Orion Runtime在另一服务器上使用Orion vGPU。
这将用户的AI应用程序部署在数据中心中的任何服务器上，可配置和管理用户，并大大提高了灵活性。
第三，使用跨越多个物理服务器的GPU的单个虚拟机或容器。
Orion Runtime允许用户的VM/容器跨多台物理机使用GPU资源，而无需更改AI应用程序或框架。
目前，AI应用可能需要64个GPU，甚至更多GPU来训练模型，但今天还没有一台完全令人满意的物理服务器。
Orion Runtime允许应用程序直接使用多个物理服务器上的GPU，例如16台服务器，4台GPU，而无需修改。
这将使用户GPU资源成为真正的数据中心级资源池。
用户的AI应用可以透明地使用任何服务器上的GPU资源、资源利用率、管理调度的灵活性，可以大幅提高。
用户通过Orion AI Platform分配的GPU资源，无论是本地GPU资源还是远程GPU资源，都是软件定义，根据需要进行分配。
与硬件虚拟化技术所获得的资源不同，这些资源可以即时分配和释放虚拟机或容器，而无需重新启动。
例如，如果用户启动虚拟机，并且用户不需要运行AI应用程序，则Orion AI Platform不会为该虚拟机分配GPU资源。
如果用户需要执行大的培训任务（例如需要16个Orion vGPU），Orion AI Platform会立即为虚拟机分配16个Orion vGPU。
如果用户在完成培训后只需要一个Orion vGPU进行推理，Orion AI Platform还可以瞬间释放15个Orion vGPU。
值得一提的是，上述资源分配和释放都不需要重启虚拟机。
上述方案背后到底有哪些技术细节。
事实上，Orion Runtime提供了一个与CUDA Runtime完全兼容的API接口，保证用户的应用程序可以在不改变的情况下运行。
Orion Runtime获取用户对CUDA Runtime的所有调用后，将这些调用发送给Orion Server。
Orion Server将这些调用加载到物理GPU并运行，并将结果返回到Orion Runtime。
OrionAI计算平台v1.0也发布了性能比较结果。
请先看配置：
GPU服务器配置：2路英特尔至强Gold6132128GB内存，1块nVidia Tesla P40。
性能测试集：TensorFlow v1.12，公式benchmark，无代码修改，测试使用synthetic数据。
“Native GPU”用于在物理GPU上运行性能测试，而不使用虚拟机或容器
“Orion Local Container”用于在安装了Orion Runtime的容器中运行性能测试，Orion Server在同一物理计算机上运行。
“Orion Local KVM”在安装了Orion Runtime的KVM虚拟机上运行，以便在其上运行性能测试，Orion Server在同一物理机上运行。
“Orion Remote-25G RDMA”在没有GPU的物理计算机上运行性能测试，Orion Server在具有GPU的物理计算机上运行，两台物理计算机通过25G RDMA网卡连接。
最终比较结果如下：。
从数据可以看出，Orion Runtime和Orion Server部署的性能损失比在物理GPU上运行要小得多。
特别地，当通过网络连接使用远程GPU时，OrionAI计算平台的大量优化提供了与使用本机GPU相比性能非常小的差异。
最后，介绍OrionAI计算平台背后的构建方法：
趋势技术VirtAI Tech。
2019年1月刚刚成立，主打AI加速器虚拟化软件，以及异构AI加速器管理和调度软件。
主要创始人有三人，都是该领域的资深老兵。
王康，趋势科技CEO。博士毕业于中国科技大学计算机专业。
在创立趋势科技之前，王康博士曾任职于戴尔EMC中国研究院，担任研究院长，负责管理和指导戴尔EMC在大中华区的所有研究团队。
他长期从事计算机体系结构、GPU、FPGA虚拟化、分布式系统等领域的研究，在业界最先开始推动FPGA虚拟化方面的研究，在该领域已有十多年的经验和积累。
陈飞，倾动科技CTO。博士毕业于中国科学院计算技术研究所。
在创立趋势技术之前，陈飞博士在戴尔EMC任职，担任戴尔EMC中国研究院首席科学家，长期从事高性能计算、计算机架构、GPU、FPGA虚拟化等领域的研究。
邹懋，倾动科技首席架构师。博士毕业于中国科技大学。
在创立趋势科技之前，邹懋博士曾在戴尔EMC任职，担任戴尔EMC中国研究院高级研究员，长期从事计算机架构、GPU虚拟化等领域的研究。
OrionAI计算平台社区正式版本v1.0：
官方网站：https：//virtai.tech/
GitHub：https：//GitHub.com/virtaitech/orion
-结束了
诚实的招聘
量子比特招聘编辑/记者，工作地点在北京中关村。期待有才华、热情的学生加入我们！有关详细信息，请在量子比特公众号（QbitaI）对话界面中回复“招聘”两个字。
量子比特QbitaI头线合同作者
#8217;#8217; 追踪AI技术和产品的新动向