随着基于“云计算”的开发模式的流行,能够满足开发者对于典型的面向云的应用开发流程和开发模式的需求也变得越来越重要。该种开发模式不仅为开发者提供了友好一致的开发体验,并且对开发者生态的增进也很有裨益。另一方面,Intel在客户端平台上不断地提供着越来越强的硬件计算功能,并且不断地通过引入新的硬件加速功能来提高性能和提供给客户更灵活的选择。
具体到AI相关的功能方面,为了使得对AI编程和赋能不是很熟悉的开发者也能快速容易地上手、减少甚至消除这些开发者在建立不同的开发和运行时环境方面消耗的精力、从而简化整个AI功能的开发流程,提供一套以场景为中心的高层API/SDK则显得越来越重要。同时,这样的API还需要满足既能够将底层推理框架细节封装起来又能最大程度隐藏底层细节,这才能使得开发者能够把精力集中在自己的业务逻辑上。除此之外,该套API也应该考虑到使用者灵活多变的需求带来的可定制化方面的要求,从而能够提供给服务开发者可以根据自己的业务需求来对服务做定制的功能。
基于以上考虑,我们开发了一套API以及相应的服务框架,使得它既能够提供类似于云服务的API,同时又隐藏了所有的底层实现细节,并最大程度地利用本地客户端的AI加速器的加速功能,从而使得本地的客户端平台能够被看作云端AI计算功能的扩展。