AIACC-Inference（AIACC推理加速）支持优化基于TensorFlow和可导出ONNX格式的框架搭建的模型，能显著提升推理性能。本文介绍如何自动安装AIACC-Inference（AIACC推理加速）并测试demo。
背景信息
Conda是一款开源跨平台的软件包和环境管理系统，Miniconda是一款小巧的Conda环境部署工具。创建GPU实例时支持自动安装包含AIACC-Inference（AIACC推理加速）的Conda环境，您可以使用Miniconda快速选择不同的Conda环境，并通过AIACC-Inference（AIACC推理加速）显著提升推理性能。
ONNX是一种开放式的文件格式，用于存储训练好的模型。通过ONNX可以将不同框架（例如Pytorch、MXNet）的模型数据存储成统一的格式，便于在同一环境下测试不同框架的模型。
自动安装AIACC-Inference
AIACC-Inference（AIACC推理加速）依赖GPU驱动、CUDA和cuDNN，请在创建GPU实例时，选中安装GPU驱动和AIACC推理加速，然后选择CUDA、Driver和cuDNN的版本。GPU实例创建完成后，您可以根据CUDA版本快速配置包含AIACC-Inference（AIACC推理加速）的Conda环境。创建GPU实例的具体操作，请参见创建配备GPU驱动的GPU实例（Linux）。
测试demo
- 远程连接实例。
- 选择Conda环境。
- 初始化Miniconda。
source /root/miniconda/etc/profile.d/conda.sh - 查看已有的Conda环境列表。
conda env list 示例如下图所示。
- 选择Conda环境。
conda activate [environments_name] 示例如下图所示。
- 测试demo。
demo文件aiacc_inference_demo.tgz默认位于/root下，本文以测试ONNX的demo为例。
- 解压demo测试包。
tar -xvf aiacc_inference_demo.tgz - 进入ONNX的demo目录。
cd /root/aiacc_inference_demo/aiacc_inference_onnx/resnet50v1 - 执行目录下的测试脚本。
示例命令如下：
python3 test.py 该测试脚本基于ResNet50模型执行推理任务，随机生成一张图像并分类，将推理耗时从6.4 ms降低至1.5 ms以内。推理结果示例如下图所示。
删除Miniconda
如果您不需要使用AIACC-Inference（AIACC推理加速），可以删除Miniconda。系统默认为root用户安装Miniconda，您可以先使用root用户清除相关环境变量，然后再删除Miniconda文件夹即可。
- 删除相关环境变量和回显。
- 修改文件/root/.bash_profile，注释Miniconda、AIACC-Inference（AIACC推理加速）相关的环境变量和回显。
示例如下图所示：
- 可选：如果已经启动了Conda环境，请您删除当前环境下Conda相关的环境变量。
conda deactivate unset conda export PATH=`echo $PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"` export LD_LIBRARY_PATH=`echo $LD_LIBRARY_PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"`
- 删除Miniconda文件夹。
rm -rf /root/miniconda 好啦！小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽，请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8
【扫码填写上方调研问卷】
欢迎每位来到弹性计算的开发者们来反馈问题哦~
