CentOS PyTorch如何部署应用

在CentOS上部署PyTorch应用通常涉及以下步骤：

1. 系统更新：

   sudo yum update -y 

2. 安装Python和依赖： DeepSeek大模型通常需要Python 3.7或更高版本。安装Python 3和pip：

   sudo yum install -y python3 python3-pip 

3. 创建虚拟环境： 建议在虚拟环境中部署，以避免依赖冲突：

   python3 -m venv deepseek-env source deepseek-env/bin/activate 

4. 安装PyTorch： DeepSeek大模型通常基于PyTorch。根据你的硬件（CPU或GPU）安装合适的PyTorch版本：

   • CPU版本：

     pip install torch torchvision torchaudio 

   • GPU版本（需CUDA支持）：

     pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 

5. 安装Transformers库： Hugging Face的Transformers库是常用的模型加载和推理工具：

   pip install transformers 

6. 下载DeepSeek模型： 从Hugging Face模型库下载DeepSeek模型：

   from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/deepseek-large" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) 

7. 运行推理： 加载模型后，可以进行推理：

   input_text = "你好，DeepSeek！" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) 

8. 配置GPU（可选）： 如果有GPU，确保CUDA和cuDNN已安装，并配置PyTorch使用GPU：

   import torch device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) 

9. 部署为服务（可选）： 可以使用Flask或FastAPI将模型部署为API服务：

   pip install fastapi uvicorn 

   创建app.py：

   from fastapi import FastAPI from transformers import AutoModelForCausalLM, AutoTokenizer import torch app = FastAPI() model_name = "deepseek-ai/deepseek-large" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) @app.post("/generate") async def generate(text: str): inputs = tokenizer(text, return_tensors="pt").to(device) outputs = model.generate(**inputs) return {"response": tokenizer.decode(outputs[0], skip_special_tokens=True)} if __name__ == "__main__": import uvicorn uvicorn.run(app, host="0.0.0.0", port=8000) 

   启动服务：

   uvicorn app:app --host 0.0.0.0 --port 8000 

10. 防火墙配置（可选）： 如果需要外部访问API服务，开放端口：

    sudo firewall-cmd --zone=public --add-port=8000/tcp 

以上步骤涵盖了从系统更新到部署服务的全过程，具体操作时请根据实际环境和需求进行调整。