使用SkyPilot能方便的在多个公有云上快速的部署自己的大模型，支持的公有云包括AWS, AZure, GCP, OCI ... 等等：

SkyPilot 支持多个公有云

本文以 Oracle 的 OCI 为例，介绍如何快速的在OCI上部署及运行模型服务。使用SkyPilot部署模型，我们只需要编写一个简单的YAML任务文件，其它所有的工作，包括网络的创建(VCN)、虚机的创建(如GPU)、安全组及端口的设置、节点的运行情况监控、节点的自动扩容、请求的负载均衡等等，都将由SkyPilot自动完成，对用户及其方便。

SkyPilot使用起来非常简单。

首先，安装SkyPilot:

conda create -y -n sky python=3.10conda activate skygit clone  skypilotpip install -e ".[oci]"

其次，编写YAML任务文件，如下 my_qwen_service.yaml ：

# my_qwen_service.yamlservice:  readiness_probe: /v1/models  # 自动缩扩容策略  replica_policy:    min_replicas: 2    max_replicas: 10    target_qps_per_replica: 5    upscale_delay_seconds: 120    downscale_delay_seconds: 600resources:  cloud: oci  region: us-sanjose-1  ports: 8080  # 使用 A10 GPU 机器  accelerators: {A10:1}setup: |  conda create -n vllm python=3.12 -y  conda activate vllm  pip install vllm  pip install vllm-flash-attnrun: |  conda activate vllm  python -u -m vllm.entrypoints.openai.api_server \    --host 0.0.0.0 --port 8080 \    --model Qwen/Qwen2.5-7B-Instruct \    --served-model-name Qwen2.5-7B-Instruct \    --device=cuda --dtype auto --max-model-len=2048

最后，直接运行 sky serve 命令，等待分钟，喝杯茶，就 ok 了，

sky serve up my_qwen_service.yaml

验证：

先使用 sky serve status 命令查看集群状态，当所有服务节点状态变成 "READY" 后，就可以直接使用了。sky serve status 命令会显示供客户端调用的端点，如167.234.215.42:30001。

可以直接使用 CURL 测试一下服务是否正常：

 curl  \       -X POST \       -d '{"model": "Qwen2-7B-Instruct", "messages": [{"role": "user", "content": "Who are you?"}]}' \       -H 'Content-Type: application/json'

总结：使用 SkyPilot 来部署和管理资源，只需要我们编写一个简单的任务YAML文件，极其方便。