龙空技术网

Docker:Python环境Docker镜像瘦身

极客ai 226

前言:

目前兄弟们对“cmd如何降低python版本”大约比较关怀,同学们都想要剖析一些“cmd如何降低python版本”的相关知识。那么小编同时在网络上汇集了一些关于“cmd如何降低python版本””的相关文章,希望姐妹们能喜欢,咱们一起来学习一下吧!

关键字:DockerPython

对于一个机器学习应用的Python环境Docker镜像,通过多种方法将镜像大小从1.58GB缩减到650MB缩减60%,操作记录如下

原始镜像

封装一个Python 3.7的环境并且安装Python依赖包实现一个机器学习算法预测任务,Dockerfile如下

FROM python:3.7MAINTAINER xxxENV PIPURL ";COPY ./requirements.txt /homeWORKDIR /homeRUN pip install -i ${PIPURL} --default-timeout=1000 -r requirements.txt

requirements.txt如下

jieba==0.40numpy==1.18.0pymongo==3.1.1PyMySQL==0.10.0pysolr==3.8.1PyYAML==5.3.1scikit-learn==0.22.2.post1scipy==1.4.1xgboost==1.0.2

构建镜像

$ docker build -t test/test:v1 .

查看镜像大小有1.58个G

$ docker images                                                                                      REPOSITORY                  TAG       IMAGE ID       CREATED         SIZE                                                                                     test/test                   v1        17b88b5e4b7f   2 minutes ago   1.58GB
大在哪里排查

docker history可以查看镜像构建的过程,使用格式化查看并且对Size进行倒序查看

$ docker history --format "{{.Size}} {{.CreatedBy}}" -H=false 17b88b5e4b7f | sort -t ' ' -k 1 -n -r672415434 RUN /bin/sh -c pip install -i ${PIPURL} --de…528779103 /bin/sh -c set -ex;  apt-get update;  apt-ge…151980558 /bin/sh -c apt-get update && apt-get install…124119398 /bin/sh -c #(nop) ADD file:513c5d5e501279c21…41623591 /bin/sh -c set -eux;   wget -O python.tar.xz…18952123 /bin/sh -c set -ex;  if ! command -v gpg > /…18484074 /bin/sh -c set -eux;  apt-get update;  apt-g…10699182 /bin/sh -c set -eux;  apt-get update;  apt-g…10173436 /bin/sh -c set -eux;   wget -O get-pip.py "$…141 COPY ./requirements.txt /home # buildkit32 /bin/sh -c set -eux;  for src in idle3 pydoc…0 WORKDIR /home0 MAINTAINER xxx0 ENV PIPURL=…0 /bin/sh -c #(nop)  ENV PYTHON_VERSION=3.7.160 /bin/sh -c #(nop)  ENV PYTHON_SETUPTOOLS_VER…0 /bin/sh -c #(nop)  ENV PYTHON_PIP_VERSION=22…0 /bin/sh -c #(nop)  ENV PYTHON_GET_PIP_URL=ht…0 /bin/sh -c #(nop)  ENV PYTHON_GET_PIP_SHA256…0 /bin/sh -c #(nop)  ENV PATH=/usr/local/bin:/…0 /bin/sh -c #(nop)  ENV LANG=C.UTF-80 /bin/sh -c #(nop)  ENV GPG_KEY=0D96DF4D4110E…0 /bin/sh -c #(nop)  CMD ["python3"]0 /bin/sh -c #(nop)  CMD ["bash"]

其中--format "{{.Size}} {{.CreatedBy}}"是使用GO的模板只输出Size和CreatedBy两列,-H关闭将Size的单位去除,sort -t ' ' -k 1 -n -r表示根据空格分割后以第一列作为数值倒序排列。从结果来看CMDENVWORKDIRMAINTAINER这些操作都没有大小,只有COPYRUN以及其他环境准备的执行命令造成了镜像体积变大。

(1)pip install依赖包

共计672MB,进入镜像

$ docker run -it e602098faafe /bin/bash

pip 安装的依赖都在/usr/local/lib/python3.7/site-packages下查看各个包占用大小

root@241937acc2aa:/usr/local/lib/python3.7/site-packages# du -s ./* |sort -nr204416  ./xgboost92252   ./scipy80728   ./numpy43164   ./jieba29644   ./sklearn13012   ./pip2964    ./setuptools2088    ./joblib1652    ./_yaml.cpython-37m-x86_64-linux-gnu.so1224    ./pymongo...

加起来大概466MB,还差206MB不知道被什么占用了,另外从依赖包来看xgboost比较大200m,scipy和numpy比较大加起来也差不多200m

(2)安装一系列autoconf automake bzip2 dpkg-dev file g++ gcc imagemagick libbz2-dev libc6-dev ..

共计500m,可能有些有用有些没用

(3)安装一系列git mercurial openssh-client subversion procps ...

共计150m,这些版本控制工具对当前应用没用

(4)ADD file:513c...

共计120m,是第一层镜像源

瘦身策略(1)不产生pip缓存文件或者删除pip缓存文件

pip install占用空间比site-package下的实际空间大出200MB,怀疑是.cache/pip下的pip缓存文件导致,该文件有199MB

root@ea2784eace4d:~/.cache# du -sh pip/199M    pip/

在pip时使用--no-cache-dir不使用缓存,改变以下Dockerfile代码

RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt

重新构建之后镜像大小下降到1.37GB下降大概200MB

$ docker images                                                                                                                                                                      REPOSITORY   TAG       IMAGE ID       CREATED             SIZE                                                                                                                                                                                test/test    v4        32a596269bf0   39 seconds ago      1.37GB

再进入容器发现已经没有~/.cache/pip文件夹

$ docker run -it 32a596269bf0 /bin/bashroot@f1526275c8af:/home# cdroot@f1526275c8af:~# cd .cache
(2)Python源瘦身

docker:3.7在仓库中的版本有

python       3.7-slim     22bf9d1adb34   3 days ago       123MBpython       3.7-alpine   807a8b5dd4df   6 days ago       46.9MBpython       3.7-buster   98c2e7c177c7   6 days ago       879MBpython       3.7          4d9a42ad20a7   6 days ago       905MB

slim: 瘦身版,省略许多不常用的依赖,故而它变得很小,但是如果需要一些不常用的依赖时,需要自己安装,如需体积较小的镜像时用slim 版本制作,有一定安装难度

alpine: 包含了在 Linux 上运行 Python 所需要的最小环境,它使用 Alpine 作为系统。因为它最小,所以只能直接运行纯 Python 代码。任何需要编译 C 代码或动态链接库的 Python 仓库都不能直接使用,需要自己安装依赖,需要花费大量时间来安装系统依赖,收益不大,最终镜像的大小与 slim 版本的基本相同

buster: 此类镜像使用Debian10作为系统,包含了所有 CPython 所需要的依赖,如果环境难以安装选择buster 镜像,最终制作完成通常比 slim 大不少

default: 使用Debian的bullseye做为默认镜像基础系统

下面改为用slim作为源镜像,修改Dockerfile如下

FROM python:3.7-slimMAINTAINER xxxRUN echo 'deb  bullseye main contrib non-free' > /etc/apt/sources.list && \    echo 'deb  bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \    echo 'deb  bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \    apt-get update && \    apt-get install -y \    g++ \    make \    cmake \    libcurl4-openssl-dev ENV PIPURL ";COPY ./requirements.txt /homeWORKDIR /homeRUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt

手动安装了g++,make,cmake等环境,重新构建镜像结果如下

$ docker images                                                                                      REPOSITORY   TAG          IMAGE ID       CREATED          SIZE                                                                                                test/test    v8           7dc43999c361   27 minutes ago   893MB

直接从1.37GB下降到893MB,测试一下里面的py包都可以运行

(3)apt 安装中使用 --no-install-recommends

apt install 命令来安装某些包时,它会安装一些不需要的推荐包,使用--no-install-recommends避免这个情况,修改Dockerfile如下

apt-get install -y --no-install-recommends \    g++ \    make \    cmake \    libcurl4-openssl-dev 

其中-y:yes,在命令行交互提示中,直接输入 yes,新构建的镜像大小如下,从893MB降低到881MB又宰掉12MB

$ docker images                                                                                      REPOSITORY   TAG          IMAGE ID       CREATED             SIZE                                                                                             test/test    v9           2192fccb9858   13 minutes ago      881MB
(4)清理apt install缓存

apt-get clean 命令清除遗留在 /var/cache 中的已取回的包文件的本地仓库,rm -rf /var/lib/apt/lists删除缓存的源信息,删除之可以继续降低空间占用,修改Dockerfile如下

RUN echo 'deb  bullseye main contrib non-free' > /etc/apt/sources.list && \    echo 'deb  bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \    echo 'deb  bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \    apt-get update && \    apt-get install -y --no-install-recommends \    g++ \    make \    cmake \    libcurl4-openssl-dev && \    apt-get clean && \    rm -rf /var/lib/apt/lists/*

再次构建后查看镜像的大小,从881MB降低到862MB,又再掉19MB

$ docker images                                                                                      REPOSITORY   TAG          IMAGE ID       CREATED             SIZE                                                                                             test/test    v10          59e37a627394   43 seconds ago      862MB
(5)多阶段构建

多个FROM语句,每个FROM指令都可以使用不同的基础镜像,第一阶段使用buster作为源,把依赖包全部安全正确安装进来,再第二阶段以slim作为源,再把第一阶段的仅仅和运行相关的依赖全部COPY过来

FROM python:3.7-buster as base-imageMAINTAINER xxxENV PIPURL ";COPY ./requirements.txt /homeWORKDIR /homeRUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txtFROM python:3.7-slimCOPY --from=base-image /usr/local/bin /usr/local/binCOPY --from=base-image /usr/bin /usr/binCOPY --from=base-image /usr/lib/x86_64-linux-gnu/libgomp.so.1 /usr/lib/x86_64-linux-gnu/libgomp.so.1COPY --from=base-image /usr/local/lib/python3.7/site-packages /usr/local/lib/python3.7/site-packages

docker语法:

标志 --from=<name> 将从 from 指定的构建阶段中寻找源文件

重新build之后只有650MB,和862MB相比继续下降212M

$ docker imagesREPOSITORY   TAG          IMAGE ID       CREATED             SIZEtest/test    v12          a14124089863   5 minutes ago       650MB
(6)Xgboost瘦身

Xgboost包占用了200MB,网上查到从源码下载编译安装只需要50MB,但是测试没有安装成功,下次再测

(7)其他方法

网上还有其他方法,包括

1.使用 Docker Squash 减小镜像大小

2.使用 .dockerignore 文件,将不需要的文件不进入镜像

3.在 RUN 之后放置 COPY

4.将几个RUN语句合并在一行中,这样可以减少层数

docker镜像大小取舍

由于同一台机器上的 docker Image 是可以共享的,要快速启动并运行项目,没有空间限制,许多 Python 项目需要跑在同一台机器上时,default 或 buster 是最好的选择。如果愿意花时间去调试依赖并且对镜像大小有追求时,slim 和 alpine 都是好的选择。

标签: #cmd如何降低python版本