龙空技术网

如何构建Python开发环境(1)

量化风云 240

前言:

当前咱们对“python假死”都比较关注,姐妹们都想要学习一些“python假死”的相关知识。那么小编也在网摘上搜集了一些有关“python假死””的相关知识,希望小伙伴们能喜欢,朋友们一起来学习一下吧!

在跟我学AI量化交易(1) - 获取行情数据中提到,这部教程的开发语言是Python,因此不可避免地将涉及Python编程知识。这里发表一些相关的基础知识,作为辅助入门材料。

工具改变了人本身,也改变着我们的世界。真正的程序员不仅擅于构建工具,也擅于使用工具。这篇文章讨论了如何基于Windows 10构建高效的Python开发环境。

本系列文章共分两部分。第一部分的内容适合所有人阅读;第二部分则面向严肃的开发者–我们将讨论持续集成开发环境的构建。

目标

本期将介绍如何在Windows 10下打造一个无缝连接Windows和Linux的Python开发环境,使得我们可以同时享受到两个操作系统的便利:

1. 使用Windows图形界面来运行客户端程序,包括集成开发环境(Pycharm)和文档写作工具。

1. 使用Linux来运行和调试代码。许多开源软件和库对Linux支持得更好。比如在2017年,在Windows上安装Redis还是一件比较麻烦的事。开发nodejs的程序员也常常发现,在Linux下很多npm包有着丝滑般的安装体验,而在Windows上则会是一路跌撞撞。这也是Windows现在大力拥抱Linux的原因之一。在这一部分,我们将介绍WSL。

1. Python虚拟环境的构建

Windows和相关开发软件的选择

无论如何,在2020年你都应该停止使用其它版本的Windows,而只使用最新的Windows 10系统。原因之一是,Windows 10现在提供了最好的Linux发行版,更为奇妙的是,这两个系统现在可以同时运行,甚至无需切换;两套系统共存而带来的性能代价极小,远远小于其它方案,诸如虚拟机或者docker。

如果你阅读过我三年前的一篇文章, , 可能还有印像,我当时推荐的方案是在Windows中使用Docker。这个方案最大的问题是,Docker后台程序会固定地将系统的内存和CPU资源切走一部分,无论Docker当前实际使用了多少,这无疑造成了资源的浪费。当时已经出现了WSL,但我给出的建议是不要使用!不要使用!不要使用!

现在是时候推荐WSL - Windows Subsystem for Linux了。它现在已经很棒。

WSL - 运行在Windows上的Linux

当前有两个版本可用,wsl v1和wsl v2, 我个人更推荐使用wsl v1。WSL v2的体验更象虚拟机,因此与windows集成性反而更差一些。当然,我得出这个结论是在2020年的5月,也许近半年之后,事情已经大有不同。但无论如何,在本文中,我推荐的是WSL v1.0。对于Python开发是没有任何问题的;如果用于nodejs或者前端开发,可能要担心性能问题(因为wsl v1的文件系统性能不太好,而js开发文件特别多,小文件又多)。

安装WSL

首先要启用"适用于Linux的Windows子系统"功能:

接下来从应用商店搜索安装Ubuntu安装就可以了。

现在在搜索栏输入ubuntu,就可以进入一个命令行窗口。由于是第一次运行,这里会提示我们输入口令。 然后是常规操作,更换apt源为国内源(比如阿里):

此外还要对ssh服务进行设置。我们设置ssh服务的目标是为了开机自启wsl子系统(无窗口模式),这样我们可以随时以ssh方式连接进去,就好像我们有了一台Linux服务器一样。也许你安装的版本已经直接设置好了ssh server,所以这里我们略过。如果没有,具体设置可参考Ubuntu的ssh设置。

WSL并不会随windows一起启动。这里我们介绍一种方法,使得当Windows启动时,wsl也随之启动,并可以通过你喜欢的ssh客户端来连接。

这里使用的方案是来自于。具体操作可见wsl-autostart/README_zh.md at master · troytse/wsl-autostart · GitHub。

如果对使用注册表的方式不习惯,也可以通过添加计划任务来实现开机自启动。

安装Windows Terminal

Microsoft最近一系列操作确实很能收买人心。之前Windows上一直没有一个好的命令行程序,现在我们有了。它支持多标签窗口,响应速度比我之前使用的cmder要快。我使用cmder很长一段时间了,它有时会在输入字符时假死,还会常常吞掉键入的第一个字符,原因不明。

到此为止,Windows上的Linux子系统就完全配置好了。

WSL与Host机器共享文件

前面我们已经揭示了WSL文件系统实际上是挂载到Windows host上的,因此,两者的文件系统是互通的。但是路径很长,也不方便记忆。在WSL 2没有正式发布之前,我们将一直遇到这个问题。

但是在WSL中访问宿主机文件很容易,它们可以通过/mnt/drive来访问。比如要从WSL中访问你的C盘文件,其目录是/mnt/c。

在WSL 1中,我们暂不建议直接从Windows文件系统中访问WSL的文件系统,这会导致一些复杂的读写权限和一致性问题。我虽然还没有遇到丢失数据的情况,但有时候会遇到不能删除文件、或者文件无法读写的情况。因此,要始终从WSL中来访问宿主机文件系统。

使用哪一个IDE?

目前"唯二"的选择,就是Pycharm和vscode。如果你已经熟悉Vscode,推荐使用vscode;否则推荐使用Pycharm。当然,如果机器配置略差,也建议使用vscode。使用vscode的另一个好处是,它与wsl有很好的集成性,直接支持将源代码放置在wsl之中,或者远程的linux机器之上进行开发,就好像这些文件仍然在本地一样。Pycharm专业版尽管有支持这些场景,但它使用的远程路径映射方案并不如vscode那么好用。

作为一款成功的商业软件,Pycharm对比vscode,目前仍然有以下优势:

代码版本管理。Vscode虽然同样支持了Git,但到今天为止,它并没有一个好的基于GUI的三路归并工具,这使得merge代码的效率比较低下。但另一方面,vscode的扩展gitlens却十分好用。Pycharm虽然通过local history和git diff也支持同样的功能,但在界面接口设计上,感觉不如vscode。DataView。Pycharm原生支持多种数据格式查看,比如DataFrame。我没有寻找过Vscode的插件,但通过Vscode的原生能力来查看像DataFrame这样类似表格的数据,还是比较吃力的。很多功能开箱即用,无须配置。而在VsCode中你需要安装一堆扩展才能开始工作,这些扩展的配置也是花时间的事。

VsCode具有的优势:

启动速度更快,性能占优 调试模式下查看变量值更方便,直接通过REPL窗口,以类似命令行的方式进行求值。与之对比的是,Pycharm中需要打开一个对话框,略显慢一点。

在远程调试的支持上,Pycharm的Community Edition版本不支持(即使是WSL也不支持),而VsCode是可以很好地支持WSL的。所以如果是与Pycharm CE版本相比较,那VsCode是可以胜出这一局的(但仍然在代码合并上输掉一局)。

我的推荐是两款IDE都要安装。Python开发使用Pycharm,这个工具相信你会越用越喜欢。而Vscode我用来写文档(rst, markdown),日志和管理任务,因为VsCode的启动速度够快,相关插件也够多。

Python及虚拟环境的安装

任何一个程序员都不可能从头到脚去自己开发程序的每一个模块。因此,我们必然要借鉴和使用他人的开发成果,同时也希望我们的开发成果被更多的人使用。这样不可避免地造成一个问题: 如果我们的程序中使用了他人开发的模块,并且使用了它的早期版本;而另一个程序也使用了同样的模块,但使用的是晚期版本,这时候两个程序应该如何共存?

这个问题的出现至少可以追溯的Windows的早期。在Windows中,这些共享库以DLL(动态链接库)的形态出现。由于不同的版本相互冲突,导致出现了被我们称为DLL地狱的现象出现。为了解决这个问题,就出现了通过虚拟机进行运行环境隔离的解决方案,随后又进化到基于docker进行运行环境隔离的方案。这些都是操作系统层面级的解决方案。

Python是我知道的最早支持虚拟环境的开发语言。开发者可以为自己的应用程序构建单独的虚拟环境,在这个环境里,所有的第三方模块都只为这一个应用程序服务,因此它们的版本可以固定下来。在一台机器中,可以同时存在多个虚拟环境,也可以同时运行基于多个虚拟环境的多个应用程序。

Python中有至少两种构建虚拟环境的方式,即Virtual Env和Conda。在这一期中,我们主要讲基于Conda构建虚拟环境。在持续集成那一部分,则会提到VirtualEnv。这两种方式都被Pycharm支持。

安装conda

多数从事数据科学的人会安装完整的anaconda。这一般会占用你硬盘上好几个G的初始空间,并且随着虚拟环境的创建持续增长。对从事工程开发的人来说,则可以从miniconda开始。两者的区别是,前者包含了很多科学计算用的工程包,比如numpy, scipy, sklearn等等,还有一个名为spyder的集成开发工具。

Miniconda的下载地址在。一般是50M上下,包含了一个基本的Python解释器。Miniconda的python版本并不重要,因为后面我们都将为虚拟环境安装特定版本的Python。

我们将Miniconda安装到WSL中,因此,我们应该运行下面的命令:

如果WSL上没有安装curl,请先通过suod apt install curl来安装。

从anaconda官网上下载miniconda可能较慢,也可以先通过下载工具将上述文件下载下来,再传入到WSL中去。

修改源

在继续创建虚拟开发环境之前,我们先要配置一下conda或者pip。这两个工具都在中心服务器及其镜像上维护了开源库的目录,并为他们提供分发。其中,pip专门用于Python程序分发,conda则还包含了其它软件。无论使用哪一种,在国内使用时,与apt一样,都需要更改源,否则安装速度会很慢,甚至无法安装成功。

对于初学者,需要了解一下pip。pip是一个python模块;我们一般通过python -m xxx来运行xxx模块,比如启动一个简单的http服务器,我们可以运行:

python -m http.server

一些Python模块支持console script,使得它们可以像linux命令一样被调用(这也是Python与Linux融合的一个思想),比如pip。这就是为什么你可以直接运行pip命令的原因,它实际上是python的脚本。

既然pip是一个Python模块,那么它就对运行它的Python有版本要求,所以如果你遇到无法运行pip的情况,就需要检查python的版本。我们也可以通过下面的方式来运行pip:

python -m pip install xxx

这种方式下,python就是你的系统路径下能找到的那个版本。如果出错,也许这将报出更有意义的诊断信息。

我们使用cfg4py来更改Conda和Pip的源:

我们将得到以下输出:

命令给出了修改conda源的两种方式和具体的源地址,一组是清华源,一组是中科大源。我们再来看看如何修改pip源:

输出如下:

这里使用了cfg4py这个开源库。它除了可以帮助我们更改conda,pip的配置之外,还提供了诸如redis, mysql, postgres等连接串配置。cfg4py本身是一个python的配置模块,主要为你的Python程序提供多层次、多环境配置。这个库也是本文作者开发的,这里说明一下。 ## 创建虚拟环境 {#创建虚拟环境 } 我们使用conda来创建虚拟环境:

上面的命令将在你的miniconda安装目录的envs目录下,创建一个名为your_env_name的文件夹,并将python 3.8及相关文件安装到这个目录下。安装完成时,conda会提示你使用以下命令:

当虚拟环境激活时,命令提示符一般会显示为虚拟环境名字;此时运行python,会启动当前虚拟环境下安装的Python版本,而此后加载的Python库,都来自于该虚拟环境下通过conda或者pip命令安装的库。

pip并不是conda的一部分,为何能知道将python库安装到哪个虚拟环境中去呢?原因是,启动的Python来自于当前虚拟环境,因此它有所有的信息,可以将Python库安装到正确的位置。

关于conda还有一些常见的命令,这里一并提一下:

conda env list, 显示本机上所有的虚拟环境 conda env remove, 移除一个虚拟环境 conda create -n your_virutal_env –clone your_another_env,从另一个已存在的虚拟环境中创建。Conda没有改名的操作,所以如果要给一个虚拟环境改名,我们可以先clone,再删除掉旧的虚拟环境。 conda install, 安装软件到当前环境 conda search, 查找是否存在某个软件

在上面的创建命令中,除了像上面那样使用CPython发行版外,还可以使用特殊的Python版本,比如Intel发行版:

使用Intel版的Python的一个原因是,它可能提供了更强性能的数学计算功能。具体可以看。这对从事数据分析为主的程序员还是比较有帮助的。

Jupyter Notebook和JupyterLab

Jupyter Notebook是一个基于网页的、可以按单元格分步运行的Python开发环境,主要用于探索式编程。如果您主要从事的工作是数据分析,应该优先安装使用Jupyter Notebook:在Jupyter Notebook中,您可以一边写文档,同时一边写代码,代码运行结果如果是一张图的话,也可以直接显示在网页中。

现在Jupyter Notebook已经支持可视化调试(通过xeus-python插件)、代码提示和自动完成。但是在code jump,refactoring和代码管理上还很欠缺。这就限制了它在工程化方面的发展。来自于FastAI的科学家对此作了一些改进,试图将其打造成一个IDE,提供了代码管理、Unittest等功能,但目前来看,仍然无法替代传统的IDE来进行工程化的编程。关于他们的研究,感兴趣的可以看。

Jupyter Lab被认为是Jupyter Notebook的下一代版本。在工作区的划分上,提供了类似于IDE的多个功能区,支持工作区文件列表等, 同时运行的多个标签也可以彼此调用,因此比Notebook增强了工程化能力。不过基于Web的IDE目前看也都没有特别亮眼的表现,Jupyter Lab也概莫能外。

总结

本期文章给出了在Windows上从事Python开发的常用环境搭建方法。与其它文章不同的是,本文更注重介绍技术背后的背景,以便知其然,更知其所以然。

纯的Windows开发已经不再受人喜欢。因为就连微软自身也在拥抱Linux,拥抱开源。所以我们的开发环境搭建在Win 10 + WSL之上,可以同时享受到两种操作系统的便利。使用WSL作为Python程序的调试和运行环境,因为多数软件和库对Linux支持得更好,优先级更高。

尽管VsCode很优秀,但没有理由不使用Pycharm,尤其是新人,不应该把时间花在自己一时无法一探究竟的各种插件的安装配置上。不使用Pycharm的根本原因只有一个,就是License问题。

从事数据科学的工程师可以使用Jupyter Notebook或者Jupyter Lab。

为你的每一个项目创建一个单独的conda 虚拟环境,以避免各种库之间的版本冲突。

标签: #python假死 #如何在ubuntu上装miniconda