全文共3915字，预计学习时长8分钟

有时，在编程领域的一个小技巧、一个小的快捷方式或附加组件能极大地提高生产力。下文中的建议和技巧有些可能很常见，有些则较新颖，相信你在将来处理数据分析项目时会派上用场。

1. 分析pandas数据框

Profiling是帮助理解数据的过程，而Pandas Profiling 是帮助理解数据的python包，能简单快速地对Pandas数据框进行探索性数据分析。Pandas中 df.describe()和df.info()函数通常作为EDA（电子设计自动化）过程的第一步。但它只提供了一个非常基本的数据概览，对于大型数据集而言，并无太大帮助。此外，Pandas Profiling函数用一行代码显示了很多信息，交互式HTML报告中也显示了这一点。

对于给定的数据集，pandas profiling包计算以下统计数据：

安装

pip install pandas-profiling

or

conda install -c anaconda pandas-profiling

用法

下面使用古老的titanic数据集，演示多功能python分析器的功能。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv('titanic/train.csv')

pandas_profiling.ProfileReport(df)

只需要这一行代码就可以在Jupyter笔记本中显示数据分析报告。报告非常详细，包括所有必要的图表。

还可以使用以下代码将报告导出到交互式HTML文件中。

profile = pandas_profiling.ProfileReport(df)profile.to_file(outputfile="Titanic data profiling.html")

2. 实现pandas 交互式绘图

Pandas内置的.plot()函数是其dataframe类别的一部分。然而，使用该函数呈现的可视化效果并不具有交互性，这使得其吸引力降低。但也不能否认使用pandas.dataframe.plot()函数绘制图表的方便性。如果不需对代码进行重大修改，就可以像用pandas绘制图表那样巧妙地绘制交互式plotly呢？实际上，在Cufflinks 库的帮助下可做到这一点。

Cufflinks库结合了plotly的力量与pandas的灵活性，便于绘图。现在让我们来看看如何安装这个库，并让它在pandas中工作。

安装

pip install plotly # Plotly is a pre-requisite before

installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True

现在可以见证Titanic 数据集的神奇之处了。

df.iplot()

df.iplot() vs df.plot()

上边的可视化结果是静态图表，而下边的图表是交互式的，并且更加详细，所有这些都没有对句法进行任何重大更改。

3. 一些Magic

Magic命令是Jupyter笔记本中一组方便的函数，旨在解决标准数据分析中一些常见问题。在%lsmagic的帮助下，你可以看到所有可用的magic。

所有可用的magic函数列表

Magic命令有两种：行magic命令, （以单个%字符为前缀，并在一行输入上操作）和单元magic命令（与双%%前缀关联，并在多行输入上操作）。如果将Magic函数设置为1，则无需键入初始%即可调用。

下面是进行常见数据分析任务的一些实用方法：

· % pastebin

%pastebin将代码上载到Pastebin并返回url。pastebin可提供在线内容托管服务，可用语存储纯文本，如源代码片段，可与他人共享url。事实上，Github gist也类似于pastebin，尽管存在版本控制。假设python脚本file.py的内容如下：

#file.py

def foo(x):

return x

在Jupyter笔记本中使用%pastebin会产生一个pasterbin的url。

· %matplotlib notebook

%matplotlib内联函数用于呈现Jupyter笔记本中的静态matplotlib绘图。尝试用notebook替换内联部分以轻松获得可缩放和可调整大小的绘图。确保在导入matplotlib库前，调用该函数。

%matplotlib inline vs %matplotlib notebook

· %run

%run函数在笔记本中运行python脚本。

%run file.py

· %%writefile

%%writefile将单元格的内容写入文件。这里的代码将被写到一个名为foo.py的文件中，并保存在当前目录中。

· %%latex

%%latex函数将单元格内容呈现为LaTeX，这有助于在单元格中编写数学公式和方程。

4. 发现并消除错误

交互式调试器也是一个神奇的函数，但是其已有自己的类别。如果在运行代码单元格时出现异常，请在新行中键入并运行%debug。这将打造一个交互式调试环境，令你置身于异常发生之处。你还可以检查程序中分配的变量值，并在此处执行操作如需退出调试器，请按q。

5. 打印美观

如果想为数据结构生成美观的表示形式，pprint是首选模块。它在打印字典或JSON数据时特别有用。下面是同时使用print和pprint显示输出的示例。

6. 突出注释

可在Jupyter笔记本中使用警示框/注释框突出显示一些重要的东西或任何需要突出的东西。注释的颜色取决于指定的警告类型。只需在需要突出显示的单元格中添加以下任一代码或所有代码。

· 蓝色警示框：信息

<div class="alert alert-block alert-info">

<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.

If it’s a note, you don’t have to include the word “Note”.

</div>

· 黄色警示框：警告

<div class="alert alert-block alert-warning">

<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.

</div>

· 绿色警示框：成功

<div class="alert alert-block alert-success">

Use green box only when necessary like to display links to related content.

</div

· 红色警示框：危险

<div class="alert alert-block alert-danger">

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

</div>

7. 打印一个单元格的所有输出

如果Jupyter笔记本的一个单元格中包含以下代码行：

In [1]: 10+5

11+6

Out [1]: 17

单元格的正常属性是只打印最后一个输出，要打印其他输出，需要添加print()函数。事实上，只要在笔记本的顶部添加以下代码片段，就可以打印所有输出。

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all"

接下来所有的输出便会依次打印。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢复原来的设置：

InteractiveShell.ast_node_interactivity = "last_expr"

8. 使用“i”选项运行python脚本

从命令行运行python脚本的一种典型方法是：python hello.py。但如果在运行相同的脚本时添加一个-i，即 python -i hello.py ，会产生更多好处。原因如下：

· 首先，一旦程序结束，python不会退出解释器。因此，可检查变量值和程序中定义函数的正确性。

· 其次，可以很容易地调用python调试器，因为通过以下代码即可仍处于解释器中：

import pdb

pdb.pm()

这能定位异常情况发生之处，从而修正代码。

9. 自动注释代码

Ctrl/Cmd + / 自动注释单元格中选定的行。再次点击该组合将取消对同一行代码的注释。

10. 删除容易恢复难

你是否曾经不小心删除了Jupyter笔记本中的一个单元格？

如果是，这里有一个快捷方式可以撤消删除操作。

· 如果删除了一个单元格中的内容，按CTRL/CMD+Z即可恢复该内容。

· 如果需要恢复整个删除的单元格，按ESC+Z 或者EDIT > Undo Delete Cells即可。

留言 点赞 关注

我们一起分享AI学习与发展的干货

欢迎关注全平台AI垂类自媒体 “读芯术”