一、数据取样

1、资料完整无缺，各类指标项齐全

2、数据准确无误，反映的都是正常状态下的水平

对获取到的数据可以在从中进行抽样操作：

①随机抽样

②等距抽样

③分层抽样

④从起始顺序抽样

⑤分类抽样

二、数据探索

数据抽样多少是带着人们对如何实现数据挖掘目标的先验认识进行操作的。当我们拿到一个样本数据集后，它是否能达到我们原来的设想、样本中有没有明显的规律和趋势、有没有出现过从未设想的数据状态、属性之间有什么相关性、他们可区分成怎样一些类别....这些都是要探索的内容。

三、数据预处理

当采集数据维度过大的时候，如何进行降维操作、缺失值处理等都是数据预处理要解决的问题。由于采样数据中常常包含许多含有噪声、不完整、甚至不一致的数据，对数据挖掘所涉及的数据对象必须进行预处理。主要包括数据筛选、数据变量转换、缺失值处理、坏数据处理、数据标准化、主成分分析、属性选择、数据违约等。

四、数据合并

pandas提供了三种主要方法可以用于数据合并：

pandas.merge() 方法 ： 数据库风格的合并

pandas.concat() 方法 ： 轴向连接，沿着一条轴将多个对象堆叠到一起

combine_first() 方法 ：合并重叠数据

1、pandas.merge() 方法

将两个DataFrame合并，以列名为连接键

df1 = DataFrame({'name':['Carl','Lucy','a','b','c'],'data1': range(5)})

df2 = DataFrame({'name':['Carl','Lucy','x','y','z'],'data2': range(5)})

将两个DataFrame合并，以索引为连接键

2、pandas.concat() 方法

轴向连接，即沿着一条轴将多个对象堆叠到一起

3、combine_first() 方法

作用 ： 合并重叠数据

可以理解为打补丁操作：s1中有空缺的地方，从s2中拿来数据补上

五、挖掘工具

( 1 ) SAS Enterprise Miner

Enterprise Miner (EM)是SAS推出的一个集成的数据挖掘系统，允许使用和比较不同的技术，同时还集成了复杂的数据库管理软件。它的运行方式是通过在-一个工作空间( workspace)中按照- - -定的顺序添加各种可以实现不同功能的节点，然后对不同节点进行相应的设置，最后运行整个工作流程(workflow), 便可以得到相应的结果。

(2 ) IBM SPSS Modeler

IBMSPSSModeler原名Clementine,2009年被IBM公司收购后对产品的性能和功能进行了大幅度改进和提升。它封装了最先进的统计学和数据挖掘技术来获得预测知识，并将相应的决策方案部署到现有的业务系统和业务过程中，从而提高企业的效益。IBMSPSSModeler拥有直观的操作界面、自动化的数据准备和成熟的预测分析模型，结合商业技术可以快速建立预测性模型。

(3) SQL Server

Microsoft公司的SQL Server中集成了数据挖掘组件一Analysis Servers,借助SQL Server的数据库管理功能，可以无缝地集成在SQL Server数据库中。在SQL Server 2008中提供了决策树算法、聚类分析算法、Naive Bayes算法、关联规则算法、时序算法、神经网络算法、线性回归算法等9种常用的数据挖掘算法。但是，预测建模的实现是基于SQL Server 平台的，平台移植性相对较差。

(4) Python

Python ( Matrix Laboratory, 矩阵实验室)是美国Mathworks公司开发的应用软件，具备强大的科学及工程计算能力，它不但具有以矩阵计算为基础的强大数学计算能力和分析功能，而且还具有丰富的可视化图形表现功能和方便的程序设计能力。Python 并不提供一一个专门的数据挖掘环境，但它提供非常多的相关算法的实现函数，是学习和开发数据挖掘算法的很好选择。