1 分布分析:
发现各个维度下数据的分布情况
研究数据分布特征和分布类型;
主要统计量:极差 大小反应分布情况是否稳定
频率分布情况: 一般用直方图 分组区间使用pd.cut . 累积频率.cumsum()
定量一般用直方图 。 定性字段一般用饼图
分组组距及组数
2 对比分析
绝对数比较
相对数比较
3 统计分析
集中趋势度量:
算数平均数 .mean()
位置平均数:中位数。median() 。 众数.mode()、。。。
离中趋势度量
极差
分位差 样本描述性统计.describe() . 四分之三位数/四分之一位数
方差、标准差
4 帕累托分析 (贡献度分析) 二八定律
首先对目标数据进行排序:
data.sort_values(0,ascending = False,inplace=True)
然后求出累计占比:
data['累计占比'] = data[0].cumsum()/data[0].sum()
*** 图表:
plt.figure(figsize=(16,7))data[0].plot(kind='bar', color='g',title='haha')plt.xticks(rotation=0)data['累计占比'].plot(style = '--ko', secondary_y = True)plt.axvline(6,color='r',linestyle='--')plt.show()
5 正态性检验
data = pd.DataFrame(np.random.randn(1000)*1000+16,columns=['value'])fig = plt.figure(figsize=(16,10))ax1 = fig.add_subplot(2,1,1)ax1.scatter(data.index,data.value) #散点图ax2=fig.add_subplot(2,1,2)ax2.hist(data['value'],bins=50) #直方图plt.show()
理论推导:
直接使用函数
from scipy import statsu = data['value'].mean()std = data['value'].std()stats.kstest(data['value'],'norm',(u,std))
6 相关性分析
首先检验数据是否符合正态分布,
如果符合使用皮尔森相关系数:data.corr()
不符合的话使用 斯皮尔曼相关系数:data.corr(method='spearman')
7 数据处理
判断是否有缺失值 :
data.isnull() / data.notnull()返回布尔型结果
删除缺失值
data.dropna(inplace=True)
替换缺失值:
data.fillna('填充的值',inplace=True) data.fillna(method='pad') . 用之前的值填充 。 backfill用之后的值填充
拉格朗日插值法填充数据:
def f(s,n,k=5): y = s[list(range(n-k,n+k+1))] y = y[y.notnull()] return lagrange(y.index,list(y))(n)for i in range(len(data)): if data[0].isnull()[i]: data[0][i] = f(data[0],i) print(f(data[0],i))
数据标准化:
0-1 标准化
def f(df,*cols):• df_n = df.copy()• for col in cols:• ma = df_n[col].max()• mi = df_n[col].min()• df_n[col+'_n'] = (df_n[col]-mi) / (ma-mi)• return df_ndf_n = f(data,'value1','value2')df_n
z-score标准化
z-score 标准化 把非标准正太分布 换成标准正太腹部 (值-平均值)/标准差
def f_z(df,*cols):• df_z = df.copy()• for col in cols:• me = df_z[col].mean()• std = df_z[col].std()• df_z[col+'_z'] = (df_z[col]-me) / std• return df_zdf_z = f_z(data,'value1','value2')df_z
数据连续属性离散化
等宽法:
#cut *** 划分区间bins = [1,30,50,100]cats = pd.cut(data['age'],bins,right=False)data['age_a'] = cats
等频法:
#等频划分 按照分位数划分 以相同的数量记录到某个区间# qcut *** data = pd.Series(np.random.rand(1000))cats = pd.qcut(data,10)cats.value_counts(sort=False)
它们会给你带来非常非常多的便利。 一、网络营销知识点 接码平台:接收发送短信验证码,也可以是语音验证码的网站,里面有大量的卡商 会用他们的卡号 帮你完成验证码接收发送的工作,当你要注册一个AP...
一、个人履历 个人履历和简历不一样哦,简历是比较简单的介绍,个人履历比较详细了。个人履历描述了一个人的求学经历,教学研究经历,获得的奖项,公司经验以及业绩等等,信息非常的全面,从而对其人格背景有...
蚂蚁庄园9月2日题目抢先看了!洗牙之前,医生会让你漱漱口,一般常用的是什么水?小编认为生活中洗过牙的小伙伴们应该只占少数,所以对这个题目会有所了解的人应该很少。为了大家都可以拿到180g饲料!小编就将...
真菌用什么药杀最彻底(水产养殖中,常用杀真菌药物有哪些)真菌在自然界中是一大类群的生物,比如用吃的蘑菇也属于真菌。水产养殖动物的真菌性疾病有很多,最常见的如水霉病、腮霉病等。 这两种疾病发生都有...
1、今日头条 ·特点:综合性的免费投稿平台,适合任何类型的文章投稿(社会、娱乐、科技、体育、财经……);需注册头条号;采用推荐制,支持原创功能;平台流量非常大,某些文章可达几十...
许多开车的朋友都可能遇到蓄电池没电的情况,这时候汽车启动就成为一件比较困难的事情,那么如何解决这种尴尬的问题呢?本期编者就为大家介绍三招,让您的车在电瓶没电时也能启动。 第一招:推车启动 推车...