创意电子

标题: 简单数据清洗和预处理（源码附后） [打印本页]

作者: 别动我的可乐啊 时间: 2021-8-11 16:03
标题: 简单数据清洗和预处理（源码附后）
下次的文章会分享toB端产物经理的内容，数据分析的内容会放到周末发，作为一个产物岗的人老是发数据分析确实有点离谱。
这一章主要说的是数据的洗濯步骤，过程比力简单，没有效到插值法，各位凑合欣赏
1.数据初步缺失值处理

a.先辈行数据源的检索如图

b.统计列缺失值，行缺失值如图

c.检查并删除房屋名称，地点，户型面积三列缺失值所在的行，因为这三列的缺失值无法填补，因为周边均价和均价意义一致，所以将周边均价一列插入到价格一列，再将价格一列的缺失值所在的行删除。
c=df.isnull().sum(axis=1)#查看缺失值
print(c)
d=df.isnull().sum(axis=0)
print(d)
df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行
df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中
df=df.dropna(subset=['价格'])#删除价格的缺失值
2.文本去重

检索第一列的重复的名称，举行去重
data = df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)
3.删除最后一列

留下必要的数据，现在数据临时无缺失、无重复，如图

4.数据分类

因为安居客的房价的计量单元不同，所以举行区分周边均价和均价放在一类，最低放在一类，总价放在一类，分类分析，如图

5.数据变换和提取面积上下限

a.先将数据中不重要的字符串删除，将数据冗余清除，比方房价的“周边均价”、“均价”、计量单元等，这里需要注意将“万”替代成“0000”如图，便于以后的分析，清除后得到如图所示的内容，得到终极清理后的文件。因为房子的面积是一个范围，所以要举行分离面积的上下限。

b.将房价对应的户型面积，写入文档
for a in reader:
a=a['户型面积']
b = re.split('：|-|㎡|m',a)
print(b[1:3], file=convert)
c.提取户型的所在地点关键字，写入文档：
for c in reader1:
c = c['地点']
print(c[1:3],file=out3)
最后数据如图展示，形成fen均价.csv，fen总价.csv，fen最低.csv三个文件。

6.缺失值进一步处理

进一步删除缺失值所在行，终极得到如图文件

数据的0-1标准化

选择对数据举行0-1标准化处理，需要处理的数据有：“房价：元/m”、“'最少面积：m”、“'最多面积：m”，对三个文件的此三类数据都要举行标准化，核心代码如下：
df1['房价0-1'] = ((df1['房价：元/m']) -df1['房价：元/m'].min())/(df1['房价：元/m'].max() - df1['房价：元/m'].min())
df1['最少面积0-1'] = ((df1['最少面积：m']) -df1['最少面积：m'].min())/
(df1['最少面积：m'].max() - df1['最少面积：m'].min())
df1['最多面积0-1'] = ((df1['最多面积：m']) -df1['最多面积：m'].min())/(df1['最多面积：m'].max() - df1['最多面积：m'].min())
老规矩上源码：
#洗濯import numpy as npimport pandas as pdimport csvfile=open("C:\\Users\\admin\Desktop\\天津房屋数据.csv",encoding="utf-8-sig")out = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件.csv",'w',encoding='utf-8-sig',newline="")out1 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件1.csv",'w',encoding='utf-8-sig',newline="")out2 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件2.csv",'w',encoding='utf-8-sig',newline="")out3 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件3.csv",'w',encoding='utf-8-sig',newline="")out4 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen均价.csv",'w',encoding='utf-8-sig',newline="")out5 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen最低.csv",'w',encoding='utf-8-sig',newline="")out6 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen总价.csv",'w',encoding='utf-8-sig',newline="")df=pd.read_csv(file)b=df.info()a=df.describe()#查看详细描述print(b)print(a)c=df.isnull().sum(axis=1)#查看缺失值print(c)d=df.isnull().sum(axis=0)print(d)df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中df=df.dropna(subset=['价格'])#删除价格的缺失值df=df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)#去重df=df.drop(["周边均价"],axis=1)df1=df[df["价格"].str.contains('均价')]df1.to_csv(out1)#输出到csvdf2=df[df["价格"].str.contains('最低')]df2.to_csv(out2)#输出到csvdf3=df[df["价格"].str.contains('总价')]df3.to_csv(out3)#输出到csvdf.to_csv(out)#输出到csv#标准化import numpy as npimport csvimport pandas as pdimport matplotlib.pyplot as pltimport warningswarnings.filterwarnings("ignore")out1 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据.csv",'r',encoding='utf-8-sig',newline="")out2 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据.csv",'r',encoding='utf-8-sig',newline="")out3 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据.csv",'r',encoding='utf-8-sig',newline="")#均价0-1化df1=pd.read_csv(out1,engine='python')df1['房价0-1'] = ((df1['房价：元/m']) -df1['房价：元/m'].min())/\ (df1['房价：元/m'].max() - df1['房价：元/m'].min())df1['最少面积0-1'] = ((df1['最少面积：m']) -df1['最少面积：m'].min())/\ (df1['最少面积：m'].max() - df1['最少面积：m'].min())df1['最多面积0-1'] = ((df1['最多面积：m']) -df1['最多面积：m'].min())/\ (df1['最多面积：m'].max() - df1['最多面积：m'].min())df1.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#低价0-1化df2=pd.read_csv(out2,engine='python')df2['房价0-1'] = ((df2['房价：元/m']) -df2['房价：元/m'].min())/\ (df2['房价：元/m'].max() - df2['房价：元/m'].min())df2['最少面积0-1'] = ((df2['最少面积：m']) -df2['最少面积：m'].min())/\ (df2['最少面积：m'].max() - df2['最少面积：m'].min())df2['最多面积0-1'] = ((df2['最多面积：m']) -df2['最多面积：m'].min())/\ (df2['最多面积：m'].max() - df2['最多面积：m'].min())df2.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#总价0-1化df3=pd.read_csv(out3,engine='python')df3['房价0-1'] = ((df3['房价：万元/套']) -df3['房价：万元/套'].min())/\ (df3['房价：万元/套'].max() - df3['房价：万元/套'].min())df3['最少面积0-1'] = ((df3['最少面积：m']) -df3['最少面积：m'].min())/\ (df3['最少面积：m'].max() - df3['最少面积：m'].min())df3['最多面积0-1'] = ((df3['最多面积：m']) -df3['最多面积：m'].min())/\ (df3['最多面积：m'].max() - df3['最多面积：m'].min())df3.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#可视化图例#均价plt.figure(1)plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'plt.rcParams['axes.unicode_minus'] = Falseplt.figure(num='Title', facecolor='lightgray', figsize=(6, 3))# 均价处理前plt.subplot(3, 2, 1)plt.title('均价-房价', fontsize=10)plt.bar(df1['地点'], df1['房价：元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 均价01标准化后plt.subplot(3, 2, 2)plt.title('0-1 标准化', fontsize=10)plt.bar(df1['地点'], df1['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 低价处理前plt.subplot(3, 2, 3)plt.title('均价-房价', fontsize=10)plt.bar(df2['地点'], df2['房价：元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 低价01标准化后plt.subplot(3, 2, 4)plt.title('0-1 标准化', fontsize=10)plt.bar(df2['地点'], df2['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 总价处理前plt.subplot(3, 2, 5)plt.title('房价：万元/套', fontsize=10)plt.bar(df3['地点'], df3['房价：万元/套'], 0.5, color='dodgerblue', label='房价')plt.legend()# 总价01标准化后plt.subplot(3, 2, 6)plt.title('0-1 标准化', fontsize=10)plt.bar(df3['地点'], df3['房价：万元/套'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()plt.show()

作者: 风想飞29401061 时间: 2021-8-11 23:18
转发了

欢迎光临创意电子 (https://wxcydz.cc/)