简单数据清洗和预处理（源码附后）
下次的文章会分享toB端产物经理的内容，数据分析的内容会放到周末发，作为一个产物岗的人老是发数据分析确实有点离谱。这一章主要说的是数据的洗濯步骤，过程比力简单，没有效到插值法，各位凑合欣赏
1.数据初步缺失值处理
a.先辈行数据源的检索如图
https://p3.toutiaoimg.com/large/pgc-image/4dc2634956f24e5f96277c79008fb019
b.统计列缺失值，行缺失值如图
https://p9.toutiaoimg.com/large/pgc-image/0b24436c5fdc49138811228ab09726e4
c.检查并删除房屋名称，地点，户型面积三列缺失值所在的行，因为这三列的缺失值无法填补，因为周边均价和均价意义一致，所以将周边均价一列插入到价格一列，再将价格一列的缺失值所在的行删除。
c=df.isnull().sum(axis=1)#查看缺失值
print(c)
d=df.isnull().sum(axis=0)
print(d)
df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行
df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中
df=df.dropna(subset=['价格'])#删除价格的缺失值
2.文本去重
检索第一列的重复的名称，举行去重
data = df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)
3.删除最后一列
留下必要的数据，现在数据临时无缺失、无重复，如图
https://p9.toutiaoimg.com/large/pgc-image/4a6d6d4208b64e6ca012ee331fa5bf5a
4.数据分类
因为安居客的房价的计量单元不同，所以举行区分周边均价和均价放在一类，最低放在一类，总价放在一类，分类分析，如图
https://p3.toutiaoimg.com/large/pgc-image/6d3fa5f90bda4b2c909a1d5db7a2ffa8
5.数据变换和提取面积上下限
a.先将数据中不重要的字符串删除，将数据冗余清除，比方房价的“周边均价”、“均价”、计量单元等，这里需要注意将“万”替代成“0000”如图，便于以后的分析，清除后得到如图所示的内容，得到终极清理后的文件。因为房子的面积是一个范围，所以要举行分离面积的上下限。
https://p6.toutiaoimg.com/large/pgc-image/4e9b8ba99dee4e35888135b568507198
https://p9.toutiaoimg.com/large/pgc-image/981c0e72010a4c8a82453069ff2d0ec3
b.将房价对应的户型面积，写入文档
for a in reader:
a=a['户型面积']
b = re.split('：|-|㎡|m',a)
print(b, file=convert)
c.提取户型的所在地点关键字，写入文档：
for c in reader1:
c = c['地点']
print(c,file=out3)
最后数据如图展示，形成fen均价.csv，fen总价.csv，fen最低.csv三个文件。
https://p9.toutiaoimg.com/large/pgc-image/037b2932e0bb4580b012a7fc149140bc
6.缺失值进一步处理
进一步删除缺失值所在行，终极得到如图文件
https://p26.toutiaoimg.com/large/pgc-image/ea05e6fc5963490d96ce2105fc988ef2
数据的0-1标准化
选择对数据举行0-1标准化处理，需要处理的数据有：“房价：元/m”、“'最少面积：m”、“'最多面积：m”，对三个文件的此三类数据都要举行标准化，核心代码如下：
df1['房价0-1'] = ((df1['房价：元/m']) -df1['房价：元/m'].min())/(df1['房价：元/m'].max() - df1['房价：元/m'].min())
df1['最少面积0-1'] = ((df1['最少面积：m']) -df1['最少面积：m'].min())/
(df1['最少面积：m'].max() - df1['最少面积：m'].min())
df1['最多面积0-1'] = ((df1['最多面积：m']) -df1['最多面积：m'].min())/(df1['最多面积：m'].max() - df1['最多面积：m'].min())
老规矩上源码：
#洗濯import numpy as npimport pandas as pdimport csvfile=open("C:\\Users\\admin\Desktop\\天津房屋数据.csv",encoding="utf-8-sig")out = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件.csv",'w',encoding='utf-8-sig',newline="")out1 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件1.csv",'w',encoding='utf-8-sig',newline="")out2 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件2.csv",'w',encoding='utf-8-sig',newline="")out3 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件3.csv",'w',encoding='utf-8-sig',newline="")out4 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen均价.csv",'w',encoding='utf-8-sig',newline="")out5 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen最低.csv",'w',encoding='utf-8-sig',newline="")out6 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen总价.csv",'w',encoding='utf-8-sig',newline="")df=pd.read_csv(file)b=df.info()a=df.describe()#查看详细描述print(b)print(a)c=df.isnull().sum(axis=1)#查看缺失值print(c)d=df.isnull().sum(axis=0)print(d)df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中df=df.dropna(subset=['价格'])#删除价格的缺失值df=df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)#去重df=df.drop(["周边均价"],axis=1)df1=df.str.contains('均价')]df1.to_csv(out1)#输出到csvdf2=df.str.contains('最低')]df2.to_csv(out2)#输出到csvdf3=df.str.contains('总价')]df3.to_csv(out3)#输出到csvdf.to_csv(out)#输出到csv#标准化import numpy as npimport csvimport pandas as pdimport matplotlib.pyplot as pltimport warningswarnings.filterwarnings("ignore")out1 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据.csv",'r',encoding='utf-8-sig',newline="")out2 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据.csv",'r',encoding='utf-8-sig',newline="")out3 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据.csv",'r',encoding='utf-8-sig',newline="")#均价0-1化df1=pd.read_csv(out1,engine='python')df1['房价0-1'] = ((df1['房价：元/m']) -df1['房价：元/m'].min())/\ (df1['房价：元/m'].max() - df1['房价：元/m'].min())df1['最少面积0-1'] = ((df1['最少面积：m']) -df1['最少面积：m'].min())/\ (df1['最少面积：m'].max() - df1['最少面积：m'].min())df1['最多面积0-1'] = ((df1['最多面积：m']) -df1['最多面积：m'].min())/\ (df1['最多面积：m'].max() - df1['最多面积：m'].min())df1.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#低价0-1化df2=pd.read_csv(out2,engine='python')df2['房价0-1'] = ((df2['房价：元/m']) -df2['房价：元/m'].min())/\ (df2['房价：元/m'].max() - df2['房价：元/m'].min())df2['最少面积0-1'] = ((df2['最少面积：m']) -df2['最少面积：m'].min())/\ (df2['最少面积：m'].max() - df2['最少面积：m'].min())df2['最多面积0-1'] = ((df2['最多面积：m']) -df2['最多面积：m'].min())/\ (df2['最多面积：m'].max() - df2['最多面积：m'].min())df2.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#总价0-1化df3=pd.read_csv(out3,engine='python')df3['房价0-1'] = ((df3['房价：万元/套']) -df3['房价：万元/套'].min())/\ (df3['房价：万元/套'].max() - df3['房价：万元/套'].min())df3['最少面积0-1'] = ((df3['最少面积：m']) -df3['最少面积：m'].min())/\ (df3['最少面积：m'].max() - df3['最少面积：m'].min())df3['最多面积0-1'] = ((df3['最多面积：m']) -df3['最多面积：m'].min())/\ (df3['最多面积：m'].max() - df3['最多面积：m'].min())df3.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#可视化图例#均价plt.figure(1)plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'plt.rcParams['axes.unicode_minus'] = Falseplt.figure(num='Title', facecolor='lightgray', figsize=(6, 3))# 均价处理前plt.subplot(3, 2, 1)plt.title('均价-房价', fontsize=10)plt.bar(df1['地点'], df1['房价：元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 均价01标准化后plt.subplot(3, 2, 2)plt.title('0-1 标准化', fontsize=10)plt.bar(df1['地点'], df1['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 低价处理前plt.subplot(3, 2, 3)plt.title('均价-房价', fontsize=10)plt.bar(df2['地点'], df2['房价：元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 低价01标准化后plt.subplot(3, 2, 4)plt.title('0-1 标准化', fontsize=10)plt.bar(df2['地点'], df2['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 总价处理前plt.subplot(3, 2, 5)plt.title('房价：万元/套', fontsize=10)plt.bar(df3['地点'], df3['房价：万元/套'], 0.5, color='dodgerblue', label='房价')plt.legend()# 总价01标准化后plt.subplot(3, 2, 6)plt.title('0-1 标准化', fontsize=10)plt.bar(df3['地点'], df3['房价：万元/套'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()plt.show() 转发了
页:
[1]