• t.me/wxcydzcc

    工作时间

    周一至周五:9:00-21:00

    周末及节日:9:00-18:00

  • 手机版二维码

    随时手机查素材

  • 扫描二维码

    官方微信公众号

别动我的可乐啊 潜水
  • 1发帖数
  • 1主题数
  • 0关注数
  • 0粉丝
开启左侧

简单数据清洗和预处理(源码附后)

[复制链接]
别动我的可乐啊 发表于 2021-8-11 16:03:57 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
下次的文章会分享toB端产物经理的内容,数据分析的内容会放到周末发,作为一个产物岗的人老是发数据分析确实有点离谱。
这一章主要说的是数据的洗濯步骤,过程比力简单,没有效到插值法,各位凑合欣赏
1.数据初步缺失值处理

a.先辈行数据源的检索如图

                               
登录/注册后可看大图

b.统计列缺失值,行缺失值如图

                               
登录/注册后可看大图

c.检查并删除房屋名称,地点,户型面积三列缺失值所在的行,因为这三列的缺失值无法填补,因为周边均价和均价意义一致,所以将周边均价一列插入到价格一列,再将价格一列的缺失值所在的行删除。
c=df.isnull().sum(axis=1)#查看缺失值
print(c)
d=df.isnull().sum(axis=0)
print(d)
df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行
df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中
df=df.dropna(subset=['价格'])#删除价格的缺失值
2.文本去重

检索第一列的重复的名称,举行去重
data = df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)
3.删除最后一列

留下必要的数据,现在数据临时无缺失、无重复,如图

                               
登录/注册后可看大图

4.数据分类

因为安居客的房价的计量单元不同,所以举行区分周边均价和均价放在一类,最低放在一类,总价放在一类,分类分析,如图

                               
登录/注册后可看大图

5.数据变换和提取面积上下限

a.先将数据中不重要的字符串删除,将数据冗余清除,比方房价的“周边均价”、“均价”、计量单元等,这里需要注意将“万”替代成“0000”如图,便于以后的分析,清除后得到如图所示的内容,得到终极清理后的文件。因为房子的面积是一个范围,所以要举行分离面积的上下限。

                               
登录/注册后可看大图


                               
登录/注册后可看大图

b.将房价对应的户型面积,写入文档
for a in reader:
a=a['户型面积']
b = re.split(':|-|㎡|m',a)
print(b[1:3], file=convert)
c.提取户型的所在地点关键字,写入文档:
for c in reader1:
c = c['地点']
print(c[1:3],file=out3)
最后数据如图展示,形成fen均价.csv,fen总价.csv,fen最低.csv三个文件。

                               
登录/注册后可看大图

6.缺失值进一步处理

进一步删除缺失值所在行,终极得到如图文件

                               
登录/注册后可看大图

数据的0-1标准化

选择对数据举行0-1标准化处理,需要处理的数据有:“房价:元/m”、“'最少面积:m”、“'最多面积:m”,对三个文件的此三类数据都要举行标准化,核心代码如下:
df1['房价0-1'] = ((df1['房价:元/m']) -df1['房价:元/m'].min())/(df1['房价:元/m'].max() - df1['房价:元/m'].min())
df1['最少面积0-1'] = ((df1['最少面积:m']) -df1['最少面积:m'].min())/
(df1['最少面积:m'].max() - df1['最少面积:m'].min())
df1['最多面积0-1'] = ((df1['最多面积:m']) -df1['最多面积:m'].min())/(df1['最多面积:m'].max() - df1['最多面积:m'].min())
老规矩上源码:
#洗濯import numpy as npimport pandas as pdimport csvfile=open("C:\\Users\\admin\Desktop\\天津房屋数据.csv",encoding="utf-8-sig")out = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件.csv",'w',encoding='utf-8-sig',newline="")out1 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件1.csv",'w',encoding='utf-8-sig',newline="")out2 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件2.csv",'w',encoding='utf-8-sig',newline="")out3 = open("C:\\Users\\admin\Desktop\\天津房屋数据处理后文件3.csv",'w',encoding='utf-8-sig',newline="")out4 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen均价.csv",'w',encoding='utf-8-sig',newline="")out5 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen最低.csv",'w',encoding='utf-8-sig',newline="")out6 =open("C:\\Users\\admin\Desktop\\处理后数据\\fen总价.csv",'w',encoding='utf-8-sig',newline="")df=pd.read_csv(file)b=df.info()a=df.describe()#查看详细描述print(b)print(a)c=df.isnull().sum(axis=1)#查看缺失值print(c)d=df.isnull().sum(axis=0)print(d)df=df.dropna(subset=['房屋名称','地点','户型面积'])#删除此列缺失值行df=df.fillna(axis=1,method='backfill')#将周边均价插入到价格中df=df.dropna(subset=['价格'])#删除价格的缺失值df=df.drop_duplicates(subset=['房屋名称'], keep='first', inplace=False)#去重df=df.drop(["周边均价"],axis=1)df1=df[df["价格"].str.contains('均价')]df1.to_csv(out1)#输出到csvdf2=df[df["价格"].str.contains('最低')]df2.to_csv(out2)#输出到csvdf3=df[df["价格"].str.contains('总价')]df3.to_csv(out3)#输出到csvdf.to_csv(out)#输出到csv#标准化import numpy as npimport csvimport pandas as pdimport matplotlib.pyplot as pltimport warningswarnings.filterwarnings("ignore")out1 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据.csv",'r',encoding='utf-8-sig',newline="")out2 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据.csv",'r',encoding='utf-8-sig',newline="")out3 =open("C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据.csv",'r',encoding='utf-8-sig',newline="")#均价0-1化df1=pd.read_csv(out1,engine='python')df1['房价0-1'] = ((df1['房价:元/m']) -df1['房价:元/m'].min())/\              (df1['房价:元/m'].max() - df1['房价:元/m'].min())df1['最少面积0-1'] = ((df1['最少面积:m']) -df1['最少面积:m'].min())/\                (df1['最少面积:m'].max() - df1['最少面积:m'].min())df1['最多面积0-1'] = ((df1['最多面积:m']) -df1['最多面积:m'].min())/\                (df1['最多面积:m'].max() - df1['最多面积:m'].min())df1.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\均价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#低价0-1化df2=pd.read_csv(out2,engine='python')df2['房价0-1'] = ((df2['房价:元/m']) -df2['房价:元/m'].min())/\              (df2['房价:元/m'].max() - df2['房价:元/m'].min())df2['最少面积0-1'] = ((df2['最少面积:m']) -df2['最少面积:m'].min())/\                (df2['最少面积:m'].max() - df2['最少面积:m'].min())df2['最多面积0-1'] = ((df2['最多面积:m']) -df2['最多面积:m'].min())/\                (df2['最多面积:m'].max() - df2['最多面积:m'].min())df2.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\低价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#总价0-1化df3=pd.read_csv(out3,engine='python')df3['房价0-1'] = ((df3['房价:万元/套']) -df3['房价:万元/套'].min())/\              (df3['房价:万元/套'].max() - df3['房价:万元/套'].min())df3['最少面积0-1'] = ((df3['最少面积:m']) -df3['最少面积:m'].min())/\               (df3['最少面积:m'].max() - df3['最少面积:m'].min())df3['最多面积0-1'] = ((df3['最多面积:m']) -df3['最多面积:m'].min())/\                (df3['最多面积:m'].max() - df3['最多面积:m'].min())df3.to_csv(r'C:\\Users\\admin\Desktop\\处理后数据\\终极\\总价数据0-1.csv',mode='w',index =False,encoding='utf-8-sig')#可视化图例#均价plt.figure(1)plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'plt.rcParams['axes.unicode_minus'] = Falseplt.figure(num='Title', facecolor='lightgray', figsize=(6, 3))# 均价处理前plt.subplot(3, 2, 1)plt.title('均价-房价', fontsize=10)plt.bar(df1['地点'], df1['房价:元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 均价01标准化后plt.subplot(3, 2, 2)plt.title('0-1 标准化', fontsize=10)plt.bar(df1['地点'], df1['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 低价处理前plt.subplot(3, 2, 3)plt.title('均价-房价', fontsize=10)plt.bar(df2['地点'], df2['房价:元/m'], 0.5, color='dodgerblue', label='房价')plt.legend()# 低价01标准化后plt.subplot(3, 2, 4)plt.title('0-1 标准化', fontsize=10)plt.bar(df2['地点'], df2['房价0-1'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()# 总价处理前plt.subplot(3, 2, 5)plt.title('房价:万元/套', fontsize=10)plt.bar(df3['地点'], df3['房价:万元/套'], 0.5, color='dodgerblue', label='房价')plt.legend()# 总价01标准化后plt.subplot(3, 2, 6)plt.title('0-1 标准化', fontsize=10)plt.bar(df3['地点'], df3['房价:万元/套'], 0.2, color='orangered', label='房价0-1')plt.legend()plt.tight_layout()plt.show()

精彩评论1

风想飞29401061 发表于 2021-8-11 23:18:45 | 显示全部楼层
转发了
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

猜你喜欢
在线客服QQ
2241998733

24x7小时免费咨询

  • 官方在线客服

    在线客服:官方

    点击交谈

    在线客服:良子

    点击交谈

    在线客服:闵月

    点击交谈
  • https://t.me/wxcydzcc

  • 手机扫码查看手机版

    手机查找资源更方便

  • 扫一扫关注官方博客

    cydz.eu.org

Powered by 创意电子 ©2018-现在 专注资源实战分享源码下载站联盟商城繁体中文