<p style="margin:10px auto;color:rgb(57,57,57);font-family:verdana,'ms song',Arial,Helvetica,sans-serif;font-size:14px;text-align:left;background-color:rgb(250,247,239);">我们平时在用Python爬取网页上的数据时，对爬取到到的数据做数据分析展现有很多种方式，比如可以通过echart图表接口、python提供的第三方库，甚至还可以用matlab工具来进行数据统计和图表可视化展现。
<p style="margin:10px auto;color:rgb(57,239);">可无论是以上哪一种方式，都需要通过
代码来
调用Python爬好的数据来进行画图，图表样式
属性设置等方面还是比较繁琐的。<p style="margin:10px auto;color:rgb(57,239);">同样的问题，有一次小编领导要求我做一份有关于南京房价的数据汇报，需
要做到报表里面。数据是没有的，自然而然想到用Python爬，爬好后直接做数据图表粘贴到报表中。但后来发现
方法太土，汇报时不好做动态的数据展现（影响小编炫技装逼）。于是乎就想办法，将爬取到的数据导入到报表或者BI系统里面，利用BI本身的一些分析
功能，联动着其他数据做展现。于是就有了本篇“Python爬数据，FineBI画图”的
文章。<h2 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:21px;line-height:1.5;color:rgb(57,sans-serif;text-align:left;background-color:rgb(250,239);">关于FineBI<p style="margin:10px auto;color:rgb(57,239);">这是
一个可视化的自助式BI工具，整个操作就是导数据/连
数据库——处理数据（可视化ETL）选择图表——拖数据字段——可视化展现&美化，操作简单上手快。小编只是用了其可视化的一隅
功能，多数情况下，这个工具都是拿来做可视化报表，对接企业大数据平台，做企业数据运营分析用。<h2 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:21px;line-height:1.5;color:rgb(57,239);">原理介绍<p style="margin:10px auto;color:rgb(57,239);">废话不多说，直接贴出操作。<p style="margin:10px auto;color:rgb(57,239);">因为想看看南京房价数据，但是网站上的很多数据都是以HTM5的形式进行呈现的，所以考虑通过Python来进行
网页数据抓取和入库，数据分析方面通过FineBI工具直接连接
数据库，分析和可视化呈现。<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,51,51);font-family:verdana,239);">整体的思路：<p style="margin:10px auto;color:rgb(57,239);">数据层方面先通过Python抓取到WEB端的
网页数据，之后对爬取到数据进行解析再而存储到
MysqL数据入库；<p style="margin:10px auto;color:rgb(57,239);">最后应用层的数据处理、数据计算
统计、图表可视化呈现等工作全都交由FineBI工具来做。<p style="margin:10px auto;color:rgb(57,239);">
<h2 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:21px;line-height:1.5;color:rgb(57,239);">操作步骤<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">1.引入相关python库包<p style="margin:10px auto;color:rgb(57,239);">首先新建python工程，引入本次爬取
网页数据和写入
MysqL数据库所需要的requests、py
MysqL、bs4这三个包：<p style="margin:10px auto;color:rgb(57,239);">
<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">2.
获取网页数据<p style="margin:10px auto;color:rgb(57,239);">然后如下图所示，通过编写Python
代码获取到某
一个房产网页的南京售房平台的网页信息：<p style="margin:10px auto;color:rgb(57,239);">
<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">3.HTML
标签解析<p style="margin:10px auto;color:rgb(57,239);">接着再对DIV样式下的HTML数据包进行逐一解析，
获取到想要的房源
名称、地址、小区、户型、面积、总价、单价、区域等数据：<p style="margin:10px auto;color:rgb(57,239);">
<p style="margin:10px auto;color:rgb(57,239);">其中对应网页的
标签样式可以通过浏览器的F12开发选项进行
快速获取，如下图所示的定位房源信息截图，我们只需要右键浏览器在所需要
获取标签样式
名称的地方点击
检查元素即可（房源
名称的
标签即位house-title的title元素）。<p style="margin:10px auto;color:rgb(57,239);">
<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">4.
MysqL数据回写<p style="margin:10px auto;color:rgb(57,239);">解析好数据之后，再将解析好的数据写入到
MysqL数据库中：<p style="margin:10px auto;color:rgb(57,239);">
<p style="margin:10px auto;color:rgb(57,239);">循环遍历该平台在南京最近七天的网页售房信息数据，
页面17页，共计377条数据：<p style="margin:10px auto;color:rgb(57,239);">
<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">5.安装FineBI&&验证数据入库<p style="margin:10px auto;color:rgb(57,239);">通过FineBI官网下载并按照引导安装好软件：<p style="margin:10px auto;color:rgb(57,239);">
<p style="margin:10px auto;color:rgb(57,239);">直接通过FineBI提供的数据配置端的
功能，
添加sql数据集（或者直接
添加表也行），查看和验证刚刚爬取并且入库的数据是否已经真正成功入库到
MysqL中了。<p style="margin:10px auto;color:rgb(57,239);">如下图所示，Python果然不辱使命，我要的该平台的七天南京的房价售房数据都已经成功写入到了我的
MysqL数据库中了。<p style="margin:10px auto;color:rgb(57,239);">
<h4 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:14px;color:rgb(51,239);">6.FineBI可视化制作&成果展示<p style="margin:10px auto;color:rgb(57,239);">然后思考需要分析展现哪些
内容，比如“南京各小区房价分布”、“房型价格分析”、“各区域房价分析”.....通过FineBI制作图表展现。<p style="margin:10px auto;color:rgb(57,239);">下面这个动图展示了
一个图表的制作，其他都类似的，可参考。不懂可参见FineBI官网的帮助文档。<p style="margin:10px auto;color:rgb(57,239);">
<p style="margin:10px auto;color:rgb(57,239);">花了十分钟，就将我想要看的南京售房信息（房源面积均价、套房总均价、小区房价四象限分布图、区域房价分析、房型价格分析）以可视化的形式呈现出来了。<p style="margin:10px auto;color:rgb(57,239);">最后就是本次成果展示啦，也晒出来跟大家
分享下，如下所示：<p style="margin:10px auto;color:rgb(57,239);">
<p style="margin:10px auto;color:rgb(57,239);">1.目前南京房源均价为3.78万每平方米，总均价为401.38万，总体上还是比较高的。<p style="margin:10px auto;color:rgb(57,239);">2.建邺区房价最高，果然房价还是紧跟国家政策啊，建邺目前城区开发建设政府的扶持力度在南京都是走在前面的。鼓楼、玄武、秦淮分别排在二、三、四的位置，雨花台和江宁房价相对较低，综合市区位置来看，还是秦淮区性价比最高啊 。<p style="margin:10px auto;color:rgb(57,239);">3.房型方面，6室3厅的豪华大宅总均价接近一千万，比如紫檀雅居、碧水湾别墅、滨江奥城听雨苑这一类土豪小区，多集中在建邺和鼓楼区域；一室一厅的房子均价大概在150万的样子，比如托乐嘉单身公寓、经纬城市花园等小区，适合单身贵族或者情侣小夫妇居住，南京各个大区都有；比较主流的三室一厅房价在300万左右，比如乔虹苑小区、良辰美景家园、白云园，多集中在秦淮和鼓楼区域。<h2 style="margin-top:10px;margin-b
ottom:10px;padding:0px;font-size:21px;line-height:1.5;color:rgb(57,239);">后记<p style="margin:10px auto;color:rgb(57,239);">Python完成对
网页数据的抓取和解析存储之后，配合FineBI强大的数据可视化呈现能力则圆满地完成了本次对南京售房数据的
统计和分析需求，绝对推荐！<p style="margin:10px auto;color:rgb(57,239);">欢迎关注我的
博客或者公众号哦：
https://home.cnblogs.com/u/Python1234/ Python学习交流
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
