Python+BI爬取3000条车厘子数据,发现了这些秘密

帆软 2021-02-23 17:06:34
Python 数据 BI 发现了 python+bi


听说最近车厘子的价格突然猛跌,之前很多人梦寐以求的“车厘子自由”,现在都能实现了。其实车厘子的价格下降,主要原因是进口货运成本的大大降低,为了找到车厘子最佳的购买方式,我决定用python+BI进行数据分析。

因此我在淘宝上用python爬取了3000条数据,然后导入到了FineBI中进行可视化分析,最终制作出了下面这样一份可视化报告:

下面我展示一下操作过程:

一、数据获取

用Python在淘宝上进行数据爬取是老生常谈的操作了,直接在淘宝上搜索“车厘子”,在下面的商品页中可以看到,我们这次主要爬取的标签是“商品名称”、“价格”、“付款人数”、“店铺名称”、“发货地址”等:

按下F12,调出后台查看源代码,找到不同的商品标签代码,比如价格是“price g_price g_price-highlight">”,付款人数是“deal-cnt”等:

了解了网页的代码结构之后,下一步就可以在python里直接编写代码了,具体过程不详细介绍了,部分代码如下:

爬取完数据之后导入到Excel里,然后在Excel里经过简单的数据清洗和处理,最终得到一份完成的数据表:

二、数据分析

python虽然也能实现数据分析的功能,但是需要敲代码,学习成本和难度都比较大,不如直接利用专业的数据分析工具进行分析,比如常见的比如FineBI、Tableau、PowerBI等。

下面我直接以FineBI为例,FineBI是国内知名度比较高的本土数据分析工具,比起tableau这些国外工具最大的优点就是简单、灵活,只需要用鼠标拖拽就能实现各种分析操作,基本不需要写代码,对新手非常友好。

其实FineBI本质上属于企业级的业务数据分析平台,除了数据分析之外,还能实现数据管理、数据平台搭建等功能,这里就不详细介绍了,大家感兴趣的话我下一篇再介绍。

有了excel源表,首先我们将Excel导入到FineBI中:

然后直接点击页面左上角的“创建仪表板”,就可以进入到可视化后台:

下一步进入到仪表板进行可视化操作,基本步骤是“选择图表类型——选择指标和维度——拖拽到指定坐标轴——美化细节”,比如我想要创建一张可视化地图,首先要先选择图表类型为“区域地图”,然后要选择指标和维度,但是原数据表里没有地理纬度,因此需要自己创建:

最后,我们再拖拽到指定坐标轴,然后美化细节就可以完成一张可视化地图了:

以此类推,其他的可视化图表也能够按照我们自己的需求进行制作,这里不详细讲了。

三、数据可视化

1、车厘子销量分布情况

可以看出来国内车厘子最大的销量来自上海,以及浙江、广东两省,西藏、青海、内蒙古等省份都没有销量,基本上来说沿海地区的销量要高于内陆。

2、各省份销量情况

通过条形图就更明显了,上海的销量有20多万,几乎是浙江、广东、四川的总和。

3、各城市的销量情况

筛选出了销量前十的城市,以及每个城市平均的车厘子价格,可以看出来上海的销量和价格都是最高的,可以看出上海的购买力有多强了;

4、车厘子的价格区间情况

数据表里将价格区间分为“50以下”、“50-100”、“100-150”、“150-200”、“200-500”、“500以上”等,可以看出来占比最大的价格区间是“50-100”,这应该属于平民价格了;值得注意的是“200-500”的价格占比也高于“100-150”。

5、各门店的销量与价格情况

可以看出销量最高的基本都是旗舰店,最高的平均价格基本在600-800左右;

四、总结

因为数据不算多,所以这次没有做太深的数据分析,大家可以自己拿数据,在FineBI里进行更多的分析。

版权声明
本文为[帆软]所创,转载请带上原文链接,感谢
https://my.oschina.net/u/4197558/blog/4960629

  1. Python notes: List
  2. Translation: practical Python Programming 02_ 03_ Formatting
  3. Python中的四种队列(queue)、堆(heap)
  4. Side effects of Python mutable types as default parameters of functions
  5. This is the best Python tutorial I've ever seen: ten minutes to get to know python
  6. 使用python编写量子线路打印的简单项目,并使用Sphinx自动化生成API文档
  7. Python happy enemy: crawler and anti crawler with a solution to give you New Year
  8. 使用python编写量子线路打印的简单项目,并使用Sphinx自动化生成API文档
  9. When writing python, you will encounter the following error: modulenotfounderror: no module named ' email.mime '; 'email' is not a package
  10. Python class call and private and public property method call
  11. Proprietary methods for Python classes
  12. Foundation of Python: number string and list
  13. Foundation of Python: number string and list
  14. Foundation of Python: number string and list
  15. 华为 Python网络自动化
  16. Python Cannot open E:\Python36\Scripts\pip-script.py
  17. Peeping into the future is not a dream, python data analysis is easy to achieve
  18. The practical skills summed up by Alibaba and Huawei Python engineers, only you haven't seen them yet?
  19. Sour! See the Python programmers on the tiktok get the pay slip...
  20. Foundation of Python: number string and list
  21. Python installation tutorial
  22. Python installation tutorial
  23. This article will familiarize you with the transformation process of Python - > Cafe - > om model
  24. Four kinds of queues and heaps in Python
  25. Using Python to write a simple project of quantum circuit printing, and using Sphinx to automatically generate API documents
  26. Using Python to write a simple project of quantum circuit printing, and using Sphinx to automatically generate API documents
  27. Huawei Python Network Automation
  28. Python Cannot open E:\Python36\Scripts\pip- script.py
  29. 找不到Python问题解决
  30. PHP和Python哪个更有市场前景?我学的是PHP
  31. Python problem resolution not found
  32. Which has more market prospects, PHP or Python? I studied PHP
  33. Foundation of Python: number string and list
  34. python 编码问题之终极解决
  35. The ultimate solution to the problem of Python coding
  36. 能取值亦能赋值的Python切片
  37. Python slice with value and value
  38. 能取值亦能赋值的Python切片
  39. Python slice with value and value
  40. python 异常处理
  41. Python exception handling
  42. python 异常处理
  43. Python exception handling
  44. Orca: 基于DolphinDB的分布式pandas接口
  45. Orca: distributed panda interface based on dolphin DB
  46. 5个无聊Python程序,用Python整蛊你的朋友们吧
  47. Five boring Python programs, trick your friends with Python
  48. python进阶训练营
  49. Python advanced training camp
  50. 【免费】0基础也能轻松学的Python训练营来啦,限时抢位中!
  51. [free] Python training camp, which is easy to learn, is here. It's time to grab a place!
  52. 手把手教你把Python应用到实际开发 不再空谈语法
  53. 全面系统Python3.8入门+进阶 (程序员必备第二语言)
  54. Hand in hand to teach you how to apply Python to practical development
  55. Comprehensive system introduction to Python 3.8 + Advanced
  56. Python语言的排序算法有哪些?Python学习班!
  57. Python language sorting algorithm what? Python classes!
  58. Java、JavaScript、C、C++、PHP、Python都是用来开发什么?
  59. 为什么学习Python?什么途径学习Python合适?
  60. What are Java, JavaScript, C, C + +, PHP and python used to develop?