【Python 爬虫】 2、HTTP基本原理

SAP剑客 2021-10-26 02:29:42
Python http 爬虫 基本 基本原理

HTTP基本原理

基本概念

URL

URL(Uniform Resource Locator),即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简介的表示,是互联网上标准资源的地址。互联网上每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。

hypertext

hypertext(超文本),浏览器里面看到的网页就是超文本解析而成,其网页源代码是一系列的html代码,如“img”表示图片,“p”指定段落等。

 

 

Http基本原理

http和https:访问资源需要的协议类型,还有其他的类型,比如ftp,sftp,smb等;

http:Hyper text transfer protocol,超文本传输协议,网络传输超文本数据到本地浏览器的传送协议,保证高效而准确的传送超文本文档;

https:Hyper text transfer protocol over secure socket layer,以安全为目标的http通道,http下加入ssl层。作用是建立一个安全通道来保证数据传输的安全,确认网站的真实性;

Http请求过程

浏览器中输入url后,浏览器向网站所在服务器发送一个请求,网站服务器接收请求,并对这个请求进行处理和解析,然后返回对应的响应,传回给浏览器,再通过浏览器解析出来。

 请求:包括四部分内容

  • 请求的网站(request url)
  • 请求的方法(request method)
  • 请求头(request header):用来说明服务器要使用的附加信息,比较重要的信息有cookie和user-agent。
  • 请求体(request body):一般承载的内容是post请求中的表单数据,对于get请求,请求体为空。

 

 

请求的方法主要分为getpost

get请求:

请求中的参数包含在url里面;

请求提交的数据最多只有1024字节(长度限制);

百度中输入关键字,其中wd表示要搜索的关键字

post请求:

表单提交时候发起,比如用户登录功能;

数据以表单的形式传输,不会体现在url中;

请求提交的数据没有大小限制;

数据传输更安全(因为参数不会体现在url中,比如银行卡账户和密码);

 

 

版权声明
本文为[SAP剑客]所创,转载请带上原文链接,感谢
https://saper.blog.csdn.net/article/details/120960765

  1. django channels channel_layer.group_send 造成内存溢出
  2. Python布置了个感觉不大理解的题..
  3. Python a posé une question qui ne semblait pas très compréhensible.
  4. Python中yield返回生成器的详细方法
  5. Python函数中apply、map、applymap的区别
  6. Python字符串前加f、r、b、u的不同用法
  7. 5分钟教会你用Python采集CSDN的热榜
  8. 5分鐘教會你用Python采集CSDN的熱榜
  9. 5 minutes pour vous apprendre à utiliser Python pour collecter des listes chaudes de csdn
  10. Quick start of automation -- python (1) - [variables] - half an hour a day
  11. Python爬虫:给我一个链接,快手视频随便下载
  12. Python爬蟲:給我一個鏈接,快手視頻隨便下載
  13. 经验丰富程序员才知道的15种高级Python小技巧
  14. 經驗豐富程序員才知道的15種高級Python小技巧
  15. 15 conseils Python avancés que les programmeurs expérimentés connaissent
  16. Python crawler: Donnez - moi un lien pour télécharger des vidéos rapides
  17. Python爬虫:给我一个链接,快手视频随便下载
  18. [algorithm learning] sword finger offer 64. Find 1 + 2 +... + n (Java / C / C + + / Python / go / trust)
  19. 怎么系统的学习python,有没有一些比较完整的资料,基础知识+框架+项目实战此类pdf
  20. Python crawler: Donnez - moi un lien pour télécharger des vidéos rapides
  21. Python project management and construction, these four tools are enough!
  22. IDE的使用,pycharm引入Python库
  23. In the 120 series columns, you can learn the python beautiful oup4 module, 7000 word blog + climb the ninth workshop network
  24. Django运行xadmin 报错解析 ImportError: cannot import name 'DEFAULT_FORMATS' from 'import_export.admin'
  25. Python程序大学课程写程序
  26. Programme Python Programme d'études collégiales
  27. Python程序大學課程寫程序
  28. Django runxadmin Error resolution importerror: cannot Import name 'default Formats' from 'import _ Export.admin»
  29. Python 函数式编程,看这一篇足够了!
  30. 太棒了!11个好用到起飞的「Python字典」知识点!
  31. 一道Python题目,求解答!
  32. 一道Python題目,求解答!
  33. Un problème Python, s'il vous plaît!
  34. C'est génial! 11 points de connaissance du dictionnaire Python pour le décollage!
  35. Python Functional Programming, This is enough!
  36. 在python中beta分布的问题?
  37. 一个python习题,没有什么头绪,是关于进制的转换和绘制的,想了几天了,不仅仅是2,8,16这种常见的进制转换
  38. Un exercice Python, qui n'a pas beaucoup d'idées, est sur la conversion et le rendu décimaux et a pensé pendant quelques jours, pas seulement 2, 8, 16 cette conversion décimale commune
  39. Un problème avec la distribution bêta en python?
  40. python实现简单的读取excel 内容,报错
  41. L'implémentation Python lit simplement le contenu d'Excel et signale les erreurs
  42. 用Python定义一个函数,接收n个数字,求这些参数数字的和
  43. Définissez une fonction en python, recevez n nombres et additionnez ces nombres de paramètres
  44. 上电Python写文件后,再断电后导致文件内容丢失
  45. 上電Python寫文件後,再斷電後導致文件內容丟失
  46. Une fois que Python est allumé pour écrire des fichiers, le contenu des fichiers est perdu après une panne de courant
  47. python套接字编程报错:ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。
  48. 【Python从入门到精通】(二)怎么运行Python呢?有哪些好的开发工具(PyCharm)
  49. 【Python从入门到精通】(二)怎么运行Python呢?有哪些好的开发工具(PyCharm)
  50. Python语法1
  51. 2018年度最受推荐的10本Python书籍(初学者必看)
  52. Les 10 livres Python les plus recommandés en 2018 (obligatoire pour les débutants)
  53. Syntaxe Python 1
  54. Python语法1
  55. 在python 运行celery时候 AttributeError: 'NoneType' object has no attribute 'Redis'错误
  56. Attributeerror: 'nonetype' Object has no attribute 'redis' Error when Celery is running in Python
  57. Syntaxe Python 1
  58. Python celery is a plug-in that focuses on distributed asynchronous task processing and task scheduling!
  59. Python celery is a plug-in that focuses on distributed asynchronous task processing and task scheduling!
  60. 在python,使用scrapy爬虫框架