MeiK / 如何写一个爬虫 - 第一篇
Created 2019-07-30 Modifyed 2019-07-30

2719 Words

从零开始实现一个爬虫。

To eat when you’re hungry, to sleep when you’re tired, to take a break when you’re bored, to work on projects that seem fun and interesting. —— Aaron Swartz

关于如何写爬虫，网上已经有很多资源了，随便搜索一下就可以获得很多教程。跟着那些教程，很快就可以达到爬取豆瓣、微博等网站的水平。利用无头浏览器等技术，可以轻松的爬取网上绝大部分可见的资源。

然而，回想起大一刚开始学习爬虫时候的我，当时我还在使用 Python2 ，时常因为错误的编码而陷入困境，在网上的各种博客里复制来的代码运行倒是能运行，但其实哪一句什么意思都不知道，踩了数不清的坑之后才勉强入门。但如果过去的我能够看到现在网上铺天盖地的爬虫教程，我踩的坑会因此而变少吗？

对我来说，答案是否定的。区别可能是，以前我在 CSDN 上复制 Python2 + urllib 的代码，现在我在知乎专栏复制 Python3 + requests 的代码。

因此，我决定自己写博客来讲解如何写爬虫。考虑到现在我的博客日访问量还是个位数，因此我大概率是写给自己看的。当然这并没有什么关系，就当作是写给大一时候的我自己了。

所需基础

如果可以的话，我肯定是想能让零基础的人也能学会，然而我的能力它不允许啊……

因此，在学习之前，你需要以下前置技能：

  1. Python 基础
  2. TCP/IP 基础（稍有了解即可）
  3. HTML 基础
  4. JavaScript 基础

你需要以下环境：

  1. 能够联网的电脑
  2. Python 3.6 +
  3. 不需要第三方库

在学习完之后，你应该会获得以下技能：

  1. 基础的爬虫技能

本系列博客以完成一个完整可用的爬虫框架为目标，读者需要通过框架的代码来了解爬虫。我会尽可能的以渐进的方式编写代码与撰写博客，读者最好能够跟着教程实际敲一下代码，以此来加深理解。

起步

包括 Web 网站、各种小程序、软件等在内，现行的网络世界中产生的大部分流量都是基于 HTTP 协议（HyperText Transfer Protocol ，超文本传输协议）的。因此，为了了解爬虫，我们首先要对 HTTP 协议有个大概的认识。

注意：如果没有特别指明，我们所说的 HTTP 协议均为 RFC2616 中所定义的 HTTP/1.1。HTTP/2 及之后版本的变动很大，且目前还只在小部分范围内被使用，因此此处不考虑这些较新的协议，之后将单独对其进行讲解。

HTTP 基于 TCP 协议——一种可靠的传输协议。因为它偏离了我们要讲解的主题，如果我们不会在这里对其进行详细介绍，可以看一下我之前的几篇博客，了解一下 TCP：

  1. 《TCP 的三次握手与四次挥手》
  2. 《TCP 连接的流程与状态转换》
  3. 《TCP 的滑动窗口》
  4. 《TCP 的拥塞控制》

如果你确实没有相关的基础也没关系，你可以用“连接的双方互相（可以同时）向对方发送字符串的协议”来理解 TCP。双方是指客户端方（主动发起连接方）和服务端方（接受连接方），在我们的语境中，就是我们的爬虫和被爬取的网站服务器。

因此，建立在 TCP 基础上的 HTTP，可以简单的理解为用户与网站交换字符串。网站服务器处理请求和浏览器渲染网页，其实都是要先进行解析字符串的。关于 HTTP 协议的字符串格式，同样在 RFC2616 有定义。当然，翻阅全英文的文档是让人有点头疼的，因此我从维基百科上直接复制了一份描述：

  • 请求行，例如： GET /logo.gif HTTP/1.1 或状态码行，例如： HTTP/1.1 200 OK
  • HTTP 头字段
  • 空行
  • 可选的 HTTP 报文主体数据

请求/状态行和标题必须以 <CR> <LF> 结尾（即回车后跟一个换行符）。 空行必须只包含 <CR> <LF> ，而不能包含其他空格。

这里的 <CR> <LF> 写在程序里就是 "\r\n" ，打印出来的话表现为两个换行。除了首行外，请求和响应的格式要求是相同的。

请求格式

[请求方法] [Path] [协议版本]
[header 字段]: [header 值]
...
[header 字段]: [header 值]

[数据]

请求样例

GET /index.html HTTP/1.1
Host: example.com

响应格式

[协议版本] [响应状态码] [响应消息]
[header 字段]: [header 值]
...
[header 字段]: [header 值]

[数据]

响应样例

HTTP/1.1 200 OK
Date: Sun, 10 Oct 2010 23:26:07 GMT
Server: Apache/2.2.8 (Ubuntu) mod_ssl/2.2.8 OpenSSL/0.9.8g
Last-Modified: Sun, 26 Sep 2010 22:04:35 GMT
ETag: "45b6-834-49130cc1182c0"
Accept-Ranges: bytes
Content-Length: 13
Connection: close
Content-Type: text/html

Hello world!

编码实现一个基本的请求

先来介绍一个网站： https://httpbin.org ，这是一个用于测试请求的网站，是测试爬虫的最合适的工具之一。比如你访问 https://httpbin.org/get ，它会把你请求的 headers 信息、 url 、参数等信息都返回给你。

因为 https 需要处理证书加解密，我们现在还无法做到，因此我们使用这个网站的 http 版本 http://httpbin.org ，使用 Python ，请求其 /get 接口。

在 Python 中，创建一个 TCP 连接可以使用 socket 库，这是一个内置库，这里是它的文档。

import socket

sock = socket.socket()
sock.connect(("httpbin.org", 80))

request = "GET /get HTTP/1.0\r\n" + \
          "Host: httpbin.org\r\n" + \
          "\r\n"
sock.send(request.encode("ascii"))

response = b""
chunk = sock.recv(4096)
while chunk:
    response += chunk
    chunk = sock.recv(4096)
sock.close()

print(response.decode())

这段代码的意思是，我们构建了一段请求字符串如下：

GET /get HTTP/1.0
Host: httpbin.org

创建了一个与 httpbin.org 的 TCP 连接，并将请求字符串发送给网站服务器。创建了一个 response 的变量来存储服务器发给我们的数据。因为协议中规定了 HTTP 的编码为 ascii ，而 Python3 默认的编码为 Unicode ，因此在发送与接收时我们都需要进行转码。

需要注意的是， sock.recv(4096) 返回的是读取到的服务器给我们发送的数据，如果数据还没有收到， sock.recv 并不会返回空，而是会一直阻塞在这里，等待数据到达。只有当连接已经断开或者连接出错的时候， sock.recv 才会返回一个空字符串。

有的同学可能会发现，我们上面说我们的教程基于 HTTP/1.1 ，这里发送的却是 HTTP/1.0 。这是因为，在 HTTP/1.1 中， HTTP header 中新增了字段 Content-Length ，服务器会在响应数据的 header 中添加这个字段，用于表示响应数据的长度，正常的浏览器应该识别这个字段，并在服务器传输了足够长度的数据后主动关闭连接。

客户端主动关闭连接可以有效的减少服务器 TIME_WAIT 积压的问题，对这个问题有兴趣的同学可以看一下我的博客《TCP 的三次握手与四次挥手》和《TCP 连接的流程与状态转换》。转回我们的教程，我们还不想在现在的代码中添加主动关闭的功能，因此我们直接发送 HTTP/1.0 的请求给服务器，来规避这个问题。

保存代码到本地并执行，我们可以直观的看到其效果：

封装成函数

我们的爬虫当然是不会只访问 httpbin.org 的，我们需要把通用的代码封装起来，供后续调用。

import socket


def fetch(url: str) -> str:
    if url.startswith("http://") is False:
        raise ValueError("url must start with `http://`")

    _tmp = url[7:].split("/", 1)
    if len(_tmp) > 1:
        host = _tmp[0]
        path = "/" + _tmp[1]
    else:
        host = _tmp[0]
        path = "/"

    sock = socket.socket()
    sock.connect((host, 80))

    request = "\r\n".join((f"GET {path} HTTP/1.0", f"Host: {host}", "\r\n"))
    sock.send(request.encode("ascii"))

    response = b""
    chunk = sock.recv(4096)
    while chunk:
        response += chunk
        chunk = sock.recv(4096)

    sock.close()

    return response.decode()

我们将爬虫通用的逻辑封装成了一个叫 fetch 的函数，这个函数接受一个 url 参数，请求对应的网站并返回其响应。我们可以在其他地方使用这个函数。

将代码保存为 fetch.py ，在同一个目录下打开一个终端（ Windows 下可以 PowerShell ），启动 python 并输入以下代码：

>>> from fetch import fetch
>>> resp = fetch('http://httpbin.org/get')
>>> resp
'HTTP/1.1 200 OK\r\nAccess-Control-Allow-Credentials: true\r\nAccess-Control-Allow-Origin: *\r\nContent-Type: application/json\r\nDate: Wed, 31 Jul 2019 12:07:58 GMT\r\nReferrer-Policy: no-referrer-when-downgrade\r\nServer: nginx\r\nX-Content-Type-Options: nosniff\r\nX-Frame-Options: DENY\r\nX-XSS-Protection: 1; mode=block\r\nContent-Length: 146\r\nConnection: Close\r\n\r\n{\n  "args": {}, \n  "headers": {\n    "Host": "httpbin.org"\n  }, \n  "origin": "36.110.78.251, 36.110.78.251", \n  "url": "https://httpbin.org/get"\n}\n'

验证通过，我们的函数已经可以请求网站了！

创建框架

虽然我们的函数已经可以实现请求了，但我们要做的是一个爬虫框架，需要更高的适用性。为了将我们的函数封装成框架，我们首先创建以下的目录结构：

ZeroCrawler
    |
    |------ ZeroCrawler
    |         |-------- __init__.py
    |         |-------- fetch.py
    |      
    |------ tests
              |-------- test_fetch.py

文件内容分别如下：

__init__.py

from .fetch import fetch

test_fetch.py

import unittest

from ZeroCrawler import fetch


class TestFetch(unittest.TestCase):
    def test_fetch(self):
        resp = fetch("http://httpbin.org/get")
        self.assertTrue(resp.startswith("HTTP/1.1 200 OK"))


if __name__ == "__main__":
    unittest.main()

我们添加了 tests 来测试我们的代码，以保证我们代码的可靠与稳定。现在我们的框架已经有了基本的雏形，在下一章里，我们将会把 ZeroCrawler 改造成一个可以安装使用的库。

总结

这一篇里，我们大概了解了一下爬虫的原理，并且写代码实现了一个最基础的爬虫框架。

本章的所有源代码可以在 GitHub ：ZeroCrawler Version 0.0.1 中找到。如果有意见或者建议，可以通过评论或者 GitHub Issues 来告诉我。我们下期再见。