从零构建一个简单的 Python 框架

为什么你想要自己构建一个 web 框架呢？我想，原因有以下几点：

　　你有一个新奇的想法，觉得将会取代其他的框架

　　你想要获得一些名气

　　你遇到的问题很独特，以至于现有的框架不太合适

　　你对 web 框架是如何工作的很感兴趣，因为你想要成为一位更好的 web 开发者。

　　接下来的笔墨将着重于最后一点。这篇文章旨在通过对设计和实现过程一步一步的阐述告诉读者，我在完成一个小型的服务器和框架之后学到了什么。你可以在这个 代码仓库 中找到这个项目的完整代码。

　　我希望这篇文章可以鼓励更多的人来尝试，因为这确实很有趣。它让我知道了 web 应用是如何工作的，而且这比我想的要容易的多！

　　范围

　　python框架可以处理请求-响应周期、身份认证、数据库访问、模板生成等部分工作。Web 开发者使用框架是因为，大多数的 web 应用拥有大量相同的功能，而对每个项目都重新实现同样的功能意义不大。

　　比较大的的框架如 Rails 和 Django 实现了高层次的抽象，或者说“自备电池”（“batteries-included”，这是 Python 的口号之一，意即所有功能都自足。）。而实现所有的这些功能可能要花费数千小时，因此在这个项目上，我们重点完成其中的一小部分。在开始写代码前，我先列举一下所需的功能以及限制。

　　功能：

　　处理 HTTP 的 GET 和 POST 请求。你可以在 这篇 wiki 中对 HTTP 有个大致的了解。

　　实现异步操作（我喜欢 Python 3 的 asyncio 模块）。

　　简单的路由逻辑以及参数撷取。

　　像其他微型框架一样，提供一个简单的用户级 API 。

　　支持身份认证，因为学会这个很酷啊（微笑）。

　　限制：

　　将只支持 HTTP 1.1 的一个小子集，不支持传输编码transfer-encoding、HTTP 认证http-auth、内容编码content-encoding（如gzip）以及 持久化连接 等功能。

　　不支持对响应内容的 MIME 判断 - 用户需要手动指定。

　　不支持 WSGI - 仅能处理简单的 TCP 连接。

　　不支持数据库。

　　我觉得一个小的用例可以让上述内容更加具体，也可以用来演示这个框架的 API：

　　from diy_framework import App, Router

　　from diy_framework.http_utils import Response

　　#GET simple route

　　async def home(r):

　　rsp= Response()

　　rsp.set_header('Content-Type', 'text/html')

　　rsp.body= 'test'

　　return rsp

　　#GET route +params

　　async def welcome(r,name):

　　return "Welcome {}".format(name)

　　#POST route +body param

　　async def parse_form(r):

　　if r.method== 'GET':

　　return 'form'

　　else:

　　name=r.body.get('name', '')[0]

　　password=r.body.get('password', '')[0]

　　return "{0}:{1}".format(name,password)

　　#application=router+http server

　　router= Router()

　　router.add_routes({

　　r'/welcome/{name}':welcome,

　　r'/':home,

　　r'/login':parse_form,})

　　app= App(router)

　　app.start_server()

　　' 用户需要定义一些能够返回字符串或 Response 对象的异步函数，然后将这些函数与表示路由的字符串配对，最后通过一个函数调用（start_server）开始处理请求。

　　完成设计之后，我将它抽象为几个我需要编码的部分：

　　接受 TCP 连接以及调度一个异步函数来处理这些连接的部分

　　将原始文本解析成某种抽象容器的部分

　　对于每个请求，用来决定调用哪个函数的部分

　　将上述部分集中到一起，并为开发者提供一个简单接口的部分

　　我先编写一些测试，这些测试被用来描述每个部分的功能。几次重构后，整个设计被分成若干部分，每个部分之间是相对解耦的。这样就非常好，因为每个部分可以被独立地研究学习。以下是我上文列出的抽象的具体体现：

　　一个 HTTPServer 对象，需要一个 Router 对象和一个 http_parser 模块，并使用它们来初始化。

　　HTTPConnection 对象，每一个对象表示一个单独的客户端 HTTP 连接，并且处理其请求-响应周期：使用 http_parser 模块将收到的字节流解析为一个 Request 对象；使用一个 Router 实例寻找并调用正确的函数来生成一个响应；最后将这个响应发送回客户端。

　　一对 Request 和 Response 对象为用户提供了一种友好的方式，来处理实质上是字节流的字符串。用户不需要知道正确的消息格式和分隔符是怎样的。

　　一个包含“路由:函数”对应关系的 Router 对象。它提供一个添加配对的方法，可以根据 URL 路径查找到相应的函数。

　　最后，一个 App 对象。它包含配置信息，并使用它们实例化一个 HTTPServer 实例。

　　让我们从 HTTPConnection 开始来讲解各个部分。

　　模拟异步连接

　　为了满足上述约束条件，每一个 HTTP 请求都是一个单独的 TCP 连接。这使得处理请求的速度变慢了，因为建立多个 TCP连接需要相对高的花销（DNS 查询，TCP 三次握手， 慢启动 等等的花销），不过这样更加容易模拟。对于这一任务，我选择相对高级的 asyncio-stream 模块，它建立在 asyncio 的传输和协议 的基础之上。我强烈推荐你读一读标准库中的相应代码，很有意思！

　　一个 HTTPConnection 的实例能够处理多个任务。首先，它使用 asyncio.StreamReader 对象以增量的方式从 TCP 连接中读取数据，并存储在缓存中。每一个读取操作完成后，它会尝试解析缓存中的数据，并生成一个 Request 对象。一旦收到了这个完整的请求，它就生成一个回复，并通过 asyncio.StreamWriter 对象发送回客户端。当然，它还有两个任务：超时连接以及错误处理。

　　你可以在 这里 浏览这个类的完整代码。我将分别介绍代码的每一部分。为了简单起见，我移除了代码文档。

　　class HTTPConnection(object):

　　def init(self,http_server,reader,writer):

　　self.router=http_server.router

　　self.http_parser=http_server.http_parser

　　self.loop=http_server.loop

　　self._reader=reader

　　self._writer=writer

　　self._buffer=bytearray()

　　self._conn_timeout= None

　　self.request= Request()

　　这个 init 方法没啥意思，它仅仅是收集了一些对象以供后面使用。它存储了一个 router 对象、一个 http_parser 对象以及loop 对象，分别用来生成响应、解析请求以及在事件循环中调度任务。

　　然后，它存储了代表一个 TCP 连接的读写对，和一个充当原始字节缓冲区的空 字节数组 。_conn_timeout 存储了一个asyncio.Handle 的实例，用来管理超时逻辑。最后，它还存储了 Request 对象的一个单一实例。

　　下面的代码是用来接受和发送数据的核心功能：

　　async def handle_request(self):

　　try:

　　while not self.request.finished and not self._reader.at_eof():

　　data＝await self._reader.read(1024)

　　if data:

　　self._reset_conn_timeout()

　　await self.process_data(data)

　　if self.request.finished:

　　await self.reply()

　　elif self._reader.at_eof():

　　raise BadRequestException()

　　except (NotFoundException,

　　BadRequestException) as e:

　　self.error_reply(e.code,body=Response.reason_phrases[e.code])

　　except Exception as e:

　　self.error_reply

 

文章来源：SDK.cn