創(chuàng)建aiohttp應(yīng)用程序

讓我們從一個(gè)簡(jiǎn)單的應(yīng)用程序開始，只是為了啟動(dòng)和運(yùn)行aiohttp。首先，創(chuàng)建一個(gè)新的virtualenv。建議使用Python 3.5以后版本，因?yàn)槲覀儗⑹褂胊syncio提供的async def和await語(yǔ)法。如果您想進(jìn)一步開發(fā)該項(xiàng)目并利用異步理解的優(yōu)勢(shì)，則可以使用Python 3.6（本例使用python版本）。

接下來(lái)，安裝aiohttp：

pip install aiohttp

現(xiàn)在創(chuàng)建一個(gè)python文件（稱為nasa.py），并將一些代碼放入其中：

from aiohttp import web

async def get_mars_photo(request):
    return web.Response(text='A photo of Mars')

app = web.Application()
app.router.add_get('/', get_mars_photo, name='mars_photo')

如果您不熟悉aiohttp，則可能需要說(shuō)明以下幾點(diǎn)：

• get_mars_photo協(xié)程是一個(gè)請(qǐng)求處理程序；它以HTTP請(qǐng)求作為唯一參數(shù)，并負(fù)責(zé)返回HTTP響應(yīng)（或引發(fā)異常）

• app是高級(jí)服務(wù)器；它支持路由器，中間件和信號(hào)（對(duì)于該程序，我們將僅使用路由器）

• app.router.add_get在HTTP GET方法和'/'路徑上注冊(cè)請(qǐng)求處理程序

注意：請(qǐng)求處理程序不必一定是協(xié)程，它們可以是常規(guī)函數(shù)。但是我們將使用asyncio的功能，因此程序中的大多數(shù)函數(shù)都將使用進(jìn)行定義async def。

運(yùn)行應(yīng)用程序

要運(yùn)行您的應(yīng)用程序，您可以在文件末尾添加以下行：

web.run_app(app, host='127.0.0.1', port=8080)

python nasa.py

pip install aiohttp-devtools
adev runserver -p 8080 nasa.py

現(xiàn)在如果您訪問localhost：8080，則應(yīng)該在瀏覽器中看到"A photo of mars"的字樣。

使用NASA API

當(dāng)然，這還沒有結(jié)束。如果您是一位敏銳的觀察者，您會(huì)注意到我們沒有得到實(shí)際的圖像，而是一些文本。現(xiàn)在讓我們解決這個(gè)問題。

要從火星獲取照片，我們將使用NASA API。每個(gè)火星探路者(rover)都有自己的URL（對(duì)于好奇號(hào)，它url是https://api.nasa.gov/mars-photos/api/v1/rovers/curiosity/photos）。我們必須為每個(gè)請(qǐng)求至少提供2個(gè)參數(shù)：

• sol：火星輪轉(zhuǎn)或拍攝照片的日期，從探路者的著陸日期開始算起（最大值可以rover/max_sol在響應(yīng)的一部分中找到）

• API_KEY：由美國(guó)航天局提供的API密鑰（你可以使用默認(rèn)的：DEMO_KEY）

響應(yīng)數(shù)據(jù)里我們將獲得一張照片列表，每張照片均帶有URL，相機(jī)信息和探路者信息。

修改nasa.py文件，如下所示：

import random

from aiohttp import web, ClientSession
from aiohttp.web import HTTPFound

NASA_API_KEY = 'DEMO_KEY'
ROVER_URL = 'https://api.nasa.gov/mars-photos/api/v1/rovers/curiosity/photos'


async def get_mars_image_url_from_nasa():
    while True:
        sol = random.randint(0, 1722)
        params = {'sol': sol, 'api_key': NASA_API_KEY}
        async with ClientSession() as session:
            async with session.get(ROVER_URL, params=params) as resp:
                resp_dict = await resp.json()
        if 'photos' not in resp_dict:
            raise Exception
        photos = resp_dict['photos']
        if not photos:
            continue
        return random.choice(photos)['img_src']


async def get_mars_photo(request):
    url = await get_mars_image_url_from_nasa()
    return HTTPFound(url)

到底發(fā)生了什么事？

• 我們選擇一個(gè)隨機(jī)拍攝日期（對(duì)于“好奇心”max_sol，在撰寫本文時(shí)，其值為1722）

• ClientSession創(chuàng)建一個(gè)會(huì)話，我們可以使用該會(huì)話從NASA API獲取響應(yīng)

• 我們使用獲取JSON響應(yīng)resp.json()

• 我們檢查響應(yīng)中是否存在“照片”鍵；如果沒有，我們已經(jīng)達(dá)到了每小時(shí)請(qǐng)求數(shù)量的上限，我們需要稍等片刻

• 如果當(dāng)天沒有照片，我們會(huì)再次檢查是否有其他拍攝時(shí)間

• 然后，我們使用HTTPFound響應(yīng)重定向到找到的照片

獲取NASA API密鑰

DEMO_KEYNASA提供的默認(rèn)設(shè)置可以正常工作，但是您很快就會(huì)達(dá)到每小時(shí)API調(diào)用的限制。我建議您獲取自己的API密鑰。您可以在此處進(jìn)行操作（注冊(cè)過程非常簡(jiǎn)單快捷）。

現(xiàn)在，當(dāng)您運(yùn)行該應(yīng)用程序時(shí)，您將直接從火星重定向到一個(gè)漂亮的圖像：

好吧，這不完全是我的意思...

驗(yàn)證圖像

您剛剛看到的圖像并不讓人受到啟發(fā)。事實(shí)證明，漫游者拍攝了很多非常無(wú)聊的照片。我想看看馬克·沃特尼（Mark Watney）在他不可思議的旅程中所看到的，但這還不夠好。讓我們找到一種解決方法。

我們將需要對(duì)圖像進(jìn)行某種形式的驗(yàn)證。在指定篩選條件前，我們可以修改代碼：

async def get_mars_photo_bytes():
    while True:
        image_url = await get_mars_image_url_from_nasa()
        async with ClientSession() as session:
            async with session.get(image_url) as resp:
                image_bytes = await resp.read()
        if await validate_image(image_bytes):
            break
    return image_bytes


async def get_mars_photo(request):
    image = await get_mars_photo_bytes()
    return web.Response(body=image, content_type='image/jpeg')

這里發(fā)生了一些新的事情：

• 我們使用先前定義的函數(shù)獲取URL，然后使用讀取圖像中的原始字節(jié)resp.read()

• 我們檢查我們的圖片是否足夠好；如果沒有，我們一直在尋找

• 一旦有了令人滿意的照片，我們會(huì)將其放入響應(yīng)中（注意，我們?nèi)匀皇褂门cweb.Response以前相同的照片，但是這次我們指定body而不是text，同時(shí)了定義content_type

注意：在此代碼中，我們刪除了重定向（HTTPFound），因此現(xiàn)在我們可以輕松地刷新頁(yè)面以獲取另一個(gè)圖像。

現(xiàn)在我們需要弄清楚如何驗(yàn)證照片。我們可以很容易做到的一件事就是檢查圖像尺寸否足夠大。這不是一個(gè)完美的驗(yàn)證，但現(xiàn)在應(yīng)該這樣做。要處理圖像，我們將需要python的圖片庫(kù)Pillow。

pip install pillow

import io
from PIL import Image

async def validate_image(image_bytes):
    image = Image.open(io.BytesIO(image_bytes))
    return image.width >= 1024 and image.height >= 1024

現(xiàn)在刷新瀏覽器，應(yīng)該可以看到火星大圖了。

現(xiàn)在我們可以更進(jìn)一步，拒絕灰度圖像：

async def validate_image(image_bytes):
    image = Image.open(io.BytesIO(image_bytes))
    return image.width >= 1024 and image.height >= 1024 and image.mode != 'L'

現(xiàn)在我們的程序開始返回更多鼓舞人心的照片：

偶爾還能看到機(jī)器人自拍：

總結(jié)

我們整個(gè)程序如下所示:

import random
import io

from aiohttp import web, ClientSession

from PIL import Image

NASA_API_KEY = 'DEMO_KEY'
ROVER_URL = 'https://api.nasa.gov/mars-photos/api/v1/rovers/curiosity/photos'


async def validate_image(image_bytes):
    image = Image.open(io.BytesIO(image_bytes))
    return image.width >= 1024 and image.height >= 1024 and image.mode != 'L'


async def get_mars_image_url_from_nasa():
    while True:
        sol = random.randint(0, 1722)
        params = {'sol': sol, 'api_key': NASA_API_KEY}
        async with ClientSession() as session:
            async with session.get(ROVER_URL, params=params) as resp:
                resp_dict = await resp.json()
        if 'photos' not in resp_dict:
            raise Exception
        photos = resp_dict['photos']
        if not photos:
            continue
        return random.choice(photos)['img_src']


async def get_mars_photo_bytes():
    while True:
        image_url = await get_mars_image_url_from_nasa()
        async with ClientSession() as session:
            async with session.get(image_url) as resp:
                image_bytes = await resp.read()
        if await validate_image(image_bytes):
            break
    return image_bytes


async def get_mars_photo(request):
    image = await get_mars_photo_bytes()
    return web.Response(body=image, content_type='image/jpeg')


app = web.Application()
app.router.add_get('/', get_mars_photo, name='mars_photo')

我們還可以改善很多事情（例如max_sol從API中獲取價(jià)值，傳遞流動(dòng)站的名稱，緩存URL），但是現(xiàn)在它已經(jīng)完成了工作：我們可以得到一張隨機(jī)的，鼓舞人心的火星照片，并覺得我們確實(shí)在那里。

原文標(biāo)題：Python | AioHttp 異步抓取火星圖片

文章出處：【微信公眾號(hào)：馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅