четвер, 11 травня 2017 р.

requests - HTTP для людей


Використання стандартної бібліотеки Python для HTTP запитів у неробочий час може призвести до дір в безпеці, громіздкого коду, винайдення велосипедів, постійного перечитування документації, депресії, головного болю та навіть смерті. (сторінка requests на PyPI)


requests: Документація | PyPI | GitHub (24.877 зірок, 4.526 форків)

Бібліотека requests з'явилась як перемога над необхідністю писати громіздкий код для бібліотеки urllib2 (тепер доступна під іменем urllib). Все якогомога зручніше та простіше. Наприклад, отримаємо код веб-сторінки і покладемо його у файл - із використанням пакета requests і, для порівняння, за допомогою стандартної бібліотеки.

import requests

URL = 'http://python-packages.blogspot.com'
response = requests.get(URL)
with open('python-packages.html', 'w') as outfile:
    outfile.write(response.text)
import http.client

DOMAIN = 'python-packages.blogspot.com'
URI = '/'

connection = http.client.HTTPConnection(DOMAIN)
connection.request('GET', URI)
response = connection.getresponse()
with open('python-packages2.html', 'w') as outfile:
    rawdata = response.read()
    data = rawdata.decode('utf-8')
    outfile.write(data)

Зверніть увагу! В варіанті http.client довелось явно вказати кодування utf-8. requests використовує бібліотеку chardet, котра інтелектуально вгадує кодування, надаючи при цьому вірогідність своєї здогадки. Хутко визначити кодування за допомогою стандартної бібліотеки Python не видається можливим.

Спробуймо цікавіший дослід. Зробімо запит до API GitHub з авторизацією (стандартний приклад із документації requests).
import requests
from pprint import pprint

response = requests.get('https://api.github.com', auth=('undead404', 'OOPS'))
pprint(response.json())
import base64
import http.client
import json
from pprint import pprint

DOMAIN = 'api.github.com'
URI = '/'
authorization = base64.b64encode(b'undead404:OOPS').decode('ascii')
connection = http.client.HTTPSConnection(DOMAIN)
headers = {'Authorization': 'Basic {}'.format(authorization),
           'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201'}
connection.request('GET', URI, headers=headers)
response = connection.getresponse()
data = json.loads(response.read().decode('utf-8'))
pprint(data)
І знову - довелось хардкодити кодування, вигадувати User-Agent...
  • не-ASCII домени та URL
  • тривалі з'єднання
  • сесії з постійними куками
  • SSL-перевірка у стилі браузерів
  • базова та комплексна автентифікація
  • витончені куки "ключ-значення"
  • автоматична декомпресія
  • автоматичне декодування
  • підтримка юнікоду у тілі відповіді
  • завантаження multipart файлів
  • підтримка HTTP(S) проксі
  • таймаути з'єднань
  • потокові звантаження
  • підтримка .netrc
  • фрагментовані запити
  • потокова безпека
requests у встановленому вигляді важить 3016983 байт, дві третини яких складають вшиті бібліотеки: urllib3 (HTTP більш низького рівня), idna (підтримка не-ASCII доменних імен), chardet (визначення кодування файлу).

Немає коментарів:

Дописати коментар