Використання стандартної бібліотеки Python для HTTP запитів у неробочий час може призвести до дір в безпеці, громіздкого коду, винайдення велосипедів, постійного перечитування документації, депресії, головного болю та навіть смерті. (сторінка requests на PyPI)
requests: Документація | PyPI | GitHub (24.877 зірок, 4.526 форків)
Бібліотека requests з'явилась як перемога над необхідністю писати громіздкий код для бібліотеки urllib2 (тепер доступна під іменем urllib). Все якогомога зручніше та простіше. Наприклад, отримаємо код веб-сторінки і покладемо його у файл - із використанням пакета requests і, для порівняння, за допомогою стандартної бібліотеки.import requests URL = 'http://python-packages.blogspot.com' response = requests.get(URL) with open('python-packages.html', 'w') as outfile: outfile.write(response.text) | import http.client DOMAIN = 'python-packages.blogspot.com' URI = '/' connection = http.client.HTTPConnection(DOMAIN) connection.request('GET', URI) response = connection.getresponse() with open('python-packages2.html', 'w') as outfile: rawdata = response.read() data = rawdata.decode('utf-8') outfile.write(data) |
Зверніть увагу! В варіанті http.client довелось явно вказати кодування utf-8. requests використовує бібліотеку chardet, котра інтелектуально вгадує кодування, надаючи при цьому вірогідність своєї здогадки. Хутко визначити кодування за допомогою стандартної бібліотеки Python не видається можливим.
Спробуймо цікавіший дослід. Зробімо запит до API GitHub з авторизацією (стандартний приклад із документації requests).
import requests from pprint import pprint response = requests.get('https://api.github.com', auth=('undead404', 'OOPS')) pprint(response.json()) | import base64 import http.client import json from pprint import pprint DOMAIN = 'api.github.com' URI = '/' authorization = base64.b64encode(b'undead404:OOPS').decode('ascii') connection = http.client.HTTPSConnection(DOMAIN) headers = {'Authorization': 'Basic {}'.format(authorization), 'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201'} connection.request('GET', URI, headers=headers) response = connection.getresponse() data = json.loads(response.read().decode('utf-8')) pprint(data) |
- не-ASCII домени та URL
- тривалі з'єднання
- сесії з постійними куками
- SSL-перевірка у стилі браузерів
- базова та комплексна автентифікація
- витончені куки "ключ-значення"
- автоматична декомпресія
- автоматичне декодування
- підтримка юнікоду у тілі відповіді
- завантаження multipart файлів
- підтримка HTTP(S) проксі
- таймаути з'єднань
- потокові звантаження
- підтримка .netrc
- фрагментовані запити
- потокова безпека
requests у встановленому вигляді важить 3016983 байт, дві третини яких складають вшиті бібліотеки: urllib3 (HTTP більш низького рівня), idna (підтримка не-ASCII доменних імен), chardet (визначення кодування файлу).
Немає коментарів:
Дописати коментар