Python Requests 모듈 사용법 완전 정복 (초보자 가이드)

파이썬으로 웹 데이터를 가져오는 가장 쉽고 강력한 방법, 바로 requests 모듈입니다. 이 글에서는 초보자도 쉽게 이해할 수 있도록 requests 모듈의 기본부터 활용까지 모든 것을 알려드립니다. 웹 스크래핑, API 연동, 웹 자동화… 이 모든 것이 requests 하나로 가능해집니다!

제가 만든 Python Requests 시리즈 영상입니다. 1 ~ 5편 까지 있어요.

"웹 개발은 데이터를 얼마나 잘 다루느냐에 달려있습니다. Requests는 파이썬 개발자에게 웹 데이터 정복의 열쇠를 쥐여주는 가장 강력한 도구 중 하나죠."

왜 Python Requests 모듈을 사용해야 할까요?

프로그래밍을 배우는 초보자 입장에서 웹 데이터를 다루는 것은 복잡하고 어렵게 느껴질 수 있습니다. 하지만 Python의 requests 모듈을 사용하면 웹 페이지의 정보를 간단하게 가져오고, 웹 서버와 상호 작용하는 것이 매우 쉬워집니다. 복잡한 HTTP 요청을 직접 구현할 필요 없이, 몇 줄의 코드로 웹 스크래핑이나 API 연동과 같은 작업을 수행할 수 있습니다.

• 간단하고 직관적인 API: 초보자도 쉽게 이해하고 사용할 수 있습니다.
• 다양한 기능: GET, POST, PUT, DELETE 등 다양한 HTTP 요청 메서드를 지원합니다.
• 세션 관리: 로그인 상태 유지, 쿠키 관리 등 복잡한 세션 관리도 간단하게 처리할 수 있습니다.
• SSL 인증: 안전한 HTTPS 통신을 위한 SSL 인증을 기본적으로 지원합니다.

Requests 모듈 설치 및 기본적인 사용법

가장 먼저 requests 모듈을 설치해야 합니다. 터미널이나 명령 프롬프트에서 다음 명령어를 실행하세요.

pip install requests

설치가 완료되었다면, 간단한 예제 코드를 통해 사용법을 알아봅시다.

import requests

# GET 요청 보내기
response = requests.get('https://www.example.com')

# 응답 상태 코드 확인
print(response.status_code) # 200 OK

# 응답 내용 확인
print(response.text) # HTML 문서 내용

위 코드는 requests.get() 함수를 사용하여 'https://www.example.com' 웹 페이지에 GET 요청을 보내고, 응답 상태 코드와 내용을 출력하는 예제입니다. 상태 코드가 200이면 요청이 성공적으로 처리되었음을 의미합니다. response.text 속성을 통해 웹 페이지의 HTML 코드를 확인할 수 있습니다.

정리하면:

고급 활용: POST 요청, 헤더 설정, 파라미터 전달

requests 모듈은 단순히 GET 요청만 처리하는 도구가 아닙니다. POST 요청, 헤더 설정, 파라미터 전달 등 다양한 기능을 제공합니다.

• POST 요청: 웹 서버에 데이터를 전송할 때 사용합니다. 주로 폼 데이터를 제출하거나, API에 데이터를 보낼 때 활용됩니다.
• 헤더 설정: User-Agent, Content-Type 등 HTTP 헤더를 설정하여 서버에 추가 정보를 전달할 수 있습니다.
• 파라미터 전달: URL에 파라미터를 추가하여 웹 서버에 특정 값을 전달할 수 있습니다.

import requests

# POST 요청 보내기
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://httpbin.org/post', data=data)
print(response.json())

# 헤더 설정
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('https://www.example.com', headers=headers)
print(response.request.headers)

# 파라미터 전달
params = {'q': 'python', 'page': 2}
response = requests.get('https://www.google.com/search', params=params)
print(response.url)

위 코드는 POST 요청, 헤더 설정, 파라미터 전달을 보여주는 예제입니다. requests.post() 함수를 사용하여 POST 요청을 보내고, headers 인자를 사용하여 HTTP 헤더를 설정하고, params 인자를 사용하여 URL 파라미터를 전달합니다.

"requests를 능숙하게 다루면 웹 스크래핑은 물론, API를 활용한 데이터 분석, 웹 자동화까지 훨씬 더 넓은 가능성을 탐색할 수 있습니다."

Requests 모듈, 이것만 알면 끝! (초보자를 위한 꿀팁)

1. JSON 데이터 처리: API 응답은 대부분 JSON 형식을 따릅니다. response.json() 메서드를 사용하면 JSON 데이터를 파이썬 딕셔너리 형태로 쉽게 변환할 수 있습니다.
2. 에러 처리: 웹 요청은 항상 성공하는 것이 아닙니다. try-except 구문을 사용하여 예외 처리를 하는 것이 중요합니다. response.raise_for_status() 메서드는 에러 발생 시 HTTPError 예외를 발생시킵니다.
3. 타임아웃 설정: 웹 서버가 응답하지 않을 경우, 무한정 기다리는 것을 방지하기 위해 타임아웃을 설정하는 것이 좋습니다. timeout 인자를 사용하여 타임아웃 시간을 설정할 수 있습니다.
4. 세션 활용: 여러 번의 요청을 보낼 때, 세션을 활용하면 쿠키를 유지하고 연결을 재사용하여 효율성을 높일 수 있습니다.

import requests

# JSON 데이터 처리
response = requests.get('https://httpbin.org/json')
data = response.json()
print(data['slideshow']['title'])

# 에러 처리
try:
    response = requests.get('https://www.example.com/nonexistent')
    response.raise_for_status() # 에러 발생 시 예외 발생
except requests.exceptions.HTTPError as e:
    print(e)

# 타임아웃 설정
try:
    response = requests.get('https://www.example.com', timeout=5) # 5초 타임아웃
except requests.exceptions.Timeout as e:
    print(e)

# 세션 활용
with requests.Session() as s:
    s.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
    response = s.get('https://httpbin.org/cookies')
    print(response.text)

마치며: 당신의 웹 데이터 활용 능력을 한 단계 업그레이드하세요!

이제 여러분은 requests 모듈을 사용하여 웹 데이터를 가져오고, 웹 서버와 상호 작용하는 기본적인 방법을 알게 되었습니다. 이 지식을 바탕으로 다양한 웹 스크래핑 프로젝트, API 연동 프로젝트, 웹 자동화 프로젝트에 도전해 보세요.

• 오늘 배운 내용을 바탕으로 나만의 웹 스크래퍼를 만들어 보세요.
• 관심 있는 API를 requests 모듈로 호출하고 데이터를 분석해 보세요.
• 웹 자동화를 통해 반복적인 작업을 자동화해 보세요.

파이썬과 requests 모듈은 여러분의 무한한 가능성을 열어줄 것입니다. 지금 바로 시작하세요!

자주 묻는 질문

질문 1: Requests 모듈 없이도 웹 스크래핑이 가능한가요?

답변: 네, 가능합니다. urllib와 같은 기본 라이브러리를 사용할 수도 있지만, requests 모듈이 훨씬 사용하기 편리하고 강력한 기능을 제공합니다.

질문 2: Requests 모듈로 로그인해야 하는 웹 페이지에 접근하려면 어떻게 해야 하나요?

답변: 세션을 활용하여 로그인 정보를 유지하면 됩니다. 로그인 폼 데이터를 POST 요청으로 보내고, 세션을 통해 쿠키를 유지하면 로그인 상태를 유지할 수 있습니다.

질문 3: Requests 모듈을 사용할 때 주의해야 할 점은 무엇인가요?

답변: 웹 사이트의 robots.txt 파일을 확인하여 스크래핑이 허용되는지 확인하고, 과도한 요청으로 인해 서버에 부담을 주지 않도록 주의해야 합니다. 또한, 웹 사이트의 이용 약관을 준수해야 합니다.