요즘들어 한창 Data minining과 Parsing에 눈이 떠서, 개인적으로 공부중인데 시작을 어떻게 해야할지 감을 잡지 못하다가 나와 같은 일로 고민하는 분들을 위해 올려보았다.
웹프로그래밍에서 가장 중요한 것은?
자신이 컨텐츠를 제작할 것이 아니라면 컨텐츠를 '가져' 오는 것이 가장 중요한 작업일 것이다.
그럴려면 Cookie 유지가 절대적이다. 몇가지 방법을 살펴보겠다.
시작하기 전에 기본적으로
1 2 | import urllib import urllib2 |
는 삽입해주고 가자.
1. 서버에 Request 보내서 Cookie값 얻기
1 2 3 4 5 6 | login_form = { "id" : "아이디" , "pw" : "암호" } login_req = urllib.urlencode(login_form) request = urllib2.Request(url, login_req) response = urllib2.urlopen(request) cookie = response.headers.get( 'Set-Cookie' ) |
일단 Request 보내는 건 위와 같다. 로그인 성공시에 Set-Cookie라는 Header값으로 Cookie가 넘어올 경우에 저렇게 되는 것이고, 만약 아니라면?.. Chrome의 개발자도구를 사용해서 (F12) 값을 찾아야지.
2. 서버에 받은 Cookie값을 다시 넘겨서 Session 유지하기
1 2 3 4 5 6 | request = urllib2.Request(url) request.add_header( 'cookie' , cookie) response = urllib2.urlopen(request) data = response.read() |
이러면 이제 끝이다. data변수에 Response를 저장했다.
여기서 얻은 Data를 Parsing하든 뭘하든 이제 작업의 시발점이 될 것이다.
다음에 구체적인 예제로 한번 놀아보도록 하겠다.
'Creation > Python' 카테고리의 다른 글
[Python DIY] 대량메일(일 500건) 발송 메뉴얼 (12) | 2014.02.27 |
---|---|
[Python] 1~9 까지 숫자 한번만 써서 푸는 수학문제 풀기 (10) | 2014.02.16 |
[Python] 한글로 된 메일 Gmail(지메일) 자동대량발송 하기 (1) | 2014.02.10 |
[Python] 파이썬으로 메일(Gmail) 대량발송하기 (0) | 2014.01.02 |
[Python] 다운로드 %를 보여주는 urllib2를 이용한 인터넷 파일 다운로드 (1) | 2013.11.06 |