博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
获取网页源代码
阅读量:5150 次
发布时间:2019-06-13

本文共 760 字,大约阅读时间需要 2 分钟。

# -*- coding: utf-8 -*-import urllib2#urllib2 默认的User-Agent是 Python-urllib/2.7#User-Agent是爬虫和发爬虫斗争的第一步ua_headers = {    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.1.2716.5 Safari/537.36"}#通过urllib2.Request()构造一个请求对象request = urllib2.Request("http://www.baidu.com/",headers = ua_headers)#向指定的url地址发送请求,并返回服务器响应的类文件对象response = urllib2.urlopen(request)#服务器返回的类文件对象支持Python文件对象的操作方法#read()就是读取文件里的全部内容,返回字符串html = response.read()#response:是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用方法#返回http的响应码,成功返回200,4服务器页面出错,5服务器问题print response.getcode()#返回返回实际数据的实际url,防止有重定向问题 print response.getcode()#返回服务器响应的http报头print response.info()print html

 

转载于:https://www.cnblogs.com/zhoujingguoguo/p/7226005.html

你可能感兴趣的文章
Failed to load the JNI shared library “E:/2000/Java/JDK6/bin/..jre/bin/client/jvm.dll
查看>>
〖Python〗-- IO多路复用
查看>>
栈(括号匹配)
查看>>
Java学习 · 初识 面向对象深入一
查看>>
源代码如何管理
查看>>
vue怎么将一个组件引入另一个组件?
查看>>
bzoj1040: [ZJOI2008]骑士
查看>>
LeetCode 74. Search a 2D Matrix(搜索二维矩阵)
查看>>
利用SignalR来同步更新Winfrom
查看>>
反射机制
查看>>
CocoaPod
查看>>
BZOJ 1251: 序列终结者 [splay]
查看>>
5G边缘网络虚拟化的利器:vCPE和SD-WAN
查看>>
MATLAB基础入门笔记
查看>>
【UVA】434-Matty's Blocks
查看>>
运行一个窗体直接最大化并把窗体右上角的最大化最小化置灰
查看>>
Android开发技术周报 Issue#80
查看>>
hadoop2.2.0+hive-0.10.0完全分布式安装方法
查看>>
WebForm——IIS服务器、开发方式和简单基础
查看>>
[转]《城南旧事》里的《送别》
查看>>