11.9. 全部放在一起

你已经看到了构造一个智能的 HTTP web 客户端的所有片断。现在让我们看看如何将它们整合到一起。

例 11.17. openanything 函数

这个函数定义在 openanything.py 中。


def openAnything(source, etag=None, lastmodified=None, agent=USER_AGENT):
    # non-HTTP code omitted for brevity
    if urlparse.urlparse(source)[0] == 'http':                                       
        # open URL with urllib2                                                     
        request = urllib2.Request(source)                                           
        request.add_header('User-Agent', agent)                                      
        if etag:                                                                    
            request.add_header('If-None-Match', etag)                                
        if lastmodified:                                                            
            request.add_header('If-Modified-Since', lastmodified)                    
        request.add_header('Accept-encoding', 'gzip')                                
        opener = urllib2.build_opener(SmartRedirectHandler(), DefaultErrorHandler()) 
        return opener.open(request)                                                  
urlparse 是一个解析 URL 的便捷的工具模块。它的主要函数也叫 urlparse,时时彩计划软件公式:接受一个 URL 并将其拆分为 tuple (scheme (协议), domain (域名), path (路径), params (参数), query string parameters (请求字符串参数), fragment identifier (片段效验符))。当然,你唯一需要注意的就是 scheme,确认你处理的是一个 HTTP URL (urllib2 才能处理)。
通过调用函数使用 User-Agent 向 HTTP 服务器确定你的身份。如果没有 User-Agent 被指定,你会使用一个默认的,就是定义在早期的 openanything.py 模块中的那个。你从来不会使用到默认的定义在 urllib2 中的那个。
如果给出了 ETag,要在 If-None-Match 头信息中发送它。
如果给出了最近修改日期,要在 If-Modified-Since 头信息中发送它。
如果可能要告诉服务器你要获取压缩数据。
使用两个 自定义 URL 处理器创建一个 URL 开启器:SmartRedirectHandler 终于处理 301302 重定向,而 DefaultErrorHandler 用于处理 304, 404 以及其它的错误条件。
就是这样!打开 URL 并返回一个类文件对象给调用者。

例 11.18. fetch 函数

这个函数定义在 openanything.py 中。


def fetch(source, etag=None, last_modified=None, agent=USER_AGENT):  
    '''Fetch data and metadata from a URL, file, stream, or string'''
    result = {}                                                      
    f = openAnything(source, etag, last_modified, agent)              
    result['data'] = f.read()                                         
    if hasattr(f, 'headers'):                                        
        # save ETag, if the server sent one                          
        result['etag'] = f.headers.get('ETag')                        
        # save Last-Modified header, if the server sent one          
        result['lastmodified'] = f.headers.get('Last-Modified')       
        if f.headers.get('content-encoding', '') == 'gzip':           
            # data came back gzip-compressed, decompress it          
            result['data'] = gzip.GzipFile(fileobj=StringIO(result['data']])).read()
    if hasattr(f, 'url'):                                             
        result['url'] = f.url                                        
        result['status'] = 200                                       
    if hasattr(f, 'status'):                                          
        result['status'] = f.status                                  
    f.close()                                                        
    return result                                                    
首先,你用 URL、ETag hash、Last-Modified 日期和 User-Agent 调用 openAnything 函数。
读取从服务器返回的真实数据。这可能是被压缩的;如果是,将在后面进行解压缩。
保存从服务器返回的 ETag hash,这样主调程序下一次就能把它传递给你,然后再传递给 openAnything,放到 If-None-Match 头信息里发送给远程服务器。
也要保存 Last-Modified 数据。
如果服务器说它发送的是压缩数据,就执行解压缩。
如果你的服务器返回一个 URL 就保存它,并在查明之前假定状态代码为 200
如果其中一个自定义 URL 处理器捕获了一个状态代码,也要保存下来。

例 11.19. 使用 openanything.py

>>> import openanything
>>> useragent = 'MyHTTPWebServicesApp/1.0'
>>> url = 'http://www.bhlaab.com/768/redir/example301.xml'
>>> params = openanything.fetch(url, agent=useragent)              
>>> params                                                         
{'url': 'http://www.bhlaab.com/973/xml/atom.xml', 
'lastmodified': 'Thu, 15 Apr 2004 19:45:21 GMT', 
'etag': '"e842a-3e53-55d97640"', 
'status': 301,
'data': '<?xml version="1.0" encoding="iso-8859-1"?>
<feed version="0.3"
<-- rest of data omitted for brevity -->'}
>>> if params['status'] == 301:                                    
...     url = params['url']
>>> newparams = openanything.fetch(
...     url, params['etag'], params['lastmodified'], useragent)    
>>> newparams
{'url': 'http://www.bhlaab.com/533/xml/atom.xml', 
'lastmodified': None, 
'etag': '"e842a-3e53-55d97640"', 
'status': 304,
'data': ''}                                                        
第一次获取资源时,你没有 ETag hash 或 Last-Modified 日期,所以你不用使用这些参数。 (它们是可选参数。)
你获得了一个 dictionary,它包括几个有用的头信息、HTTP 状态代码和从服务器返回的真实数据。openanything 在内部处理 gzip 压缩;在本级别上你不必关心它。
如果你得到一个 301 状态代码,表示是个永久重定向,你需要把你的 URL 更新为新地址。
第二次获取相同的资源时,你已经从以往获得了各种信息:URL (可能被更新了)、从上一次访问获得的 ETag、从上一次访问获得的 Last-Modified 日期,当然还有 User-Agent
你重新获取了这个 dictionary,但是数据没有改变,所以你得到了一个 304 状态代码而没有数据。
重庆时时彩怎么玩最稳? 王者软件计划 时时彩网购平台登陆 朋友玩时时彩发财了 时时彩平台出售
时时彩历史数据下载 时时彩软件公式修改 亿贝时时彩后台 电子口岸软件注册码 时时彩出号原理
龙凤乐耀平台安全吗 江西时时彩杀号lm0 时时彩0是不是算双 重庆时时彩计划qq群号 重庆时时彩组三是什么
金沙时时彩平台作弊器 公众号玩时时彩 时时彩新人送彩金平台 和田时时彩平台 葡京时时彩赢钱方法
美东二分彩开奖号码 河北快3扣琴加959444 pk10软件平刷王 香港开奖现场结果直播 北京赛车5码不定位技巧
南国彩票论坛图规 云南十一选五如何杀号 河北福利排列7 排列三走势图带连线 内蒙古快三专家预测定牛
广东快乐10分软件下载 四川快乐12开奖直播 pk10软件投注 福建十一选五开奖. 河北快3走试
湖北十一选五投注技巧 qq游戏不能打梭哈 京城国际 吉林快三开奖结果查询 快乐扑克牌3哪里下载