CUrl 蜘蛛 优化 CURLOPT_HEADERFUNCTION

正搞一个小蜘蛛,用 CUrl 写的,遇到一个问题,分析完 url 后,有可能遇到 rar 或 jpg 等资源文件,也是要下载回来分析内容。 这样的做法太笨了,有很多缺点: 浪费带宽,文件也许很大 文件无用,下载回来也无法分析文件内容 怎么解决? 看浏览器会发送 Accept […]