微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

重拾perl,写了个小爬虫

一年没有用perl了,发现都快忘光了……


用perl来获取网页信息是很简单的,用LWP module就可以了。

有些时候,比如在公司里,想要爬网页需要使用代理,perl里可以使用LWP::UserAgent来添加代理

use LWP::UserAgent;
my $ua=LWP::UserAgent->new();
$ua->proxy("http","http://xxx.yyy.com");
$ua->env_proxy;

获取链接内容的时候

my $result=$ua->get($url);
	unless($result->is_success){
		print LOG ("unable to get ".$url."\n");//输出到日志文件
		next;
	}
	my $content=$result->content;//得到网页内容
多线程我没有做,也许以后会补上吧

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐