我有一个2000页的网站,我想通过每个页面迭代生成一个网站地图,使用file_get_html()函数和正则表达式.
显然,这不能在一个服务器端执行中完成,因为最大执行时间会耗尽时间.我想它需要执行较小的操作,将进度保存到数据库,然后排队下一个任务.有什么建议么？
当您运行命令行时,将不会有最大执行时间.
你也可以使用set_time_limit(0);为此,如果您的提供商允许操纵.
我无法确定您的ip地址是否被禁止 – 这取决于您发送请求的服务器的安全性.
其他解决方案
您可以获取一个(或几个)页面,并在整个源代码中搜索新的URL.然后可以将它们排入数据库.然后在下一次运行时,您处理队列.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
