微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

[VB.NET]用WebRequest,WebResponse,获取网页源代码,还可以更快吗?

用WebRequest,WebResponse,获取网页源代码,还可以更快吗? 批量的网址,用的如下的代码获取网页源代码: Dim tempStr As String Dim request As WebRequest = WebRequest.Create( http://www.163.com ) Dim response As WebResponse = request.GetResponse() Dim stream As Stream = response.GetResponseStream() Dim sr As StreamReader = New StreamReader(stream,Encoding.GetEncoding( gb2312 )) tempStr = sr.ReadToEnd 获取网页源代码的最大速度大概是每秒2.5个。。还能更快吗? __________________________________________________________________________ 想更快,增加线程..... __________________________________________________________________________ 呵呵 也许应该有更快的 但我不知道!!! __________________________________________________________________________ 现在试过了开多个窗口同时用这段代码,但是速度还是2.5个,把电脑拿到同学家去组了个局域网试了一下,两台机器分别开,结果每台机器的获取速度都降了一倍。 现在感觉好像是和网速有直接关系,按每个页面50K左右算,2.5个页面,就是125K左右。这在1M宽带下应该是极限了。。 线程没有具体用过,用的话,真的能更快吗??谁有一个准确可靠的答案,或是其它的方法告诉我呢?现在的获取速度实在是太慢了,三千个页面,大概要花近十几分钟。 __________________________________________________________________________ 用异步的方法 __________________________________________________________________________ 你想做搜索么? __________________________________________________________________________ 异步的方法,线程的方法,哪种可靠呢?有谁做过类似的功能,批量提取网页中数据,谁能告诉我让他更快不是个梦想? __________________________________________________________________________ 关注中,我也遇到同样问题 __________________________________________________________________________ up!! __________________________________________________________________________

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Format[$] ( expr [ , fmt ] ) format 返回变体型 format$ 强制返回为文本 -------------------------------- 数字类型的格式化 --------------------------------     固定格式参数:     General Number 普通数字,如可以用来去掉千位分隔号     format$("100,1
VB6或者ASP 格式化时间为 MM/dd/yyyy 格式,竟然没有好的办法, Format 或者FormatDateTime 竟然结果和系统设置的区域语言的日期和时间格式相关。意思是尽管你用诸如 Format(Now, "MM/dd/yyyy"),如果系统的设置格式区域语言的日期和时间格式分隔符是"-",那他还会显示为 MM-dd-yyyy     只有拼凑: <%response.write
在项目中添加如下代码:新建窗口来显示异常信息。 Namespace My ‘全局错误处理,新的解决方案直接添加本ApplicationEvents.vb 到工程即可 ‘添加后还需要一个From用来显示错误。如果到这步还不会则需要先打好基础啦 ‘======================================================== ‘以下事件
转了这一篇文章,原来一直想用C#做k3的插件开发,vb没有C#用的爽呀,这篇文章写与2011年,看来我以前没有认真去找这个方法呀。 https://blog.csdn.net/chzjxgd/article/details/6176325 金蝶K3 BOS的插件官方是用VB6编写的,如果  能用.Net下的语言工具开发BOS插件是一件很愉快的事情,其中缘由不言而喻,而本文则是个人首创,实现在了用V
Sub 分列() ‘以空格为分隔符,连续空格只算1个。对所选中的单元格进行处理 Dim m As Range, tmpStr As String, s As String Dim x As Integer, y As Integer, subStr As String If MsgBox("确定要分列处理吗?请确定分列的数据会覆盖它后面的单元格!", _
  窗体代码 1 Private Sub Text1_OLEDragDrop(Data As DataObject, Effect As Long, Button As Integer, Shift As Integer, X As Single, Y As Single) 2 Dim path As String, hash As String 3 For Each fil
  Imports MySql.Data.MySqlClient Public Class Form1 ‘ GLOBAL DECLARATIONS Dim conString As String = "Server=localhost;Database=net2;Uid=root;Pwd=123456;" Dim con As New MySqlConnection
‘導入命名空間 Imports ADODB Imports Microsoft.Office.Interop   Private Sub A1() Dim Sql As String Dim Cnn As New ADODB.Connection Dim Rs As New ADODB.Recordset Dim S As String   S = "Provider=OraOLEDB.Oracl
Imports System.IO Imports System.Threading Imports System.Diagnostics Public Class Form1 Dim A(254) As String    Function ping(ByVal IP As Integer) As String Dim IPAddress As String IPAddress = "10.0.
VB运行EXE程序,并等待其运行结束 参考:https://blog.csdn.net/useway/article/details/5494084 Private Declare Function WaitForSingleObject Lib "kernel32" (ByVal hHandle As Long, ByVal dwMilliseconds As Long) As Long Pr