爬网ASP.net网站：需要使用Python Mechanize来浏览Gridview

如何解决爬网ASP.net网站：需要使用Python Mechanize来浏览Gridview

|| 我正在尝试抓取一个asp.net页面，在这里我需要在各个项目之间逐页浏览gridview控件中的项目列表。我从未使用过asp.net，但一直在网上搜索指针，但是现在我遇到了障碍。页面链接的格式为：

javascript:__doPostBack(\'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$gridViewItems\',\'Page$2\')

我目前正在尝试在Python中使用Mechanize使其正常工作。我最初尝试以下操作，假设VIEWSTATE变量将由机械化处理。

br.form.set_all_readonly(False)
br[\'__EVENTTARGET\'] = \'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$gridViewItems\'
br[\'__EVENTARGUMENT\'] = \'Page$2\'
response = br.submit(name=\"ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$itemLocator$btnItemSearch\")
html = br.response().read()

使用网络监视器（fiddler2），我注意到又填充了两个变量，因此我也添加了它们：

br.select_form(nr=0)
br.form.new_control(\'hidden\',\'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ScriptManager1\',attrs = dict(name=\'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ScriptManager1\'))
br.form.new_control(\'hidden\',\'hiddenInputToUpdateATBuffer_CommonToolkitScripts\',attrs = dict(name=\'hiddenInputToUpdateATBuffer_CommonToolkitScripts\'))
br.form.new_control(\'hidden\',\'__ASYNCPOST\',attrs = dict(name=\'__ASYNCPOST\'))
br.form.set_all_readonly(False)
br[\'hiddenInputToUpdateATBuffer_CommonToolkitScripts\'] = \'1\'
br[\'__ASYNCPOST\'] = \'TRUE\'
br[\'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ScriptManager1\'] = \'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$SearchResultsUpdatePanel|ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$gridViewItems\'
br[\'__EVENTTARGET\'] = \'ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$gridViewItems\'
br[\'__EVENTARGUMENT\'] = \'Page$2\'
response = br.submit(name=\"ctl00$ctl00$ctl00$ContentPlaceHolderEverything$ContentPlaceHolderFullWidthContent$ContentPlaceHolderMain$itemLocator$btnItemSearch\")
html = br.response().read()

通过这两种方法，我返回的html仍然仅适用于第1页。 我认为可能存在一些潜在的问题： 我不确定我是否正在执行提交权。页面上有多个提交按钮，因此我要搜索的是“搜索”按钮，这是我以前用来访问第一页的按钮。我可以看到这就是为什么显示第一页的原因。如果我使用不带名称的br.submit（），则它将使用另一个将您带到其他地方的提交控件。 在浏览器中单击页码时，gridview控件将更新，而无需重新加载页面。由于我没有运行Javascript，也许我无法得到它，但我至少希望能够从POST取回数据并进行解析。 任何帮助将非常感激！     

解决方法

        通过根据这里的答案构建xmlhttprequest来管理它： 使用Python和Mechanize提交表单数据并进行身份验证