我正在努力机械化.我希望“点击”一组链接,这些链接只能通过它们的位置(div#content中的所有链接)或它们的href来识别. 我已经尝试过上述两种识别方法但没有成功. 从文档中,我无法弄清楚如何根据它们在DOM中的位置返回链接集合(用于单击),而不是直接在链接上返回属性. 其次,documentation建议你可以使用：href来匹配部分href, page = agent.get('htt

c:/ruby/lib/ruby/gems/1.8/gems/mechanize-1.0.0/lib/mechanize.rb:259:in `get': 500 => Net::HTTPInternalServerError (Mechanize::ResponseCodeError) 当我尝试导航到以下网页时出现上述错误 http://fakewebsite.com//admin/edit_b

我正在尝试使用Mechanize / Python在scraperwiki( http://scraperwiki.com/scrapers/food_standards_agency/)上搜索英国食品评级机构数据aspx搜索结果页面(例如,g http://ratings.food.gov.uk/QuickSearch.aspx?q=po30),但在尝试关注具有该表单的“下一页”链接时遇到问题：

好吧,我正在尝试使用 Python登录网站并进行机械化. 我打开了网站： site = br.open("http://example.com/login.php") 我有一个表单列表(使用br.forms). <GET http://example.com/search.php application/x-www-form-urlencoded <HiddenControl(search=1)

我正在使用机械化解析并在网站上提交表单,但内部表单解析器似乎无法检测到表单及其元素.我怀疑它是笨拙的 HTML格式,我想尝试使用更好的解析器来解析它,以便处理不良的HTML(比如说lxml或BeautifulSoup),然后将精美的清理输出提供给表单解析器.我需要机械化,不仅提交表单,而且还用于维护会话(我在登录会话中工作). 我不知道如何做到这一点,如果这是真的可能..我不熟悉的HTTP协议的各

我试图使用机械化来解析网站的内容,我被困在某一点上.我要解析的内容位于li标记内,并不总是处于相同的顺序. 让我们假设我们有以下内容,其中li标签的顺序并不总是相同,有些甚至可能根本不存在. <div class="details"> <ul> <li><span>title 1</span> ": here are the details"</li> <li><span>ti

我想抓住一些动态加载其组件的网页. 该页面有一个载入脚本,我可以在我的浏览器中输入URL 3-5秒钟后看到完整的页面. 问题是,当我调用br.open(‘URL’)时,响应是0秒的网页. 在HTML(我想要)和br.open(‘URL’)的结果之间3-5秒之间有差异. 使用机械化使用丰富的 javascripts内容的网页并不容易,但有一些方法可以根据不同的情况来获得想要的内容. >如果要创建一些

机械化( Python)失败了401,我打开http摘要URL.我用Google搜索并尝试调试但没有成功. 我的代码看起来像这样. import mechanize project = "test" baseurl = "http://trac.somewhere.net" loginurl = "%s/%s/login" % (baseurl, project) b = mechanize.B

我的 python脚本有问题. 它在屏幕上打印了大量数据,我想阻止各种打印进行屏幕显示. 编辑： 我正在使用的库是机械化的,它在屏幕上打印了大量数据. 我把它们设置为假,没有运气！ br.set_debug_redirects(False) br.set_debug_responses(False) br.set_debug_http(False) 有任何想法吗？ 帮助将是惊人的,非常感谢！ (根

我想点击一个带有 python的按钮,该表单的信息将自动填满网页.用于向按钮发送请求的HTML代码是： INPUT type="submit" value="Place a Bid"> 我该怎么做呢？ 是否可以用urllib或urllib2单击按钮？还是需要使用机械化或斜纹呢？ 使用表单目标并发送任何输入作为post数据,如下所示： <form target="http://mysite.com/

我正在寻找一个功能类似于Perl的 WWW::Mechanize的库，但是对于PHP。基本上，它应该允许我使用简单的语法提交HTTP GET和POST请求，然后解析生成的页面，并以简单的格式返回所有表单及其字段，以及页面上的所有链接。 我知道CURL，但它有一点太准系统，语法很丑陋(吨curl_foo($ curl_handle，…)语句 澄清： 我想要的东西比答案更高级别到目前为止。例如，在Pe

我正在使用Mechanize,虽然如果Mechanize不能这样做,我会对Nokogiri开放. 我想在加载所有脚本之后将页面刮掉,而不是事先加载. 我怎么能这样做？ Nokogiri和Mechanize不是完整的Web浏览器,也不在浏览器模型DOM中运行 JavaScript.您希望使用类似于 Watir或 Selenium的内容,这些内容允许您使用Ruby来控制实际的Web浏览器.

我使用perl模块WWW :: Scripter(基于WWW :: Mechanize)和 JavaScript插件,我遇到了一个基本的JavaScript语句问题. use WWW::Scripter; ... my $web = WWW::Scripter->new(agent => '...', autocheck => 1); ... $web->use_plugin('JavaScrip