在使用 htmlunit 抓取时，为什么不更改下拉值更新表？

如何解决在使用 htmlunit 抓取时，为什么不更改下拉值更新表？

我正在抓取（在 Eclipse IDE 中使用 Maven 使用 Java 中的 htmlunit）雅虎财经网站，该网站在“看涨期权”和“看跌期权”表格中显示期权合约（例如，对于 Apple 股票，网址为 https://finance.yahoo.com/quote/AAPL/options?）。然后我将有趣的“放置”选项保存在 Excel 文件中。对于看跌期权的默认日期表，这一切都很好。当您手动将下拉选择更改为其他可用日期之一时，表格会更新为这些日期的合同。使用 Chrome 检查，您可以看到为执行此更新而触发的 Javascript。使用 htmlunit 我可以：识别“选择”域节点、可用选项日期值、将所选日期更改为每个可用值，并通过将所选值打印到 Eclipse IDE 控制台来证明我实际上正在更新所选值。我相信 on change javascript 应该通过这样做自动触发。但是，我检索的期权合约表始终（对于每个可用的期权日期值）默认日期的初始表。如图所示，我还尝试故意执行所示的 Javascript。我尝试等待 5 秒（也尝试过 20 秒），然后刷新页面并检索表（手动更新大约需要 3 秒），如图所示。我也试过不刷新页面。

注意：我为合同日期值和选择检索节点的方式看起来很丑陋。如果您使用 Chrome 检查，您会看到这些节点都没有 id 或名称。他们每个人都有一个独特的类，但到目前为止我只能使用一个类来获取表格本身。 htmlunit 似乎没有按类检索选择节点的方法，只有按 id 或按名称的方法。因此，我必须选择一个确实有 id 的祖先节点，然后一直向下工作，直到找到日期列表，然后再上一层以找到一个可以转换为 htmlselect 的节点。这样只能投射一个节点，所以我相信这是选择节点。此外，我确认我可以通过更改选定的日期值，然后将当前选定的值打印到控制台来更改它。所以，我知道我正在改变下拉值。我尝试了 htmlunit 中提供的各种浏览器模拟，包括 Chrome、Firefox、Internet Explorer 和“最佳支持”。

经过数周的谷歌搜索并尝试各种技巧组合后，我真的被困住了。这是我的代码：

WebClient webClient = new WebClient( BrowserVersion.CHROME );
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.waitForBackgroundJavaScript(5 * 1000);
String url = "https://finance.yahoo.com/quote/APPL/options?";
HtmlPage page = (HtmlPage) webClient.getPage(url);
Iterable<DomElement> contractDates =  page.getElementById("Col1-1-OptionContracts-Proxy").getFirstChild().getFirstChild().getFirstChild().getFirstChild().getDomElementDescendants(); //this is the list of option dates in the drop down!!
DomNode theSelector = page.getElementById("Col1-1-OptionContracts-Proxy").getFirstChild().getFirstChild().getFirstChild().getFirstChild();//this gets the drop down node
HtmlSelect select = (HtmlSelect) theSelector;// "theSelector" is the only node  can be cast as htmlselect; the parent cannot,the child cannot.
                
if (contractDates == null) { System.out.println("***********  Contract Dates not found"); }else 
{   
for (DomElement aContractDate : contractDates) 
{
HtmlOption option = select.getOptionByText(aContractDate.asText());
select.setSelectedAttribute(option,true);// confirmed that this selects the option 
page.executeJavaScript("https://s.yimg.com/uc/finance/ddsite/js/vendor.fd8794bfdc89142e2d1.modern.js");//this is from chrome inspect of the event listeners
webClient.waitForBackgroundJavaScript(5 * 1000);// manually takes about 3 seconds
page = (HtmlPage) page.getEnclosingWindow().getEnclosedPage();// to refresh the page
List<HtmlTable> listElement = page.getByXPath("//table[@class='puts W(100%) Pos(r) list-options']");//note that the list retrieved has one element
HtmlTable table = listElement.get(0);// this makes the one element retrieved into a table
List<HtmlTableRow> rows = table.getRows();
                            
//the rest of the code is to retain the rows of the table to the spreadsheet ...