使用 Jsoup 获取 youtube href 链接

如何解决使用 Jsoup 获取 youtube href 链接

我目前正在使用 Jsoup 在执行搜索后尝试获取 Youtube 视频的 videoID。我正在尝试从 href 获取 videoID 并为此使用以下代码：

val doc = Jsoup.connect("https://www.youtube.com/results")
                .data("search_query",s).get()

          for (a in doc.select("a[href]")) {
              Log.d("MAIN",a.attr("abs:href"))
          }

但目前，结果如下：

所以我认为 youtube 给了我一个基本的回应，因为我没有用户代理。所以我这样做了。

我尝试基于此 previous StackOverflow question

添加以下内容

.ignoreContentType(true)
.userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
.referrer("http://www.google.com")
.timeout(12000)
.followRedirects(true)
.execute().parse()

它仍然给了我基本的回应。我想比较 Log.d("MAIN",doc.toString()) 的结果，但元标记和随机数只有细微的差别。出于某种原因，我没有获得文档的完整字符串版本，因此无法进行进一步比较。

如何在搜索后获取 youtube 链接？ （我想获得一个链接，其中包含“watch?v=XXXXXXX”） 如果可能，我想要 kotlin 语言的解决方案。

解决方法

如果您查看原始 youtube 响应 (doc)，您会发现它返回了大量 js 代码（在 <script> 标签内）。此代码包含有关构建 HTML 的说明，您可以在浏览器中看到这些说明。但是 Jsoup is not a browser emulator - 它无法执行 javascript 代码，因此没有您要查找的 a[href] 元素。

您需要使用其他工具或解析 javascript。幸运的是，在这种情况下，简单的正则表达式就足够了：

val doc = Jsoup.connect("https://www.youtube.com/results").data("search_query",s).get()
val regex = "\"videoId\":\"(\\w+)\"".toRegex()
val videoIds = doc.select("script")
    .map { it.data() }
    .filterNot { it.isEmpty() }
    .flatMap { regex.findAll(it) }
    .map { it.groupValues[1] }
    .distinct()