为什么我无法从动态网页中抓取表格

如何解决为什么我无法从动态网页中抓取表格

final rooms = Provider.of<List<Room>>(context) ?? [];

return  StreamProvider<List<Room>>.value(
  initialData: [],value: DatabaseService().singleRoom,child: Scaffold(
    appBar: AppBar(
      title: Text("Liste des chambre single"),backgroundColor: Colors.blue,elevation: 2.0,leading: IconButton(icon: Icon(Icons.chevron_left),onPressed: ()=> Navigator.pushReplacementNamed(context,'/room_type_screen'),),actions: [
        ElevatedButton.icon(
          icon: Icon(Icons.home),label: Text(""),'/admin_home'),ElevatedButton.icon(
          icon: Icon(Icons.add),onPressed: ()=> Navigator.pushNamed(context,'/add_room'),],body: ListView.builder(
      itemCount: rooms.length,itemBuilder: (context,index){
        return RoomTile(room : rooms[index]);
      },

以下是网页：https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp 我想为某个特定位置的大学项目（例如 Varna - 该位置使用西里尔文）搜索所有酒店。我找到了源代码并描述了确切的表格 - 但我无法从中抓取任何行/元素等。 请问有什么推荐吗！？ 虽然目前有很多信息我没有找到一个有用的代码来刮表

解决方法

您可以使用 selenium（python 库）从动态生成数据的网页中抓取数据，您可以从 here 下载 Chrome 驱动器

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

options.add_argument('--headless')
driver = webdriver.Chrome("path/to/chromedriver",options=options)

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
driver.get(url)

table_confirm = WebDriverWait(driver,20).until(
  ec.presence_of_element_located((By.ID,"mnastaniavane"))
)
page_source = driver.page_source
soup = BeautifulSoup(page_source,'lxml')

print(soup)



data = []
table = soup.find('table',{'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])

,

数据来自 Ajax 请求，因此您只需执行 ajax 请求，而不必渲染页面，这会更快。

例如这是页面 20 行的前 4 列：

import requests

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/api/data/collections/name/vRegistarMNValid?sortcolumn=CNumber&sortorder=ascending&ps=20&page=0&_=1624898715559"
rows = requests.get(url).json() # list of the 20 rows,rows are dict.

# Uncomment to see all the columns title.
# print(rows[0].keys())

for row in rows:
    print(row["CNumber"],row["TOSubType1"],row["TOName"],row["TOCity"])

输出：

0000000012 Семеен хотел Семеен хотел "ХЕЛГА" Горна Митрополия
00001 Къща за гости "ЛИДИЯ" Батак
00001 Стаи за гости самостоятелни стаи к-с "Барите" Чернево
00001 Стаи за гости СТАИ ЗА ГОСТИ "ГОРХИМ" Рила
00001 Стаи за гости СТАИ ЗА ГОСТИ Брестовица
00001 Къща за гости Къща за гости - ловен и селски туризъм Хърсово
00001 Хотел Иглен Ъглен
00001 Къща за гости РЕЛАКС/RELAX/ Батак
00001 Къща за гости  Батак
00001 Къща за гости ВИЛИ-ПЕТЯ № 1 Батак
00001 Къща за гости "Форест Лодж" Банско
00001 Къща за гости "ОМД" ООД Земен
00001 Стаи за гости Дунавска перла Попина
00001 Къща за гости КЪЩА ЗА ГОСТИ "БЛАГОВЕСТА" Илинденци
00001 Стаи за гости Георгиевата къща Генерал Кантарджиево
00001 Къща за гости "Дунковата къща" Падала
000011 Къща за гости Гостилица Гостилица
00002 Стаи за гости Стаи за гости Загражден
00002 Апартаменти за гости апартамент за гости №15 в жилищна сграда,Мърфис Лодж" Банско
00002 Къща за гости ВИЛИ-ПЕТЯ № 2 Батак