微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何使用python从字符串中删除javascript,然后将剩余的字符串解析为表?

如何解决如何使用python从字符串中删除javascript,然后将剩余的字符串解析为表?

我有一个从大学网站上抓取的字符串。我想将它解析成一个表,其中每一行都由冒号前后的字符串组成,“:”。

这是字符串。

'课程中文名称中文课程名称:论文 课程中文名称 英文课程名称:论文(项目) 应修系 专业:法律学系博士班2、授课教师 导师:******选修类别 必修/选修:必全半学年整学年或半学年:半学年学分学分:0 学分时数 学时:0小时 (function(window,$) { var sheetID = " 1qkUIt6x8ry7F-etZJLMNKmEtDr0mwYdV3RNWw8fmOko",// 试算表代号 gid = "0",// 工作表代号 sql = "select%20B,%20C,%20D,%20E,%20F%20where%102G '",// sql 语法 callback = "callback"; // 回呼函数名称 $.getScript("https://spreadsheets.google.com/tq?tqx=responseHandler:" + callback + "&tq=" + sql + "&key=" + sheetID + "&gid=" + gid); window[callback] = function(json) { var rowArray = json.table.rows,colArray = json.table.cols,rowLength = rowArray.length,colLength = colArray.length,html = "",i,j,dataGroup,dataLength,colName = new Array(); for (i = 0; i "; } $("#test").html(html); if(html != "") $("#highlight").show(); }; })(窗口,jQuery); 「请智慧财产权」及「不能不上课上课及影印」。

我试图从这个 stack overflow page

删除 javascript

我尝试的一种临时算法只是将拆分的字符串每 2 个元素迭代配对。这是代码

spl = "the string"
spl = [spl[i:i + 2] for i in range(0,len(spl),2)]

我确实知道,如果我从浏览器 dom 执行 javascript,我可以访问大量数据。我的问题是如何首先解析 javascript 然后将剩余的字符串解析为表格?

解决方法

试试:

import requests
from bs4 import BeautifulSoup

url = "https://sea.cc.ntpu.edu.tw/pls/dev_stud/course_query.queryGuide?g_serial=U1382&g_year=109&g_term=2&show_info=part"
soup = BeautifulSoup(requests.get(url).content,"html.parser")

for tr in soup.body.table.select("tr"):
    print(tr.get_text(strip=True))
    print("-" * 80)

打印:

...
--------------------------------------------------------------------------------
課程中文名稱 Title of Course in Chinese:大學英文1B課程英文名稱 Title of Course in English:College English應修系級 Major:語文通識1  ,中國文學系1  ,歷史學系1  ,休閒運動管理學系1  ,法律學系財經法組1  ,法律學系法學組1  ,法律學系司法組1  ,授課教師 Instructor:殷雅玲選修類別 Required/Elective:必向度類別 Classification:全半學年 Whole or Half of the Academic Year:全學年學  分 Credit(s):2學分時  數 Hour(s):2小時
--------------------------------------------------------------------------------
彈性授課方式:
--------------------------------------------------------------------------------
教師網址 Instructor's Website :
--------------------------------------------------------------------------------
教師專長 Instructor's Specialty :英語教學
--------------------------------------------------------------------------------
課綱附檔 Attachments :
--------------------------------------------------------------------------------
先修科目 Prerequisites:High school English
--------------------------------------------------------------------------------

...and so on.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。