我可是连喜马拉雅付费音频都能爬取的菜鸟！是不是很强？牛逼吧？

emmm...不是她

是它

前言

说正经的，前几天给大家看了如何爬取文本以及爬取图片，这儿就来讲讲如何爬取音频（以这个喜马拉雅为例）

当我重新跑了一下程序之后，发现...好家伙居然换标签了；这不一下子就来了兴致，与人斗，其乐无穷啊~

分析

很多时候不是你不会爬虫，而是你没有一个完整的爬取的思路（当然非常熟练之后，基本上可以根据经验来写啦）

首页

全部分类

我们想爬取的话，可以从这里入手，就是获取这些分类之后，遍历这些分类中的节目，也就是下图中的部分的节目

而每个节目中，又有如下图这样的一个个播放列表

所以到这里我们基本的思路就是：

1、访问全部分类界面后，获取每个分类的链接

2、进入每个分类，获取每个节目的链接

3、获取每个节目下的播放列表对应的音频原地址

4、访问并保存音频

当然前提我们爬取的是免费的音频，如果想要爬取收费的，说白了你先得开个会员充点钱，再爬取；就我所知的并没有能够让你直接爬取付费的音频或视频，如果可以，也很麻烦，而且可以说，你的这种行为相当有问题

开始

首先我初始化基本所需的这些url等，方便在下面的程序中使用

def __init__(self):
 self.category_Url = 'https://www.ximalaya.com/category/'
 self.base_url = 'https://www.ximalaya.com'
 self.base_api = 'https://www.ximalaya.com/revision/play/tracks?trackIds='
 self.header = {
 'User-Agent': 'your-user-agent'
 }
 self.s = requests.session()

然后我们从全部分类开始，获取每一个分类的url，拼接之后，再去访问（这里添加了break是由于数量太多，举例而为）

def geturl(self):
 r = self.s.get(self.category_Url,headers=self.header)
 result = re.findall(r'arator Kx" href="(.*?)">(.*?)',r.text,re.S)
 url_list = []
 for i in result:
 # 以一个分类为例 - - 有声书中的文学类，若没有break 则可获取全部分类
 second_url = self.base_url + i[0]
 url_list.append(second_url)
 # 获取该分类中全部的页数
 print(second_url,i[1])
 self.get_more_page(second_url)
 break

接着我们进入到一个分类中，可以看到每个分类大概有34页，所以我们需要遍历这些页；在源代码中我们拿到了最大页数，以此进行循环；而后进入每一页去获取每一页的FM节目的链接 fm_url（可以将获取的节目信息，保存到数据库中，这里我暂未添加，有兴趣的朋友可以实现）

def get_more_page(self,url):
 r = self.s.get(url,headers=self.header)
 pagenum = re.findall(r'页码" step="1" min="1" '
 r'max="(d+)" class="control-input tthf" value=""/>',re.S)
 pagenum = int(pagenum[0])
 # 循环获取每一页，这里暂时获取第一页
 for i in range(1,pagenum + 1):
 print(u'第' + str(i) + u'页')
 page_url = url + 'p{}/'.format(i)
 self.get_music_list(page_url)
 # 爬取一页
 break
 def get_music_list(self,headers=self.header)
 result = re.findall(
 r'获取该page中每一个FM的数据信息
 for i in result:
 fm_info = {}
 fm_url = self.base_url + i[0]
 fm_info['url'] = fm_url
 fm_info['picture'] = 'https:' + str(i[1]).replace('amp;','')
 fm_info['fm_name'] = i[2]
 fm_info['author'] = i[3]
 info.append(fm_info)
 print(fm_info)
 # 获取该FM中的音频信息
 self.get_fm_music(fm_url)
 # 先获取一个FM

每一个FM节目中有很多的音频，有的可能还有很多页，所以这时也要判断，是否存在多页；若有最大页数则说明需要循环这些页来获取内容，若没有则正常进行下一步

进群：548377875  即可获取数十套PDF哦！

def get_fm_music(self,fm_url):
 print(fm_url)
 r = self.s.get(fm_url,headers=self.header)
 title = re.findall(r'
',re.S)
 max_page = re.findall(r'
页码" step="1" min="1" '
 r'max="(d+)" class="control-input tthf" value=""/>',re.S)
 if max_page and max_page[0]:
 for page in range(1,int(max_page[0]) + 1):
 fm_urls = fm_url + '/p{}'.format(page)
 r = self.s.get(fm_urls,headers=self.header)
 self.get_detail(r.text,title)
 else:
 self.get_detail(r.text,title)

也就是获取列表中每个音频对应的标题、收听数以及发布时间，而最关键的音频原地址，你需要通过浏览器的开发者工具找寻，这里按我之前找出来的是这个链接：

https://www.ximalaya.com/revision/play/tracks?trackIds={}

这个 trackIds 就是音频所对应的 id 了

然后访问这个链接就可以获得包含原地址等在内的诸多信息，将 response 转换为 json 格式可以轻松获得 url（如果存在则说明这个音频不用收费，否则是收费的无法获取）

最后按对应的音频标题，以其 m4a 格式保存到本地即可（小编是在Ubuntu上更新的，所以windows的朋友只要改下 path 即可）

def get_detail(self,text,title):
 track_list = re.findall(r'
(.*?)
'
 r'',re.S)
 # 爬取一个FM下的每个音频
 for i in track_list:
 print(i)
 # 获取爬取音频所需的trackIds
 music_title = i[0]
 music_url = self.base_url + i[1]
 listen_num = i[2]
 create_time = i[3]
 trackid = str(i[1]).split('/')[3]
 # api中的数据信息
 api = self.base_api + trackid
 print(api)
 r = self.s.get(api,headers=self.header)
 result = r.json()
 src = result['data']['tracksForAudioPlay'][0]
 if src['src']:
 print(u'试听')
 r = self.s.get(src['src'],headers=self.header)
 path = '/home/joel/XiMa/' + title[0]
 e = os.path.exists(path)
 if not e:
 os.mkdir(path)
 fm_path = path + '/{}.m4a'.format(src['trackName'])
 if not os.path.exists(fm_path):
 with open(path + '/{}.m4a'.format(src['trackName']),'wb') as f:
 f.write(r.content)
 print(u'保存完毕...')
 else:
 print(u'm4a已存在')
 else:
 print(u'需要收费')

结果

源码获取后台私信我这枚小菜鸟就行了哦！我看到会分享给你们的啦！

可能有人问这样的目的是什么？我可以在APP或者网页上的直接听啊！

诶~对于某些需要的收费的节目，量又很大，你可能会员过期了就无法享受其中的内容，所以可以通过这种方式“下载”

当然最终要的还是为了让大家理解爬虫的一些思路