ITPub博客

首页 > IT职业 > IT生活 > HTTP小爬虫——慕课网课程

HTTP小爬虫——慕课网课程

IT生活 作者:zzok111 时间:2021-09-09 09:06:35 0 删除 编辑
/**
 * Created by fu on 2017/10/2.
 */
var http = require('http')
var cheerio = require('cheerio')
var url = 'http://www.imooc.com/learn/111'

function fitlerChapters(html) {
    var $ = cheerio.load(html)
    var chapters = $('.chapter');

    var courseData = []

    chapters.each(function (item) {
        var chapter = $(this)
        var chapterTitle = chapter.find('strong').text()
        var videos = chapter.find('.video').children('li')
        var chapterData = {
            chapterTitle: chapterTitle,
            videos:[]
        }

        videos.each(function (item) {
            var video = $(this).find('.J-media-item')
            var videoTitle = video.text()
            var id = video.attr('href').split('video/')[1]
            chapterData.videos.push({
                title:videoTitle,
                id:id
            })
        })

        courseData.push(chapterData)
    })

    return courseData
}

function printCourseInfo(courseData) {
    courseData.forEach(function (item) {
        var chapterTitle = item.chapterTitle
        console.log(chapterTitle+'n')
        item.videos.forEach(function (video) {
            console.log(' ['+video.id+'] ' +video.title+'n')
        })

    })
}

http.get(url, function (res) {
    var html = ''

    res.on('data', function (data) {
        html +=data
    })

    res.on('end', function () {
       var courseData = fitlerChapters(html);

       printCourseInfo(courseData);
    })
}).on('error', function () {
    console.log('获取课程数据出错!')
})

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1294/viewspace-2808110/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    93
  • 访问量
    583