项目描述

        该项目通过爬虫爬取各大招聘网站关于大数据和人工智能的岗位招聘信息，并将爬取的招聘信息写入MySQL数据库中。为了实现实时分析数据库中的招聘信息，使用flask框架搭建网站。实时读取数据库中的招聘信息，提取专业能力关键词和通用能力关键词并形成词云图，获取招聘地区、招聘信息发布时间并在招聘需求地区图和招聘发布时间趋势图中展示，获取招聘信息中的岗位名称统计岗位群，最终以大屏形式展示分析结果图。

项目背景

        “大数据技术助力人才培养方案”基于南京理工大学泰州科技学院对于大数据专业人才方案改进的需求而开展，院方需要一份适合学校大数据专业学生的人才培养方案，能更好、更合理的去安排大数据专业的课程。通过该项目获取大数据岗位所需的专业技能和通过技能并对应到大学课程，为需要开设哪些课程及课时提供参考，以及提炼岗位群为学生的培养方向提供指导。

项目功能

1、招聘信息采集

       爬取招聘网站上关于大数据和人工智能的招聘信息，并将爬取的招聘信息写入到MySQL数据库。

2、实时统计

       统计当前采集的招聘信息的总条数、今日招聘信息数、昨日招聘信息数、招聘信息增长率并在实时统计模块展示。

3、能力词云图

       通过招聘信息中的岗位职责和任职资格内容分别获取专业技能关键词和通用技能关键词，并分别以词云图的形式展示。

4、招聘地区展示

       获取招聘信息中的工作地区，并在地图中展现出来。

5、 岗位群展示

      提取招聘信息中的岗位名称，形成每个方向对应的岗位群，能清晰看到每个方向具体包含了哪些岗位及数据。

6、招聘信息发布趋势

      获取每条招聘信息的发布时间，统计每天招聘信息的发布条数，并以图标展示。

项目架构

     “大数据技术助力人才培养方案”项目整体设计主要分为以下几个模块：

1、岗位信息采集模块

2、数据预处理模块

3、技能提取和岗位群模块

4、可视化模块

项目展示

      “大数据技术助力人才培养方案”将以大屏的形式实时展示招聘信息的分析结果。

项目优势

1、实时爬取加实时分析。为用户展示最新的大数据岗位相关的招聘信息的分析结果。

2、为学院制定大数据专业人才培养方案提供指导。