系统背景

        随着信息化时代的降临，互联网技术的不断进步使得网络成为企业和求职者进行招聘和求职的重要渠道。与传统的招聘方式相比，网络招聘更加节约成本，无时间和地域的限制，同时具有更加方便快捷和见效快的特点。根据艾瑞咨询集团发布的 2019-2020 年中国网络招聘市场发展研究报告显示，2019 年中国网络招聘市场的营收规模达到了 107 亿，移动端设备数及移动端设备有效使用时间全年增长率稳步上升，可见网络招聘发展之迅速，网络招聘已经被越来越多的企业和求职者所关注和使用。然后网络招聘虽已日益发展成熟，但同时也存在着双方信息不对称且人岗不匹配、人员流动性大且流失率高等问题。求职者很难从海量的招聘信息中找到最适合自己的工作，招聘者也很难找到与岗位相匹配的人员。通用搜索引擎大多提供基于关键字的检索，难以支持据语义信息提出的查询，因此对海量的招聘信息进行更深层次的分析很有必要。由于此次新冠肺炎疫情影响，今年许多应届毕业生没有实习机会、面临就业困难等问题，另外，许多原本有工作的人也因疫情影响失去了工作。全国待业人数大幅度上升，招聘及就业形势相当严峻。

项目概述

        本系统通过网络爬虫技术获取各大招聘网站信息，对数据进行初步清洗与筛选，将可视化的数据信息直观地呈现给用户，并建立一系列数学模型将数据进行整合分析，提供更加高质量的招聘数据信息。求职者可根据整合分析后的数据信息，及早提升自己的技术能力，有利于提高自身竞争力；也可结合自身需求搜索关键字，系统将精准推荐相关招聘信息，更迅速地找到最适合自己的工作。招聘者可以更加充分地了解求职者，从而避免求职者工作能力与岗位不匹配的状况。

项目功能

• 招聘概览：系统提供大量招聘信息，并且进行分类整理，用户可以根据自身需要，快速检索相关求职信息。

• 智能推荐：根据所有招聘信息并结合用户自身情况进行360°智能分析，为用户推荐最优职位。

• 公司质量报表：根据公司的市场占有率、同行竞争力、员工待遇等属性进行综合分析，用户可选择心仪的职位或公司，查看招聘公司的质量报表，从而了解招聘公司的综合情况。

• 薪资预测：根据用户的学历、工作经验、想要从事的岗位等信息进行薪资预测。

数据模型

K-Means聚类多项logistic逻辑回归模型

软件工作流程

• 使用 fake_useragent 构造用户代理，构造 ip 代理池；

• 分析网站结构，找到 post ip 包所需要构造内容，得到所有页面链接；

• 使用 etree 中的 lxml 分析需爬取网页结构，使之后面能够模块化爬取数据；

• 将爬取之后数据导入 hadoop 以便做后续数据挖掘；

• 分析结果通过网页端进行可视化展现。

项目展示

                         此图主要分析的是重庆市各区县的工资情况，从中可以看出最高工资、平均工资、最低工资。

                                    此图可以看出各城市平均工资情况，颜色越深的地方代表平均工资就越高。

                               此图主要分析的是各个省市的工资情况，可以具体看得到各个省市的平均工资为多少。

                            此图主要分析的是各个省市的工资情况，可以具体看得到各个省市的平均工资为多少。

                                                                 此图主要展示了各个省市的工资分布情况

          此图主要分析了各个省市提供的主要数量，从图中可以看出，各个省市在拉钩网上发布的职位数量都差不多。

        我们希望通过此项目，做到实时获取岗位、工资分布、地区等数据；支持多种形态数据呈现，总体把握招聘信息，招聘情况一目了然，利于整体评估。