重庆科技学院首届“曙光瑞翼杯”Python爬虫竞赛

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。但是在大数据浪潮中，最值钱的就是数据，企业为了获得数据，处理数据，理解数据花费了巨大代价，网络爬虫则是获取简单数据的一种最有效的方式。

近日，数据中国“百校工程”项目院校重庆科技学院数理与大数据学院MAI协会联合曙光瑞翼教育举办了首届以“Python爬虫，数据轻来”为主题的“曙光瑞翼杯”Python爬虫大赛，全校一共16支队伍参赛。曙光瑞翼教育项目团队杨晓杰经理、姜显辉老师、郭靖洁老师和何春梅老师全程指导并出席此次竞赛活动。

首届“曙光瑞翼杯”Python爬虫竞赛

竞赛的目的是让更多的大学生了解大数据人工智能方面的知识，优化“瑞翼工坊”团队小组的沟通能力与协调组织能力，孵化若干双创与大数据技术技能课题竞赛队伍，让瑞翼工坊的成员得到实际行业工作经验的提升，培养学生的职业素养能力与大数据技术技能，调动学生了解大数据行业动态的积极性与主动性，锻炼学生的职业规划能力。

竞赛的内容涵盖了Python爬虫的相关基础知识和爬取技能，围绕着“贴吧”这个主题进行数据爬取和分析，然后通过ppt的形式展现出来，每个团队需要在五分钟之内对自己的成果进行简单且详尽阐述，并对评委老师提出的问题做专业解答。该竞赛活动不仅考察了学生专业基础知识，还锻炼了思辨能力、自主学习的能力和表达能力，从而提升了学生的随机应变、处事不惊的综合职业素养。

“Little Spiders”队以python贴吧爬虫–我校学生“课题”话题分析为参赛主题，分别从python爬虫代码、爬取结果、爬取结果分析、讨论与建议四个维度进行了专业讲解，该参赛队以获取重庆科技学院百度贴吧页面的信息，提取其中有关课程的数据并且进行分析为爬取目标，详细地阐述了爬虫代码路径及爬取结果数据存储方式，并对该爬取结果进行了可视化分析。

“Spider-XY”队则以“重庆科技学院贴吧-数据爬取”为参赛主题，分别从多线程使用、贴吧内容爬取分析、贴吧使用时间分析和建议措施四个维度进行了专业讲解。该参赛队认为使用多线程可提高爬虫效率，并介绍了使用多线程爬虫方法和路径，即用这四个线程来获取四个页面的url，用这8个线程来获取这个帖子内每一楼的回复和恢复时间，这样能提高爬虫效率，节省爬取时间，最后对该爬取结果进行了可视化分析。

“Little Spiders”和“spider-XY”两支队伍凭借着他们优秀的成果展示和自信的阐述分别荣获本次竞赛的冠亚军。该竞赛活动增强了同学们对大数据专业学习的热情和专业前景的自信，为课程的学习规划奠定了稳固的基础。

曙光瑞翼教育将与重庆科技学院持续探索产教融合新模式，将校企合作协同育人大数据专业的学生培养成具备解决复杂工程能力的应用创新型人才。