10月9日下午,我院在教学科研楼A座828室举办了全部专任教师参与的教研活动。本次活动的主题是“网络爬虫技术与应用”,主讲人为我院青年教师董国芳博士。
董国芳博士从网络爬虫产生的背景和发展、分类及常用开源软件、技术原理、应用案例四个方面分别进行着重讲述。尤其强调对于我们科研需要数据,如何有针对性编写网络爬虫工具,并具体讲解了编写网络爬虫的工作流程:研究对象分析、url分析、网页源代码分析、编写网络爬虫控制器、解析器、建立数据索引库、查询分析共计7个流程。活动现场踊跃,与会老师积极参与了讨论,并提出了部分问题。
此次报告会的举行,全体与会者受益匪浅,大家不仅对网络爬虫软件及技术原理有了进一步认识,而且也对这种获取数据的方法产生了很大的兴趣,尤其在当前大数据背景下,数据具有范围广、量体大等特征,如何有效收集数据的显得更为重要。