如何使用网络爬虫进行数字城市研究与分析

　　针对数字城市研究手段不足，尤其在收集大量研究文献的基础上对数字城市进行整体研究上的欠缺，本文基于R语言和Selenium框架设计了稳定、高效的爬虫程序，获取了中国知网2018年5月前收录的数字城市为主题的研究文献，并建立了数字城市文献数据库和数字城市自动分词模型。通过分析数字城市研究的时序性、空间分布特征和研究热点，揭示了数字城市研究的发展历程、现状、发展趋势和研究热点。结果表明本文设计的网络爬虫程序在数字城市研究文献的收集方面具有可行性和有效性。

　　数字城市源自“数字地球”的概念，是把城市的地理信息和其他与城市相关的信息结合并存储在计算机网络中，让城市和城市外空间连接在一起的虚拟空间［1］。目前数字城市的建设在全国多个省份、城市中展开，行业应用深入城市的各个领域。关于数字城市的研究，近年来虽然不乏技术和理论等方面的研究，但从获取大量的数字城市研究文献的角度对数字城市研究的发展历程、现状、发展趋势、研究热点的研究目前还没有。

　　网络爬虫是依据程序，模拟访问网页、自动化提取网页信息的脚本，是快速获取网页信息的一种方式。网络爬虫按照类型主要分为通用型爬虫、面向主题爬虫、分布式爬虫三种，相比较而言面向主题爬虫应用广泛，形式较为灵活，可针对特定的网页数据进行设计高效的爬虫程序。

　　本文采用面向主题的网络爬虫方法，以中国知网（National Knowledge Infrastructure， CNKI） 2018 年5 月前收录的以数字城市为主题的文献为研究对象，基于R 语言和Selenium 网络框架设计出网络爬虫程序。该程序对中国知网的网页进行分析，获取网页请求参数，模拟浏览器请求和响应服务器，最终获取了数字城市研究文献信息，将获取到的数据同步保存到本地，构建数字城市文献数据库（包括：编号、题名、作者、来源、发表时间、数据库、被引、下载次数、作者单位、摘要、关键词、资助基金共12 个字段）。并以数字城市文献数据库为数据基础，基于文本挖掘技术构建了数字城市自动分词模型，通过分析数字城市研究的时序性、空间分布特征和研究热点，揭示了数字城市研究的发展历程、现状、发展趋势和热点。

　　数字城市源自“数字地球”的概念，是把城市的地理信息和其他与城市相关的信息结合并存储在计算机网络中，让城市和城市外空间连接在一起的虚拟空间［1］。目前数字城市的建设在全国多个省份、城市中展开，行业应用深入城市的各个领域。关于数字城市的研究，近年来虽然不乏技术和理论等方面的研究，但从获取大量的数字城市研究文献的角度对数字城市研究的发展历程、现状、发展趋势、研究热点的研究目前还没有。

　　网络爬虫是依据程序，模拟访问网页、自动化提取网页信息的脚本，是快速获取网页信息的一种方式。网络爬虫按照类型主要分为通用型爬虫、面向主题爬虫、分布式爬虫三种，相比较而言面向主题爬虫应用广泛，形式较为灵活，可针对特定的网页数据进行设计高效的爬虫程序。

　　本文采用面向主题的网络爬虫方法，以中国知网（National Knowledge Infrastructure， CNKI） 2018 年5 月前收录的以数字城市为主题的文献为研究对象，基于R 语言和Selenium 网络框架设计出网络爬虫程序。该程序对中国知网的网页进行分析，获取网页请求参数，模拟浏览器请求和响应服务器，最终获取了数字城市研究文献信息，将获取到的数据同步保存到本地，构建数字城市文献数据库（包括：编号、题名、作者、来源、发表时间、数据库、被引、下载次数、作者单位、摘要、关键词、资助基金共12 个字段）。并以数字城市文献数据库为数据基础，基于文本挖掘技术构建了数字城市自动分词模型，通过分析数字城市研究的时序性、空间分布特征和研究热点，揭示了数字城市研究的发展历程、现状、发展趋势和热点。