nutch抓取网页数据是把数据存储在本地还是直接就进入数据库?
时间: 2015-09-20来源:开源中国
前景提要
HDC调试需求开发(15万预算),能者速来!>>>
初步接触搜索引擎方面的知识,打算用nutch作为爬虫来抓取指定的网页,我是在Cygwin下执行nutch命令的,出现如下错误:

一个错误就是cygpath:can`t convert empty path,一个错误就是Failed to set permissions of path...
我是通过local本地运行模式来执行,还没用那个deploy分布式的执行,但是却报有关Hadoop相关错误,不知如何解决,对抓取的数据是存储在本地文件系统还是存储数据库也不太清楚,希望有这方面的建议的朋友多提提意见。

科技资讯:

科技学院:

科技百科:

科技书籍:

网站大全:

软件大全:

热门排行