『壹』 我在查看hadoop的jobtracker页面时(端口为50030的那个网页),不能看到已完成作业,请问这是怎么回事
这个默认就有,我之前也遇到过,如果是运行中有错儿就会断。
『贰』 hadoop如何分析论坛评论数据我现在想到的方案是:用爬虫从某论坛抓取数据,抓取到数据之后我直接
crontab做定时执行脚本,hive的直接放脚本里,mr的打成jar通过脚本运行。爬数据—数据清洗—每个评论lucence分词-取部分评论定义标签,好评中评差评—通过贝叶斯学习获得分类器模型—对测试数据预测—结果保存
『叁』 国内人气最旺的hadoop类技术论坛是那个
台湾的那个论坛挺好的,Taiwan Hadoop Forum。回答问题很快的
『肆』 Hadoop 依赖于社区服务器, 社区服务器是什么 先谢谢大家了
Hadoop可运行在Community Server 上,运行环境简单易搭建,相比企业级的软件运行环境,“因此它的成本比较低,任何人都可以使用”。
『伍』 ubuntu下怎么卸载hadoop-CSDN论坛
你这个不是独立的linux发行版吧。
看看它的用户手册。
建议lz以后提问首先想到的是“详细交代环境”,比如操作系统类型,版本等!
『陆』 cdn与Hadoop有什么区别
CDN是内容分发网络Content Delivery Network,通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。一般都是以服务提供商的方式出现,比较知名的有蓝汛、网宿,也有大企业自己建CDN的,比如苹果。
SDN是软件定义网络Software Defined Network,通过将网络设备控制面与数据面分离开来,从而实现了网络流量的灵活控制,现在搞网络的数通公司都在炒SDN,思科、juniper、华为、华三、盛科、xNet等都有比较完善的SDN方案。
『柒』 hadoop社区和cloudera几个版本之间的区别
这两个so:libhadoop.so和libsnappy.so。
前一个so可以在HADOOP_HOME下找到,如hadoop\lib\native。
第二个libsnappy.so需要下载一个snappy-1.1.0.tar.gz,然后./configure,make编译出来,编译成功之后在.libs文件夹下。
当这两个文件准备好后再次启动spark shell不会出现这个问题。
『捌』 学习Hadoop 的一般都上哪几个社区讨论
这种资源建议去官网论坛或者一些其他比较知名的大论坛里咨询
如果曾经有人在网上发布,或有网站下载,一般都会被搜索引擎收录,如果搜不到,你可以找一下相关的论坛
最好是那种人气比较高的论坛,注册会员,发帖求助,会有高手帮你的。
『玖』 如何在社区版hadoop上安装ambari
安装过程
一、准备
1、安装包
2、集群中ambari-serveer(管理节点)到客户端配置无密码登录。
3、集群同步时间
4、SELinux,iptables都处于关闭状态
5、安装的服务器通过连接到网络
6、本文件安装是在redhat enterprise 6.0环境下,最好将yum替换成免费的,以方便安装
二、安装
1、下载repo
根据对应的系统下载相应的repo文件,并按要求拷贝到/etc相应的目录下
2、安装epel仓库
yum install epel-release
# 查看仓库列表,应该有HDP,EPEL
yum repolist
3、通过yum安装amabari bits,这同时也会安装PostgreSQL
yum install ambari-server
这个步骤要等一会,它需要上网下载,约39M的包
4、运行ambari-server setup,安装ambari-server,它会自动安装配置PostgreSQL,同时要求输入用户名和密码,如果按n,它用默认的用户名/密码值:ambari-server/bigdata。接着就开始下载安装JDK。安装完成后,ambari-server就可以启动了。
在这步之前安装集群的时候始终不成功,最后检查发现是SSH免密码登录时设置有问题,要在命令行下测试IP和主机名登录是否都没有问题。
三、Ambari安装集群:
增加新的机器
如果选择使用私钥的方式安装不成功的话,请多试几次。
如果还是不成功,使用手动方式,但前提是在目标机器上要安装ambari-agent并启动。
推荐使用这种方法,成功率非常高。
如果安装失败了,确认免登录没有问题的前提下,多retry几次。
如果安装的时间太久,可以删除安装重来。