如何查看windowsadfs版本
旅游完剩下的外币应该怎么处理?
旅游完剩下的外币应该怎么处理?
我一般都是将剩下的外币兑换回人民币,在国内外币又不流通,相当于纸,硬币可以留着收藏,外币的话可以拿去兑换回人民币,我一般都是在联合货币兑换点换的,省时又方便,等下次去国外的话,再去联合货币换外币就行了。
Apache Mahout如何使用?
Mahout安装详细全过程1、jdk安装 22、SSH无密码验证配置 23、 Hadoop配置 34、Hadop使用 65、Maven安装 76、安装mahout 77、hadoop集群来执行聚类算法 88、其他 8――――――――――――――――――――1、jdk安装1.1、到官网下载相关的JDK下载地址:
、打开“终端”输入:sh
1.3、设置JAVA_HOME环境系统变量输入:vi /etc/environment 在文件中添加:export JAVA_HOME/root/jdk1.6.0_24 export JRE_Home/root/jdk1.6.0_24/jre export CLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 同样,修改第二个文件。输入:vi /etc/profile 在umask 022之前添加以下语句:export JAVA_HOME/root/jdk1.6.0_24 export JRE_Home/root/jdk1.6.0_24/jre export CLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 1.4、注销用户,检测JDK版本。输入:java -version 2、集群环境介绍集群包含三个节点:1 个 namenode,2 个 datanode,节点之间局域网连接,可以相互 ping 通。节点 IP 地址分布如下:Namenode: : slave1 @192.168.1.20Datanode2: 三台节点上均是CentOS系统,Hadoop在/root/hadoop/目录下。在/etc/hosts上添加主机名和相应的IP地址:192.168.1.10 master192.168.1.20 slave1192.168.1.21 slave23、SSH无密码验证配置2.1 Hadoop 需要使用SSH 协议,namenode 将使用SSH 协议启动 namenode和datanode 进程,伪分布式模式数据节点和名称节点均是本身,必须配置 SSH localhost无密码验证。用root用户登录,在家目录下执行如下命令:ssh-keygen -t rsa [ ~]# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter
file in which to save the key (_rsa):
按回车默认路径 Created directory . 创建
目录Enter passphrase (empty for no passphrase):Enter same passphrase again: Your identification has been saved in _
public key has been saved in _
key fingerprint is:c6:7e:57:59:0a:2d:85:49:23:cc:c4:58:ff:db:5b:38 通过以上命令将在
目录下生成id_rsa私钥和id_
公钥。进入
目录在namenode节点下做如下配置:[ .ssh]# cat id_
authorized_keys[ .ssh]# scp authorized_keys [
.ssh]# scp authorized_keys
配置完毕,可通过ssh 本机IP 测试是否需要密码登录。2.2 和namenode无密码登录所有Datanode原理一样,把Datanode的公钥复制到Namenode的.ssh
目录下。[ .ssh]# scp authorized_keys1 192.168.1.10:/root [root@ ]# scp authorized_keys2 192.168.1.10:/root
将刚传过来的authorized_keys1、2加入到authorized_keys[root@ ]# cat authorized_keys1 authorized_keys[root@ ]# cat authorized_keys2 authorized_keys这样也能在Datanode上关闭和启动Hadoop服务。4、 Hadoop配置下载 hadoop-0.20.2.tar.gz
, 进行解压。tar zxvf hadoop-0.20.2.tar.gz
修改/etc/profile,加入如下:# set hadoop pathexport HADOOP_HOME/root/hadoopexport PATH$HADOOP_HOME/bin:$PATH4.1、进入hadoop/conf, 配置Hadoop配置文件4.1.1 配置
文件添加 # set java environmentexport JAVA_HOME/root/jdk1.6.0_24编辑后保存退出。4.1.2 配置core-site.xml# vi core-site.xml4.1.3 配置hdfs-site.xml# vi hdfs-site.xml4.1.4 配置mapred-site.xml# vi mapred-site.xml4.1.5 配置masters# vi masters192.168.1.104.1.6 配置slaves# vi slaves192.168.1.20192.168.1.214.2、 Hadoop启动4.2.1 进入 /root/hadoop/bin目录下,格式化namenode# ./hadoop namenode Cformat4.2.2 启动hadoop所有进程在/root/hadoop/bin 目录下,执行
命令启动完成后,可用jps命令查看hadoop进程是否启动完全。正常情况下应该有如下进程:10910 NameNode11431 Jps11176 SecondaryNameNode11053 DataNode11254 JobTracker11378 TaskTracker 我在搭建过程中,在此环节出现的问题最多,经常出现启动进程不完整的情况,要不是datanode无法正常启动,就是namenode或是TaskTracker启动异常。解决的方式如下:1)在Linux下关闭防火墙:使用service iptables stop命令;2)再次对namenode进行格式化:在/root/hadoop/bin 目录下执行hadoop namenode -format命令3)对服务器进行重启4)查看datanode或是namenode对应的日志文件,日志文件保存在/root/hadoop/logs目录下。5)再次在/bin目录下用
命令启动所有进程,通过以上的几个方法应该能解决进程启动不完全的问题了。4.2.3 查看集群状态在 bin目录下执行:hadoop dfsadmin -report# hadoop dfsadmin Creport4.3 在WEB页面下查看Hadoop工作情况打开IE浏览器输入部署Hadoop服务器的IP:http://localhost:50070http://localhost:50030。5、Hadop使用一个测试例子wordcount:计算输入文本中词语数量的程序。WordCount在Hadoop主目录下的java程序包hadoop-0.20.2-examples.jar
中,执行步骤如下:在/root/hadoop/bin/目录下进行如下操作:./hadoop fs -mkdir input(新建目录名称,可任意命名)mkdir /root/a/vi /root/a/a.txt
写入hello world hello# hadoop fs -copyFromLocal /root/a/ input在/root/hadoop/bin下执行:# ./hadoop jar hadoop-0.20.2-examples.jar
wordcount input output (提交作业,此处需注意input与output是一组任务,下次再执行wordcount程序,还要新建目录intput1与output1不能跟input与output重名)6、Maven安装6.1下载Maven解压tar vxzf apache-maven-3.0.2-bin.tar.gzmv
apache-maven-3.0.2 /root/maven6.2 vi ~
添加如下两行export M3_HOME/root/mavenexport PATH${M3_HOME}/bin:${PATH}6.3 先logout,之后再login查看maven版本,看是否安装成功mvn -version7、安装mahout安装方法见:
、hadoop集群来执行聚类算法8.1数据准备cd /root/hadoopwget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_
./hadoop fs -mkdir testdata./hadoop fs -put synthetic_
testdata./hadoop fs -lsr testdatabin/hadoop jar /root/mahout/mahout-examples-0.4-job.jar
查看一下结果吧bin/mahout vectordump --seqFile /user/root/output/data/part-r-00000这个直接把结果显示在控制台上。9、hadoop集群来执行推荐算法分布式bin/hadoop jar /root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar
-Dmapred.output.diroutput2伪分布式bin/hadoop jar /root/trunk/mahout-distribution-0.4/mahout-core-0.4-job.jar
--recommenderClassName
-Dmapred.output.diroutput_w10wan10、其他离开安全模式:hadoop dfsadmin -safemode leave