Skip to content
haosdent edited this page Jul 28, 2013 · 5 revisions

配置文件目录

改变配置后需要重启Wasp才能生效。

Wasp的配置类似于Hadoop的配置参数,配置文件放在conf目录下。这些文件都是简单的文本文件,有些是包括一系列属性的XML文件,另外一些是每行都是一个配置项的纯文本文件。

wasp-env.sh

路径为conf/wasp-env.sh的文件中包括Wasp启动时要使用到的环境变量,这些环境变量经常被集群启动和关闭脚步使用到。

在这个文件中,可以设置的参数包括Wasp进程的JVM启动参数(Java 堆大小和垃圾回收策略),还可以设置Wasp配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。每个配置项在conf/wasp-env.sh中均有相应解释。

wasp-site.xml

用户可能还需要在conf/wasp-site.xml中添加一些配置项,这个文件中的配置会覆盖Wasp默认配置,例如用户可以在其中设置HBase可用地址和ZooKeeper可用地址。

关于详细的配置参数可以直接查看Wasp的目录src/main/resources中的源文件wasp-default.xml。并非所有的配置信息在wasp-default.xml中都有罗列,配置中有些参数并不常用并且只在源码中可查;因此唯一的办法是通过阅读源码来查找这些配置参数的作用。

<configuration>
    <property>
        <name>zookeeper.wasp.znode.parent</name>
		<!-- 设置wasp在zk中的父目录 -->
        <value>/wasp</value>
    </property>
	<property>
        <name>wasp.zookeeper.quorum</name>
		<!-- 设置zk地址,该地址必须是依赖的存储引擎hbase使用的zk地址 -->
		<value>dw31.kgb.sqa.cm4,dw32.kgb.sqa.cm4,dw34.kgb.sqa.cm4</value>
    </property>
    <property>
		<name>wasp.cluster.distributed</name>
		<!-- 设置系统为分布式模式 -->
        <value>true</value>
	</property>
	<property>
        <name>wasp.fserver.port</name>
		<!-- 数据服务节点的服务端口 -->
        <value>5050</value>
    </property>
	<property>
        <name>wasp.fserver.info.port</name>
		<!-- 数据服务节点的web页面的服务端口 -->
		<value>5051</value>
	</property>
</configuration>

fservers

这个纯文本文件罗列了所有fserver服务器的主机名,每一行都是主机名。Wasp的运维脚本会依次迭代访问每一行来启动所有FServer进程。

dw31.kgb.sqa.cm4
dw32.kgb.sqa.cm4
dw33.kgb.sqa.cm4
dw34.kgb.sqa.cm4

log4j.properties

修改这个文件中的参数可以改变Wasp的日志级别

分布式模式

用户以分布式模式运行Wasp时首先需要编辑完整的配置文件,然后通过rsync或其他方式拷贝conf目录到集群其他节点中,Wasp本身不提供自动同步的机制。

配置文件读取优先级

Hadoop与HBase的配置文件在Wasp使用中优先级最低,换句话说,Wasp中的配置与Hadoop配置属性有重复的情况下无论是*-default.xml还是*-site.xml,Wasp的配置优先级都会高于覆盖Hadoop与HBase的配置优先级。这意味着用户可以使用Wasp配置文件参数覆盖HBase与Hadoop的参数。

客户端使用配置

客户端需配置wasp-site.xml文件,如下所示:

<property>
    <name>wasp.zookeeper.quorum</name>
    <!-- 设置zk地址,该地址要访问的wasp集群依赖的zk地址 -->
    <value>dw31.kgb.sqa.cm4,dw32.kgb.sqa.cm4,dw34.kgb.sqa.cm4</value>
</property>
Clone this wiki locally