cubieboard 上架设Hadoop cluster 和 HBase

luzhuomi

更新：
HBase架设半成功。小数据处理没有问题。当Table Size大于3G, 其中某个region server必死。我还在找问题所在。初步怀疑是32bit系统所限制。

luzhuomi

2013/11/21 更新：以下配置应该能是cb1稳定续航。
以下是我安装HBase 的脚本。java 用的是 oracle 的 jdk1.8.0 for armhf

# 注 192.168.1.105 是我入手的cb2

MASTER="192.168.1.8"
# space 分隔
SLAVES="192.168.1.11 192.168.1.214 192.168.1.105"


wget http://mirror.nus.edu.sg/apache/hbase/stable/hbase-0.94.7.tar.gz


tar zxvf hbase-0.94.7.tar.gz
sudo mv hbase-0.94.7 /opt/hbase-0.94.7

cp /opt/hbase-0.94.7/conf/hbase-env.sh  /opt/hbase-0.94.7/conf/hbase-env.sh.orig
sed -i "s/# export JAVA_HOME=.*/export\ JAVA_HOME=\/opt\/jdk.1.8.0/g" /opt/hbase-0.94.7/conf/hbase-env.sh
sed -i "s/# export HBASE_CLASSPATH=.*/export\ HBASE_CLASSPATH=\/opt\/hbase-
0.94.7\/hbase-0\.94\.7\.jar/g" /opt/hbase-0.94.7/conf/hbase-env.sh

sudo mkdir -p /mnt/zookeeper

sudo chown -R linaro:linaro /mnt/zookeeper


cp /opt/hbase-0.94.7/conf/hbase-site.xml  /opt/hbase-0.94.7/conf/hbase-site.xml.orig
echo -e "<?xml version=\"1.0\"?>
<?xml-stylesheet type=\"text/xsl\" href=\"configuration.xsl\"?>
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://${MASTER}:9000/hbase</value>
    <description>The directory shared by RegionServers.
    </description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>The mode the cluster will be in. Possible values are
      false: standalone and pseudo-distributed setups with managed Zookeeper
      true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
    </description>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description>Property from ZooKeeper's config zoo.cfg.
       The port at which the clients will connect.
    </description>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/mnt/zookeeper</value>
    <description>Property from ZooKeeper's config zoo.cfg.
      The directory where the snapshot is stored.
    </description>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.1.8,192.168.1.11,192.168.1.214,192.168.1.105</value>
  </property>
  <property>
    <name>hbase.hregion.majorcompaction</name>
    <value>0</value>
  </property>
<property>
    <name>hbase.hregion.max.filesize</name>
   <value>107374182400</value>
</property>
<property>
   <name>zookeeper.session.timeout</name>
   <value>1800000</value>
</property>
</configuration>
" > /opt/hbase-0.94.7/conf/hbase-site.xml


cp /opt/hbase-0.94.7/conf/regionservers  /opt/hbase-0.94.7/conf/regionservers.orig
cat /dev/null > /opt/hbase-0.94.7/conf/regionservers
for ip in ${SLAVES};do echo -e "${ip}" >> /opt/hbase-0.94.7/conf/regionservers ; done


echo "export HADOOP_CLASSPATH=\${HADOOP_CLASSPATH}:/opt/hbase-0.94.7/hbase-0.94.7.jar:/opt/hbase-0.94.7/lib/zookeeper-3.4.5.jar:/opt/hbase-0.94.7/lib/protobuf-java-2.4.0a.jar:/opt/hbase-0.94.7/lib/guava-11.0.2.jar" >> /opt/hadoop-1.1.2/conf/hadoop-env.sh



#注 各cb的时钟必须同步，要不然regionserver 会启动失败。
#注2: 各cb必须有至少1G swap
sudo dd if=/dev/zero of=/mnt/swapfile bs=1m count=1024
sudo mkswap /mnt/swapfile
sudo swapon /mnt/swapfile

cb2的过热死机还会出现。但应该是别的问题。

luzhuomi

测试结果。
HBase非常耗内存。如果一次过import 超过5000000 个 纪录，regionserver 会崩溃。我尝试了各种方案，比如:
http://www.packtpub.com/article/hbase-basic-performance-tuning
http://hadoop-hbase.blogspot.sg/ ... -memory-sizing.html
结果：还是无解.
2013/11/21 以解决，看楼上更新。

还有吐槽一下CB2, 比CB1更容易死。估计是发热问题。
我尝试过好几个镜像，包括NAND和SD，
cb-a20-lubuntu-desktop-card-v105.img.gz
cubieboard2.tf.20130725.img.xz
cb-a20-lubuntu-12.10-v1.05.img.gz
cb-a20-lubuntu-server-13.06-v1.00.img.gz
结果一样死。相对 比较稳定的是 cb-a20-lubuntu-desktop-card-v105.img.gz

ananda

我在想可以用兩台CT+小米手機２S　組成CLUSTER...

luzhuomi

快快试一下，我在考虑入手一台CT

Vinsone

高手！！膜拜下！！

zxy

我正在尝试用cubietruck搭建hadoop，碰到了好多问题，首先现在最新的hadoop版本，libhadoop或者libhdfs都是默认64位的，而且32位也是i386的， 都存在无法加载本地库的问题，结果就是运行mapreduce任务非常慢。
请问楼主，这个问题您碰到了吗？是怎么解决的？

满月

  大神，首先请你收下我的膝盖，技术贴真心厉害！膜拜中，自己弄的时候出现了这样的问题，老是解决不了，请大神有空指教新手：ERROR namenode.NameNode: java.io.IOException: Cannot create directory /mnt/hadoop/datanode/hadoop-linaro/dfs/name/current 感激不尽！

icebluenet

满月 发表于 2015-7-22 10:01
大神，首先请你收下我的膝盖，技术贴真心厉害！膜拜中，自己弄的时候出现了这样的问题，老是解决不了，请 ...

你这个和cb无关，最大可能是你跑hadoop那个用户没有读写这个目录的权限