GeoMesa-从GDELT中写入数据

GDELT介绍

GDELT是国外一个大数据存储项目，它提供了自1979年至今的全球广播、印刷和网络新闻媒体报道的事件，并按时间和位置索引。其数据量十分庞大，类别也很丰富。教程里使用的是这个地址下的数据，更新的频率为15分钟。教程使用2018年1月的数据进行试验。

下载数据

使用一个shell脚本批量下载这些文件(注意：官网教程里的脚本有误)：

#!/bin/bash
mkdir gdelt && cd gdelt
for day in {25..31}; do
  mkdir 201801$day && cd 201801$day;
  for hour in {00..23}; do
    for minute in 00 15 30 45; do
      wget "http://data.gdeltproject.org/gdeltv2/201801${day}${hour}${minute}00.export.CSV.zip"
    done
  done
  cd ..
done

将数据解压并上传到HDFS中

使用如下的脚本完成：

#!/bin/bash
for day in {01..31}; do
  ls 201801$day/*.zip | xargs -n 1 zcat | hadoop fs -put - /gdelt/uncompressed/201801${day}.tsv
done

开始写入

执行如下的命令，geomesa的命令行工具会启动一个MapReduce任务，将hdfs中的数据文件写入到数据库中（我安装的是HBase），并构建索引。

geomesa-hbase ingest \
    --catalog <table>      \
    --feature-name gdelt   \
    --converter gdelt2     \
    --spec gdelt2          \
    "hdfs://host:port/gdelt/uncompressed/*"

其中 table是要写入的表的名称。
然后就是等待写入完成，我运行时（3个节点，每个节点2核，4G内存）大概等待了40分钟左右，下面是运行正常时的输出结果。

INFO  Creating schema 'gdelt'
INFO  Running ingestion in distributed mode
INFO  Submitting job - please wait...
INFO  Tracking available at http://namenode/proxy/application_xxxxxxx/
[============================================================] 100% complete xxxxxx ingested 0 failed in 00:00:45
INFO  Distributed ingestion complete in 00:00:45
INFO  Ingested xxxxxx features with no failures.

可以用下面的语句验证导入是否成功：

geomesa-hbase export \
    --feature-name gdelt   \
    --catalog <table>      \
    --max-features 10

其中 table是写入数据的表的名称。

到这里，GDELT数据导入就完成了

使用geoserver可视化

如何安装geoserver以及安装geomesa插件，并根据已有数据发布地图服务，在之前的文章中已经说明，这里就不再叙述了。这里主要演示热力图的生成方法。

首先将Geomesa目录中的geomesa-process-wps_2.11-2.0.2.jar包，复制到geoserver库目录geoserver/WEB-INF/lib/下，以实现密度计算功能。

然后在geoserver后台的Style设置中，新建一个样式，导入官网提供的SLD文件，并命名。

在已生成图层的“发布”一栏中，将style样式选为刚刚新建的样式，点击“保存”。

就可以看到以热力图的形式呈现的数据了（如果有底图效果会更好一些）~

参考资料

官方文档