代码报错问题

[matribots]

AbstractClickhouseLoaderMapper.java文件中的这段代码里的hashString报错，提示说是少了个参数，请问该如何解决？
if(StringUtils.isNotBlank(clickhouseDistributedTableShardingKeyValue)){ code = hashFn.hashString(clickhouseDistributedTableShardingKeyValue).asInt() & Integer.MAX_VALUE; }else{ code = hashFn.hashString(UUID.randomUUID().toString()).asInt() & Integer.MAX_VALUE; }

[jaykelin]

--table 指定是Distributed table吗？以及其建表脚本是怎样的？

[matribots]

我还没有用命令行。我是在IDEA上编译源码的时候遇到该报错问题的，是源码里少参数了。

[jaykelin]

跳过test试试

[matribots]

代码编译错误已解决。请问打包可执行jar包时，main class应该指定为哪一个（ClickhouseClientHolder、ClickhouseHdfsLoader中都有main方法）。

[jaykelin]

ClickhouseHdfsLoader

[matribots]

好的，谢谢，我试一下。

[jaykelin]

可以参考一下样例：

hadoop jar clickhouse-hdfs-loader.jar com.kugou.loader.clickhouse.ClickhouseHdfsLoader \
-Dmapreduce.job.queuename=root.default \
-i text \
--connect jdbc:clickhouse://xxx:8123/database \
--username xx --password xx \
--table distributed_table \
--dt 2018-01-01 \
--export-dir hdfs_path  \
--extract-hive-partitions true \
--exclude-fields 0,4,5,8 \
--daily false 

[matribots]

get，谢谢！

[matribots]

放到hadoop上跑了一下，Map任务显示的是100%，Reduce任务显示的是0%，最后报如下错误，ERROR clickhouse.ClickhouseHdfsLoader: Clickhouse Loader: ERROR! Failed records = 326663，这是什么情况..

[jaykelin]

分析map task的日志

[jaykelin]

@FangLietao 应该是漏掉了args4j的包

        <dependency>
            <groupId>args4j</groupId>
            <artifactId>args4j</artifactId>
            <version>2.33</version>
        </dependency>

[jaykelin]

@FangLietao 执行时是使用 -with-dependencies.jar 这个jar包吗？