Bagaimana Solusinya Running jar dari HGrid247 DE Workflow yang Dicompile ke Engine Spark2.x RDD ?

Question

Pada saat running jar dari HGrid247 DE workflow yang dicompile ke engine Spark2.x RDD, ada error yang disebakan oleh: com.esotericsoftware.kryo.KryoException: java.lang.NegativeArraySizeException, bagaimana solusinya?

Answer 1

Ini terjadi ketika Kryo's reference table melampai batas max nilai integer (integer overflow). Supaya tidak terjadi error, pada job-configurasi set spark.kryo.referenceTracking ke false tambahkan workflow dengan configurasi berikut (lihat Workflow Property di canvas menu)

 Configuration Name                                               Configuratition Value

  spark.kryo.referenceTracking                                false