Proses Data Scala Besar dengan mempertimbangan kecepatan proses

fauzan

Terkadang proses data dalam scala besar membutuhkan waktu yang lama untuk melakukan proses, berikut beberapa logic yang bisa membantu dalam proses data dalam scala besar dan juga mempertimbangkan waktu proses yang cepat.

Dibawah ini ada case yang dibawah perlu melakukan update proses secara cepat dengan runtime yang cepat

Case : ingin meng update data dalam jumlah 100juta record.

Step 1: Membuat scheduler dengan runtime per 5 menit
Step 2 : Mendapatkan data length sesuai kondisi
Step 3: Melakukan slice atau pembagian process pada data length yang didapatkan
Pada case ini proses setiap scheduler runtime per5 menit data yang didapatkan di bagi per 10rb record

Block Javascript

// ================== Slice Data Connote ==================
var slice1 = data_connote.slice(0, 999)
var slice2 = data_connote.slice(999, 1999)
var slice3 = data_connote.slice(1999, 2999)
var slice4 = data_connote.slice(2999, 3999)
var slice5 = data_connote.slice(3999, 4999)
var slice6 = data_connote.slice(4999, 5999)
var slice7 = data_connote.slice(5999, 6999)
var slice8 = data_connote.slice(6999, 7999)
var slice9 = data_connote.slice(7999, 8999)
var slice10 = data_connote.slice(8999, 10000)

// ========= Tampungan Data Connote =========
var dataSlice1 = [];
if (slice1.length > 0) {
slice1.forEach(function (each_data1) {
dataSlice1.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice2 = [];
if (slice2.length > 0) {
slice2.forEach(function (each_data1) {
dataSlice2.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice3 = [];
if (slice3.length > 0) {
slice3.forEach(function (each_data1) {
dataSlice3.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice4 = [];
if (slice4.length > 0) {
slice4.forEach(function (each_data1) {
dataSlice4.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice5 = [];
if (slice5.length > 0) {
slice5.forEach(function (each_data1) {
dataSlice5.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice6 = [];
if (slice6.length > 0) {
slice6.forEach(function (each_data1) {
dataSlice6.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice7 = [];
if (slice7.length > 0) {
slice7.forEach(function (each_data1) {
dataSlice7.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice8 = [];
if (slice8.length > 0) {
slice8.forEach(function (each_data1) {
dataSlice8.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice9 = [];
if (slice9.length > 0) {
slice9.forEach(function (each_data1) {
dataSlice9.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

var dataSlice10 = [];
if (slice10.length > 0) {
slice10.forEach(function (each_data1) {
dataSlice10.push({
"awb_number": each_data1.awb_number.trim(),
"customer_id": each_data1.customer_id
})
});
};

Step 4: Tambahkan action block dedicated job sesuai kebutuhan lalu push payload dataSlice nya

Step 5: Dengan cara seperti ini job akan memproses data secara bersamaan dengan kecepatan sesuai banyaknya action block dedicated job yang digunakan