ANOTASI WORKFLOW
(A) Kolom bocor dibuang: OverdueDays dan OverdueDays_binned, karena keduanya adalah target dalam bentuk lain. Di cabang model juga dibuang: IsLate_num, Seq, PriorLate (turunan target), serta ID, tanggal, dan TermDays (kembaran PaymentMethod).
(B) CSV tidak punya kolom PaymentMethod. Diturunkan dari selisih DueDate dan SalesDate: 0 hari = Tunai/Transfer (461), 14 hari = Kredit 14 Hari (258), 30 hari = Kredit 30 Hari (367), selebihnya = COD (119). Tunai dan Transfer tidak bisa dipisah dari file ini.
(C) Tunai dan Transfer 0% telat. Dua baris terakhir ini adalah seluruh sumber keberhasilan model di populasi penuh.
(D) Latih 70% (843 baris), uji 30% (362 baris), stratified pada IsLate, seed 42. Pembagian acak, bukan berdasarkan waktu.
(E) Model 84,5% vs baseline 53,3%. Hampir seluruh selisih berasal dari satu aturan: tunai/transfer tidak pernah telat.
(F) History_Rate dihitung hanya dari faktur pelanggan yang sama dengan tanggal lebih awal, setelah faktur diurutkan menurut waktu. 628 faktur punya riwayat, 116 faktur pertama pelanggan tidak bisa diprediksi dengan cara ini.
(G) Aturan riwayat ≥ 0,50: akurasi 70,9%, recall 91,4%, presisi 75,4%. Menangkap 9 dari 10 penunggak, tetapi presisinya sama dengan tingkat keterlambatan dasar, dan akurasinya di bawah baseline.
(H) Latih 70% (520 baris), uji 30% (224 baris), stratified pada IsLate, seed 42. Pembagian acak, bukan berdasarkan waktu.
(I) Model 75,4% sama dengan baseline 75,4%. Tidak ada fitur atau model yang mengalahkan baseline di populasi kredit.
Rekomendasi Metrik untuk PT Maju Bersama
Jangan jadikan akurasi sebagai ukuran utama. Di populasi kredit, menebak “telat” untuk semua faktur sudah menghasilkan akurasi 75,4%, dan model tidak mampu mengalahkannya. Akurasi 84,8% di seluruh populasi hanya berasal dari kenyataan bahwa faktur tunai dan transfer tidak pernah telat.
Metrik yang sebaiknya dipakai adalah recall dan F1 untuk kelas Telat, dibandingkan dengan baseline, karena kerugian terbesar adalah faktur telat yang tidak terdeteksi. Pantau juga presisi supaya tim penagihan tidak membuang tenaga pada peringatan palsu, dan Cohen’s kappa untuk memastikan model benar-benar lebih baik dari menebak.
Catatan: aturan riwayat ≥ 0,50 menangkap 9 dari 10 penunggak (recall 91,4%), tetapi presisinya 75,4%, sama dengan tingkat keterlambatan dasar, jadi hasilnya hampir sama dengan menandai semua faktur.
