Analisis Tes Flakiness Untuk Machine Learning Menggunakan Python

Abstract

Main Objective: Tujuan dari penelitian ini adalah untuk mengetahui penyebab dari flaky test yang paling umum terjadi pada proyek Python dengan membandingkan penelitian yang berfokus pada proyek Java sebelumnya. Background problem: Tes tidak stabil dapat gagal atau lulus tanpa ada perubahan pada kode yang diuji, ini dapat menghancurkan kepercayaan pengembang pada rangkaian pengujian dan jika diabaikan menyebabkan bug dalam kode yang dirilis.  Novelty: penelitian menggunakan pendekatan empiris dari proyek Python open-source paling populer di GitHub. Sejumlah 197 komitmen dengan kata kunci yang menunjukkan kelemahan uji diperiksa secara manual dan dikategorikan menurut akar penyebab kelemahan masing-masing. Research Method: metode analisis pengujian flakiness digunakan dengan urutan tahap filtering commit dan dua analisis. Finding/Result: hasil penelitian dibandingkan dengan studi proyek Java sebelumnya, dan ditemukan dua penyebab kelemahan yakni presisi dan pelatihan (jaringan Machine learning). Flakiness presisi disebabkan oleh pernyataan dengan ambang batas yang terlalu tinggi atau terlalu rendah. Kelemahan pelatihan disebabkan oleh pengaturan pelatihan yang salah dari jaringan Machine learning dalam pengujian. Sebagian besar tes dalam proyek Python ditemukan tidak stabil karena masalah dengan menunggu asinkron, presisi, dan jaringan.  Conclusion: Developer Python dimasa depan akan mendapat manfaat dari pengetahuan tentang jebakan umum yang dapat menyebabkan kelemahan dalam rangkaian pengujian mereka. Hasil dari penelitian ini dapat digunakan sebagai referensi bagi para peneliti di masa depan dengan area penlitian tes flakiness atau area serupa lainnya..