Tren Audit Kinerja di Lembaga Audit Tertinggi: Kantor Audit Nasional Inggris, 1999 hingga 2021

ABSTRAK
Audit kinerja telah menjadi semakin penting di seluruh dunia. Para akademisi mengetahui bahwa berbagai praktik dimasukkan dalam audit kinerja dan telah memetakan keragaman ini. Namun, sedikit studi kuantitatif yang meneliti audit kinerja sebagai sebuah praktik. Studi ini mengisi kesenjangan tersebut. Dengan menganalisis dokumentasi audit kinerja yang diterbitkan oleh Kantor Audit Nasional Inggris (NAO), studi ini mengeksplorasi pengaruh perubahan dan krisis pemerintahan di balik perubahan dalam audit kinerja lembaga audit tertinggi. Studi ini juga meneliti apakah audit kinerja beragam dengan memeriksa bahasa yang digunakan oleh auditor. Studi ini memberikan bukti bahwa baik krisis maupun perubahan pemerintahan tidak memiliki efek signifikan pada keseluruhan cakupan pelaporan audit kinerja. Namun, seiring berjalannya waktu, studi ini menemukan variasi dalam tema laporan audit kinerja, dengan lebih banyak tema keuangan dan lebih sedikit tema kinerja setelah tahun 2010.

1 Pendahuluan
Isu besar yang terjadi adalah reformasi negara yang signifikan yang ditetapkan oleh pemerintah sebagai bagian dari agenda neoliberal yang dirangkum dalam New Public Management (NPM) (Hood 1991 ; Hyndman dan Lapsley 2016 ; Lapsley dan Miller 2024 ). Reformasi ini menyebabkan munculnya seruan untuk akuntansi, audit, dan akuntabilitas yang lebih baik (Steccolini 2019 ; Hyndman dan Ligouri 2024 ) dengan Lembaga Audit Tertinggi (SAI) sebagai pelopor untuk melakukannya (Ferry et al. 2023 ).

Lebih khusus lagi, karena NPM, lebih banyak tuntutan telah ditempatkan pada audit kinerja (Gendron et al. 2003 , Gendron et al. 2007 ; Hyndman dan Lapsley 2016 ). Namun, audit kinerja mencakup berbagai macam praktik (Parker et al. 2019 ). Para sarjana menyarankan bahwa biasanya diharapkan untuk memeriksa aspek-aspek ekonomi, efisiensi, efektivitas, tetapi juga dapat melihat etika, ekuitas, dan lingkungan, antara lain (Dewar 1993 ; Bringselius 2018 ; Ferry dan Eckersley 2020 ). Studi historis menunjukkan bahwa audit kinerja berkembang dari waktu ke waktu (Dewar dan Funnell 2016 ; Midgley et al. 2024 ). Konteks adalah kunci untuk apa yang termasuk dan tidak termasuk dalam laporan audit kinerja (Lonsdale 2013, 2020 ).

Tinjauan pustaka terkini menunjukkan bahwa audit kinerja bersifat beragam dan auditor tidak bergantung pada tekanan politik sehingga cenderung tidak segera bereaksi terhadap krisis (Mattei et al. 2021 ; Rana et al. 2022 ). Namun, studi yang diteliti dalam tinjauan ini sebagian besar merupakan studi kualitatif atau metode campuran.

Rana et al. ( 2022 ) mencatat kurangnya studi kuantitatif tentang audit kinerja di SAI, dan untuk mengatasi kesenjangan tersebut, makalah ini mempertimbangkan perkembangan di Kantor Audit Nasional (NAO), yang merupakan SAI Inggris Raya, melalui analisis audit kinerja yang dipublikasikan dan dokumentasi terkait selama periode lebih dari 20 tahun, dari 1999 hingga 2021, yang tersedia untuk umum di situs web mereka. Laporan NAO adalah bentuk utama audit kinerja yang dipublikasikan untuk pemerintah pusat di Inggris Raya. Audit keuangan tidak dipertimbangkan karena memiliki format standar dan tunduk pada standar audit dan memiliki riwayat perkembangan yang terpisah (Edwards 2023 ). Studi ini juga tidak mempertimbangkan audit internal, karena memiliki peran konstitusional dan politik yang berbeda, dan pengaturan kelembagaan ini menciptakan perbedaan antara auditor internal dan eksternal (Liston-Heyes dan Juillet 2022a ).

Analisis audit kinerja dan dokumentasi terkait melibatkan tiga hipotesis: bahwa audit kinerja tidak akan terpengaruh oleh perubahan pemerintahan karena SAI bersifat independen, bahwa audit kinerja akan meningkat sebagai respons terhadap krisis, dan bahwa aspek pelaporan audit kinerja akan tetap berbasis kinerja dan risiko daripada keuangan dan kepatuhan.

Akan ditunjukkan bahwa perubahan dalam pemerintahan tidak memengaruhi audit kinerja, yang diharapkan karena independensi SAI. Selain itu, perubahan dari peristiwa dan krisis tidak memengaruhi cakupan keseluruhan pelaporan audit kinerja. Namun demikian, melalui studi data yang lebih bernuansa, ditemukan bahwa fokus pelaporan audit kinerja terpengaruh karena penekanan pada aspek keuangan menjadi lebih jelas setelah penghematan, sementara kinerja tidak memiliki lintasan yang meningkat. Kepatuhan tetap menjadi aspek yang cukup statis dari pelaporan audit kinerja selama periode yang dipelajari.

Makalah ini sekarang akan dibagi menjadi beberapa bagian. Bagian 2 akan membahas literatur tentang pelaporan audit kinerja yang mendukung tiga hipotesis. Di Bagian 3 , metodologi akan dipastikan dalam konteks latar belakang kasus penelitian NAO dan metode yang digunakan. Bagian 4 akan menguraikan temuan untuk tiga hipotesis. Terakhir, di Bagian 5 , makalah ini akan memaparkan kontribusi teoritis terhadap audit publik serta implikasinya terhadap kebijakan, praktik, dan penelitian di masa mendatang.

2 Pelaporan Audit Kinerja
Audit kinerja menjadi semakin penting dalam sektor publik (Power 1996, 1997 ; Kontogeorga 2019 ; Cordery dan Hay 2022 ; Ferry et al. 2023 ). Akibatnya, akademisi semakin memperhatikannya sebagai sebuah fenomena (Rana et al. 2022 ).

Dalam tiga bagian tinjauan pustaka berikut, tiga hipotesis diajukan tentang pelaporan audit kinerja yang muncul dari literatur. Hipotesis tersebut menyangkut dampak perubahan pemerintahan terhadap pelaporan audit kinerja, dampak krisis terhadap pelaporan audit kinerja, dan terakhir, perubahan tema laporan audit kinerja. Dalam melakukan hal ini, kami memperhatikan retorika SAI setelah banyak penelitian yang menyatakan bahwa retorika dalam akuntansi menentukan kontribusi laporan (Mueller 2017 ; Ferry et al. 2018 ).

2.1 Perubahan dalam Pemerintah dan SAI
Perubahan pemerintahan dalam masyarakat demokratis biasanya membawa perubahan orientasi bagi semua lembaga pemerintah, termasuk pegawai negeri. Banyak perubahan di Inggris, misalnya, telah membentuk kembali negara tersebut sejak 1945 (Richards 2023 ). Pertanyaan apakah SAI juga akan mengubah arah politik dan gaya pelaporannya bergantung pada dua aksioma. Pertama, hal itu bergantung pada apakah SAI independen dari pemerintah saat itu, dan kedua, karena pemilihan umum di Inggris mengubah badan legislatif, tergantung pada apakah SAI independen dari badan legislatif saat itu.

SAI secara historis independen dari pemerintah saat itu. Secara konstitusional, mereka dipandang sebagai bagian dari struktur akuntabilitas yang membela hak-hak warga negara terhadap negara (Funnell 2007 ; Ferry dan Midgley 2022 ). Peran konstitusional auditor memungkinkan mereka untuk mengambil pandangan yang berbeda tentang kontrol keuangan dari yang diambil oleh eksekutif (Pallot 2003 ). Perselisihan antara auditor jenderal independen dan pemerintah saat itu telah menjadi pusat sejarah dan praktik SAI (Funnell 1996, 1998 , 2003 ; Dewar dan Funnell 2016 ; Radcliffe 2008 ; Midgley et al. 2024 ). Parlemen bergantung pada informasi yang diungkapkan oleh auditor dan akibatnya harus percaya bahwa informasi tersebut akurat, dan kepercayaan tersebut bergantung pada independensi auditor dari eksekutif (Heald 2018 ; Ferry et al. 2024 ). Akibatnya, independensi dipandang sebagai atribut utama SAI (Ferry et al. 2023 ).

Para pendukung independensi audit tidak hanya menekankan independensi SAI dari pemerintah saat ini tetapi juga memperjuangkan independensinya dari Parlemen. Ada kekhawatiran bahwa, sementara auditor sering melayani legislatif, jika auditor menjadi tunduk pada arahan politik, pekerjaan mereka mungkin ternoda di mata pejabat dan politisi (Midgley 2019 ; Midgley et al. 2024 ). Auditor mengartikulasikan nilai mereka sendiri demi kepentingan publik yang lebih luas atau efisiensi dan efektivitas kebijakan pemerintah daripada dalam istilah politik (Cordery dan Hay 2019 ; Hazgui et al. 2022 ). Realisme dari ketenangan seperti itu telah dipertanyakan, mengingat bahwa pekerjaan SAI secara inheren bersifat politis karena hubungan mereka dengan proses akuntabilitas (Grasso dan Sharkansky, 2001 ; Natan Krupp dan Mizrahi 2024 ).

Dalam audit kinerja, auditor telah menekankan sifat independen dan tidak bias dari metodologi mereka dan cara metodologi tersebut merepresentasikan analisis apolitis terhadap negara (Radcliffe 1998 ; Gendron et al. 2003 ; Gendron et al. 2007 ). Hal ini sesuai dengan tren menuju NPM dalam pemerintahan modern, yang bergantung pada administrasi sebagai seni yang netral dan teknis (Hood 1991 ). Audit adalah bagian penting dari NPM (Hyndman dan Lapsley 2016 ). Teknik dan keterampilan diimpor dari sektor swasta (Cordery dan Hay 2024 ). Identitas auditor sering kali bergantung pada klaim keahlian ini sebagai konsultan untuk sektor publik (Morin dan Hazgui 2016 ). Faktor-faktor ini bersama-sama menunjukkan bahwa perubahan pemerintahan seharusnya tidak membuat perbedaan pada cara auditor melakukan pekerjaan mereka.

H 1. Perubahan pemerintahan tidak akan mempengaruhi subyek audit kinerja.

2.2 Krisis dan SAI
Krisis menjadi lebih umum dalam sejarah baru-baru ini (Boin dan Lodge 2016 ). Krisis keuangan akhir tahun 2000-an mengkatalisasi periode panjang penghematan di sebagian besar negara di seluruh dunia, yang dengan sendirinya menciptakan krisis baru dalam layanan publik. Di Inggris, penghematan menimbulkan krisis dalam kapasitas layanan publik untuk memberikan layanan. Kemudian keputusan untuk meninggalkan Uni Eropa—yang disebut sebagai Brexit—merupakan krisis lebih lanjut bagi rezim politik, dengan Parlemen yang lumpuh tidak dapat meloloskan undang-undang selama 2 tahun. Pandemi COVID-19 tahun 2020 adalah krisis global lain yang menghambat pertumbuhan ekonomi dan memicu tindakan represif (Tooze 2021 ; Ferry et al. 2024a ).

Para ahli teori administrasi publik melihat krisis sebagai momen kunci perubahan dalam layanan publik. Krisis dapat mengubah hakikat demokrasi itu sendiri karena pemerintah dipaksa mengambil keputusan darurat untuk menangani masalah yang timbul (Poole 2015 ; Tooze 2018, 2021 ). Hubungan antara pemerintah dan publik sangat penting, sering kali selama krisis (Ferry et al. 2021 ). Krisis mengharuskan pemerintah untuk menilai dan memahami risiko, menerima dan menggunakan informasi tentang apa yang terjadi selama krisis, dan bersikap transparan tentang reaksi mereka terhadap krisis (Comfort 2007 ; Lenz dan Eckhard 2023 ). Para cendekiawan telah berfokus, mengingat banyaknya krisis yang saling terkait, pada ketergantungan administrasi untuk menghadapi krisis ini secara finansial (Barbera dan Steccolini 2024 ).

Perubahan-perubahan ini memiliki dampak yang jelas pada akuntansi. Akuntansi juga dapat berubah karena krisis. Sargiacomo ( 2015 ) menunjukkan bahwa krisis dapat menyebabkan perubahan dalam kebijakan dan praktik akuntansi dalam layanan publik. Lebih radikal lagi, krisis dapat menyebabkan reformasi organisasi itu sendiri dan penciptaan bentuk-bentuk baru organisasi hibrida untuk memenuhi momen tersebut (Sargiacomo dan Walker 2022 ). Krisis dapat mengkatalisasi perubahan dalam akuntansi dengan memberikan bukti bahwa perubahan itu diperlukan (Davis 2022 ; Midgley et al. 2024 ). Bahkan ketika sistem merespons secara efektif, krisis dapat mengungkapkan bahwa akuntabilitas untuk sistem tersebut terganggu dalam keadaan darurat (Grossi dan Vakulenko 2022 ). Sejumlah penelitian telah mengidentifikasi bahwa audit responsif terhadap krisis kontemporer (Lonsdale et al. 2011 ; Lonsdale 2020 ; Sian dan Smyth 2022 ).

Namun, ada alasan bagus untuk berpendapat bahwa krisis tidak mungkin, menurut literatur, menyebabkan perubahan dalam praktik SAI. Pertama, SAI tidak terlibat langsung dalam respons krisis sebagai pembuat keputusan atau penyedia layanan (Lonsdale 2013 ). Kedua, dan lebih mendalam, SAI sering kali ditetapkan berdasarkan undang-undang, sehingga kewenangannya tetap dan sulit diubah secara mendasar. Undang-undang ini memiliki pengaruh yang panjang dan internasional (Funnell 1994 ). Akuntansi dan audit keuangan ditentukan oleh standar yang tidak berubah sebagai respons terhadap krisis tetapi didorong oleh logika alternatif yang berbeda (Stewart dan Connolly 2021, 2024a , 2024b ; Edwards 2023 ). Lebih jauh, bahkan berkenaan dengan audit kinerja, SAI berada dalam ruang regulasi di mana pelaku lain, termasuk komite Parlemen dan pemerintah, memiliki tuntutan terhadap mereka (Midgley 2019 ; Ferry et al. 2023 ; Midgley et al. 2024 ): ini berarti bahwa audit kinerja kemungkinan akan terus diterbitkan dalam volume yang sama dan sesuai dengan kewenangan legislatif fundamental yang sama setelah krisis seperti sebelumnya.

H 2. Krisis tidak akan mempengaruhi sifat audit kinerja sepanjang periode.

2.3 Berbagai Tema Audit Kinerja
Audit kinerja telah digambarkan sebagai sesuatu yang fleksibel (Parker et al. 2019 ). Audit ini berkembang seiring waktu dan tidak memiliki titik asal yang jelas (Dewar dan Funnell 2016 ; Rana et al. 2022 ; Grossi et al. 2023 ). Secara khusus, Mattei et al. ( 2021 ) mengidentifikasi bahwa audit kinerja terkait dengan munculnya NPM dan gerakan tata kelola publik baru. Telah ada upaya oleh akademisi dan praktisi untuk mendefinisikan audit kinerja. Organisasi Internasional SAI, misalnya, mendefinisikan audit kinerja dengan mengacu pada ekonomi, efisiensi, dan efektivitas (International Society of Supreme Audit Institutions 2019 ). Namun, konsep-konsep ini sendiri dapat diperdebatkan, dengan praktisi yang berbeda mengambil pandangan yang berbeda tentang apa yang dimaksud dengan masing-masing (Midgley et al. 2024 ). Lebih jauh lagi, penelitian terkini menunjukkan konsep lebih lanjut harus ditambahkan ke definisi audit kinerja: misalnya, lingkungan (Dewar 1993 ), etika (Bringselius 2018 ), dan ekuitas (Ferry dan Eckersley 2022 ).

Keragaman definisi potensial audit kinerja ini tercermin dalam praktik. Ada keragaman internasional dalam cara audit kinerja didefinisikan (Pollitt 2003 ; Cordery dan Hay 2022 ). Ada beragam cara untuk memahami apa itu audit kinerja dan bagaimana audit itu harus dilakukan. Rana et al. ( 2022 ) mengidentifikasi dua tujuan dari literatur untuk audit kinerja: tujuan akuntabilitas dan tujuan yang difokuskan pada peningkatan kinerja sektor publik. Morin dan Hazgui ( 2016 ) menyarankan bahwa ini adalah intrinsik pada identitas auditor yang mereka lihat. Ini bukan satu-satunya tujuan potensial untuk audit kinerja: misalnya, Grönlund et al. ( 2011 ) mengidentifikasi bahwa audit kinerja dapat difokuskan pada kepatuhan juga, sedangkan Milgrom dan Schwartz ( 2008 ) menyarankan prioritas auditor harus didasarkan pada potensi dampak yang timbul dari pekerjaan mereka. Lonsdale ( 2008 ) berpendapat bahwa karena alasan-alasan ini, audit kinerja telah menjadi disiplin hibrida. Fluiditas audit kinerja berarti bahwa hal itu dapat dipengaruhi oleh konteks. Lonsdale ( 2013 ) menyarankan bahwa jenis audit kinerja yang dimiliki suatu negara secara signifikan dipengaruhi oleh konteks di mana ia terjadi. Midgley et al. ( 2024 ) berpendapat ini dalam konteks NAO, menunjukkan bahwa setelah tahun 1988, C&AG memperluas kewenangan audit kinerja sektor publik di Inggris, dan kemudian setelah tahun 2010, ada kontraksi yang sesuai yang dipimpin oleh C&AG berikutnya, Amyas Morse, ke fokus yang lebih manajerial. Mereka juga berpendapat bahwa ini dihasilkan dari penghematan dan dorongan untuk mengurangi anggaran dan transfer uang dari audit kinerja ke audit keuangan.

Rana et al. ( 2022 ) menyatakan tidak ada studi kuantitatif murni yang meneliti audit kinerja. Mueller ( 2017 ) dan Ferry et al. ( 2018 ) menekankan betapa pentingnya bahasa dalam memahami intervensi apa yang coba dilakukan oleh akuntan. Studi terbaru tentang pekerjaan kantor audit telah mengambil argumen ini, tetapi mereka telah memasukkan pekerjaan oleh auditor internal dan auditor keuangan, dan sementara mereka menemukan perubahan dalam tema dalam laporan audit, cakupan yang lebih luas ini berarti bahwa kesimpulan tidak dapat ditarik dari mereka untuk audit kinerja dengan lebih tepat (Liston-Heyes dan Juillet 2022b ). Namun demikian, sementara mereka memeriksa populasi yang berbeda, Liston-Heyes dan Juillet ( 2022b ) mengembangkan alat konseptual untuk menganalisis keragaman laporan audit, menganalisis apakah bahasa mereka mencerminkan masalah kepatuhan, keuangan, risiko, atau kinerja.

Untuk memahami keragaman dalam laporan audit kinerja dan apakah ada pergeseran perilaku satu kantor audit, makalah ini menggunakan versi yang sedikit dimodifikasi dari kata-kata Liston-Heyes dan Juillet ( 2022a ) untuk menganalisis laporan audit kinerja dan dokumentasi terkait dari UK NAO.

H 3. Bahasa yang digunakan oleh laporan audit kinerja dan dokumentasi terkait akan berubah seiring waktu.

3 Metodologi Penelitian
3.1 Kasus Penelitian
Di Inggris, SAI adalah NAO. NAO didirikan oleh Undang-Undang Audit Nasional 1983, yang menjadikan NAO independen dari Pemerintah dan Parlemen dan memberinya wewenang untuk melakukan pemeriksaan terhadap ekonomi, efisiensi, dan efektivitas yang digunakan dalam menjalankan layanan pemerintah. NAO mengikuti mandat ini dan melakukan dua jenis pekerjaan utama: audit keuangan atas rekening kementerian pemerintah utama (biasanya disebut sebagai “departemen”) dan badan pemerintah lainnya dan investigasi nilai-untuk-uang terhadap ekonomi, efisiensi, dan efektivitas yang digunakan untuk membelanjakan uang publik—baru-baru ini NAO menggunakan wewenangnya untuk melakukan pemeriksaan nilai-untuk-uang untuk juga melakukan investigasi terhadap kegagalan tertentu seputar ekonomi, efisiensi, dan efektivitas dan juga untuk menerbitkan ringkasan informasi yang dipublikasikan tentang departemen yang disebut Tinjauan Departemen. Dalam konteks Inggris, pelaporan nilai-untuk-uang adalah pelaporan kinerja. Laporan nilai-untuk-uang (termasuk investigasi dan tinjauan departemen) umumnya menghasilkan laporan audit yang sebenarnya. NAO juga melakukan audit keuangan terhadap 406 akun pada tahun 2022–2023: untuk sebagian besar akun tersebut, tidak ada laporan yang diterbitkan, hanya sertifikat yang diterbitkan bersama akun tersebut, dan komentar tentang temuan NAO dibagikan secara pribadi kepada departemen melalui surat manajemen. NAO sebagian besar melapor kepada Komite Akun Publik (PAC) di House of Commons di Parlemen Inggris Raya, tetapi juga mendukung komite terpilih lainnya dan telah mengembangkan kapasitas untuk menjelaskan informasi yang kompleks serta memberikan laporan dan audit.

NAO dipimpin oleh Comptroller and Auditor General. Comptroller and Auditor General adalah pejabat House of Commons dan ditunjuk oleh House of Commons setelah usulan yang diajukan oleh Perdana Menteri dan Ketua Komite Akuntansi Publik disahkan. Comptroller and Auditor General memiliki otonomi penuh dalam mengelola NAO dalam batasan yang ditetapkan oleh House of Commons. House of Commons memberikan suara untuk anggaran tahunan NAO, dan Komisi Akuntansi Publik (terdiri dari anggota parlemen dari House of Commons) meneliti penggunaan anggaran tersebut oleh NAO dan administrasi umumnya. Secara organisasi, NAO terdiri dari tim departemen yang berfokus pada nilai uang dan audit keuangan dalam departemen. Ada beberapa tim lintas sektor yang memiliki keahlian di berbagai bidang audit nilai uang atau audit keuangan, dan mereka juga dapat menghasilkan laporan mereka sendiri. Sebagian besar laporan NAO adalah laporan audit kinerja; untuk ini, NAO memiliki akses ke berkas departemen dan membersihkan laporan dengan departemen terkait untuk akurasi faktual sebelum dipublikasikan. Laporan tersebut kemudian dipublikasikan dan memperoleh hak istimewa Parlemen, yang berarti bahwa NAO tidak dapat dituntut atas konten apa pun dalam laporan tersebut. Karena pengaturan konstitusional yang unik ini, laporan dari NAO berbeda dari laporan dari departemen audit internal, yang, di Inggris, berada di bawah manajemen departemen dan tidak melaporkan secara publik: ada penelitian yang memeriksa pelaporan audit internal dan menggambarkan beberapa aktivitasnya sebagai audit kinerja, tetapi ini bukan topik makalah ini (Volodina et al. 2023 ). NAO adalah satu-satunya organisasi yang melakukan audit kinerja di pemerintah pusat Inggris (Midgley et al. 2024 ).

3.2 Metode Penelitian
Untuk studi ini, pertama-tama, laporan audit kinerja dan dokumentasi terkait disusun dan dicatat menurut tahun dan bidang subjek (misalnya, pendidikan, pertahanan, pemerintah daerah, dll.). Dalam melakukannya, semua laporan audit kinerja dan dokumentasi terkait oleh NAO di situs web mereka yang tersedia untuk umum antara tahun 1999 dan 2021 disusun dan digunakan dalam studi ini, yang berjumlah total 7504 laporan dan dokumentasi. Dokumen diambil dari situs web NAO daripada dari catatan parlemen karena laporan yang diletakkan di Parlemen akan diletakkan dengan cara yang sama dengan cara mereka dipublikasikan di situs web dan lebih rumit untuk bersumber dari Parlemen. Studi ini tidak mencakup pekerjaan yang tidak dipublikasikan yang mungkin telah dilakukan NAO mengenai audit kinerja, karena itu tidak tersedia bagi para peneliti—ini bukan batasan yang signifikan, karena laporan audit kinerja NAO dimaksudkan untuk tujuan akuntabilitas publik, dan karenanya hampir semuanya dipublikasikan. Basis data kami mencakup dokumentasi terkait, karena NAO sering kali menerbitkan isi utama laporan kinerja dalam satu dokumen bersama dengan bagan, diagram, dan lampiran, yang juga, secara tegas, merupakan bagian dari laporan. Periode ini (1999–2021) dipilih karena dua alasan. Pertama, periode ini cukup panjang bagi kami untuk memeriksa dampak perubahan pemerintahan atau krisis pada pelaporan audit. Kedua, meskipun kami juga mengumpulkan semua laporan NAO hingga tahun 1983, antara tahun 1983 dan 1998, laporan tersebut tidak disimpan sebagai laporan yang dapat diakses sehingga tidak dapat diteliti melalui analisis tekstual tren tema audit yang digunakan secara elektronik dalam studi ini. Teknik analisis data lain dapat digunakan di masa mendatang untuk memperluas studi tersebut, tetapi untuk saat ini belum dilakukan.

Kedua, laporan audit dianalisis menggunakan proksi Word untuk berbagai fokus dalam laporan audit kinerja. Proksi kata ini sama dengan yang digunakan oleh Liston-Heyes dan Juillet ( 2022b ). Mereka mengidentifikasinya dengan empat tema—keuangan, kinerja, manajemen risiko, dan kepatuhan—dan akibatnya, dalam makalah ini, kami mengikuti penggunaan kata tema mereka untuk menggambarkan cara kami menganalisis laporan audit. Sementara karya Liston-Heyes dan Juillet ( 2022b ) sebelumnya menganalisis data yang berbeda (termasuk laporan audit internal, misalnya, yang dikecualikan dalam studi ini), disepakati bahwa analisis mereka terhadap empat kategori aktivitas dalam studi mereka menyerupai aktivitas NAO dan SAI secara umum dalam periode ini. Akibatnya, dengan amandemen, studi ini mengadopsi pendekatan mereka dengan menggunakan sekelompok kata di bawah empat tema—keuangan, kinerja, kepatuhan, dan manajemen risiko—untuk menganalisis bagaimana pokok bahasan laporan audit kinerja NAO dan dokumentasi terkait berubah seiring waktu. Tabel 1 menunjukkan proksi kata dalam kelompok kata untuk empat tema audit.

TABEL 1. Proksi kata.

Penulis menggunakan kata-kata ini untuk menghitung jumlah kata yang terkait dengan setiap kategori dalam setiap dokumen, kemudian jumlah kata tahunan di semua dokumen dihitung, dan kemudian jumlah tahunan ini dibuat grafiknya dari waktu ke waktu. Penulis juga menghitung persentase tertimbang dari setiap frekuensi kata relatif terhadap jumlah total kata dalam setiap dokumen dan kemudian menggabungkan persentase individual menjadi persentase rata-rata untuk tahun tersebut, per setiap kategori. Hal ini memungkinkan perubahan signifikan secara statistik dalam jumlah dan frekuensi rata-rata tertimbang dari kata-kata ini selama periode analisis untuk dipertimbangkan. Analisis dilakukan pada tingkat jumlah kata, yang menunjukkan frekuensi setiap proksi kata yang dipilih, serta pada tingkat rata-rata tertimbang, yang menunjukkan persentase relatif dari frekuensi proksi kata dalam kaitannya dengan volume seluruh laporan. Penelitian ini melakukan analisis dan visualisasi terperinci pada tingkat proksi kata untuk masing-masing dari empat tema kinerja keuangan, manajemen risiko, dan kepatuhan, seperti yang ditunjukkan pada Tabel 1. Hipotesis H1 dan H2 dinilai dengan mengidentifikasi tren signifikan secara statistik dalam penggunaan 54 kata kunci yang tercantum di bawah tema yang berbeda. Untuk setiap kata kunci, frekuensi per laporan, frekuensi per tahun, dan frekuensi rata-rata per laporan per tahun untuk seluruh korpus laporan audit dihitung. Uji statistik Wilcoxon rank-sum (Mann–Whitney) dua sampel (ekuivalen nonparametrik dari uji- t ) digunakan untuk menguji perbedaan signifikan secara statistik antara periode waktu. Dalam makalah ini, digunakan untuk menguji perbedaan signifikan secara statistik dalam frekuensi kata per laporan antara dua pemerintahan utama yang berbeda dalam kendali, Buruh dan Konservatif, selama periode waktu yang diperiksa (1999–2010 dan 2010–2021). Ini digunakan untuk menguji H1 (lihat Tabel 2 ). Pengujian statistik serupa digunakan untuk menyelidiki dampak krisis (menggunakan COVID-19 sebagai proksi untuk laporan sebelum 2019 dan laporan selama 2020–21), alih-alih pemerintahan utama yang memegang kendali, untuk menguji H2 (lihat Tabel 3 ). COVID-19 digunakan karena ada titik awal yang sangat jelas untuk krisis tersebut pada bulan Maret 2020, sedangkan krisis lain, seperti penghematan atau krisis keuangan atau bahkan Brexit, memiliki awal yang jauh lebih bertahap.

 

TABEL 2. Analisis diferensial menggunakan uji Wilcoxon rank-sum (Mann–Whitney) dua sampel untuk Pemerintah yang berbeda.

Catatan : H0: bobot∼e (konservasi∼s = = 0) = bobot∼e (konservasi∼s = = 1). z = −1,433. Prob > z = 0,1518. Prob Eksak = 0,1531 perbedaan (perubahan) tidak signifikan.

 

TABEL 3. Analisis diferensial menggunakan uji Wilcoxon rank-sum (Mann–Whitney) dua sampel untuk pra dan pasca COVID.

Catatan : H0: bobot∼e (konservasi∼s = = 0) = bobot∼e (konservasi∼s = = 1). z = 0,845. Prob > z = 0,3980. Prob eksak = 0,4044 perbedaan (perubahan) tidak signifikan.

Ketiga, analisis nonparametrik (yang berarti tidak ada asumsi mendasar tentang data yang dilihat) dan visualisasi digunakan untuk melacak perubahan jumlah dan isi laporan audit dari waktu ke waktu untuk menguji H3, seperti yang ditunjukkan pada Tabel 4. Hal ini karena tidak semua kata menunjukkan distribusi normal, sehingga analisis diferensial menggunakan nonparametrik digunakan untuk mengatasi masalah tersebut.

TABEL 4. Tren kinerja keuangan, manajemen risiko, dan audit kepatuhan (jumlah kata dan persentase tertimbang).

Ada keterbatasan pada metodologi ini. Dengan menghitung kata-kata yang digunakan, kata-kata yang dimaksud diabstraksikan dari konteksnya dalam laporan. Metodologi ini memungkinkan makalah untuk membuat pernyataan tentang perubahan dari waktu ke waktu dengan penekanan pada berbagai ide oleh NAO dan mengikuti makalah yang diterbitkan di tempat lain (Liston-Heyes dan Juillet 2022b, 2022a ), yang menggunakan teknik kumpulan kata yang serupa.

4 Temuan
Selanjutnya, kita akan membahas hasil analisis kita, yang menguji tiga hipotesis. Hipotesis 1 menganggap bahwa perubahan dalam pemerintahan tidak memengaruhi audit kinerja. Analisis diferensial untuk perubahan antarpemerintahan dilakukan. Analisis ini menguji apakah ada perbedaan yang signifikan secara statistik dalam data mengenai pelaporan audit kinerja antara periode pemerintahan Konservatif dan Buruh.

Makalah ini membagi dua periode—antara 1997 dan 2010, ketika Partai Buruh mendominasi politik Inggris, dan antara 2010 dan 2021, ketika Partai Konservatif mendominasi—dan menilai apakah ada perbedaan signifikan dalam pelaporan audit kinerja pada periode tersebut. Partai Buruh memenangkan pemilu tahun 1997, 2001, dan 2005 dan memerintah sendiri selama periode tersebut. Partai Konservatif memerintah dalam koalisi dengan partai yang lebih kecil, Partai Demokrat Liberal, antara tahun 2010 dan 2015. Partai Konservatif memerintah sendiri dengan mayoritas antara tahun 2015 dan 2017 dan antara tahun 2019 dan 2024 dan dalam perjanjian kepercayaan dan pasokan dengan Partai Persatuan Demokratik Irlandia Utara antara tahun 2017 dan 2019 (meskipun fokus Partai Persatuan Demokratik pada Irlandia Utara berarti bahwa partai tersebut memiliki sedikit minat pada kebijakan domestik Inggris lainnya selama periode tersebut). Tabel 2 menunjukkan analisis diferensial untuk berbagai pemerintahan.

Dengan menggunakan total 7504 laporan dan dokumentasi NAO selama periode 1999–2021, hasilnya menyoroti bahwa terdapat perbedaan yang tidak signifikan dalam pelaporan audit kinerja pada periode ini, terlepas dari pemerintahnya. Hal ini sesuai dengan ekspektasi dari literatur, karena SAI pada dasarnya independen dari pemerintah.

Untuk mencapai hasil ini, digunakan uji nonparametrik Mann–Whitney Wilcoxon rank sum (Wilcoxon 1945 ; Mann dan Whitney 1947 ). Hal ini karena salah satu asumsi uji ini adalah bahwa data tidak terdistribusi secara normal. Di sini, data tidak terdistribusi secara normal, menggunakan jumlah kata dan memiliki jumlah observasi yang cukup lebih dari lima untuk memastikan bahwa data tersebut valid secara statistik, sehingga menjadikan Mann–Whitney rank sum sebagai uji yang tepat.

Dalam Tabel 2 , kolom pertama menunjukkan variabel dummy untuk periode yang diperiksa, di mana 0 adalah periode Buruh di kantor (1999-2010) dan 1 adalah periode Konservatif di kantor (2010-2021). Total gabungan adalah metrik gabungan untuk kedua periode. Kolom obs mencatat jumlah observasi, yang mencerminkan jumlah periode, 22, dikalikan dengan jumlah tema yang diperiksa, 4, untuk mencapai 88 observasi. Jumlah peringkat adalah jumlah dokumen (tidak termasuk sejumlah laporan yang dihilangkan oleh analisis statistik untuk menghindari bias distribusi non-normal), dan relevan dengan jumlah peringkat aktual untuk waktu setiap kelompok berperingkat lebih tinggi daripada yang lain. Kolom yang diharapkan adalah distribusi jumlah peringkat yang diharapkan dari data, tetapi setelah penyesuaian untuk mendapatkan distribusi non-normal, total jumlah peringkat diperoleh. Ini dibandingkan dengan jumlah peringkat aktual untuk memeriksa apakah mereka berbeda secara signifikan atau tidak. Varians yang tidak disesuaikan mengukur kemiringan data dari rata-rata jumlah kata dalam dokumen.

Penyesuaian untuk ikatan adalah laju perubahan untuk menormalkan kemiringan data yang tidak terdistribusi normal ke arah rata-rata. Varians yang disesuaikan adalah varians setelah melakukan semua penyesuaian normalitas. H0 adalah hipotesis nol, yang menguji perbedaan signifikan antara kedua periode, yang menunjukkan bahwa ada perbedaan yang tidak signifikan dalam dokumentasi di kedua periode. Distribusi statistik Z menguji perbedaan signifikan antara kedua periode. Nilai p menunjukkan bahwa median tidak berbeda secara statistik pada tingkat apa pun yang lebih kecil dari 15,18%. Agar median, yang diwakili oleh nilai p , untuk menunjukkan perbedaan signifikan antara kedua periode, nilai p harus menunjukkan nilai kurang dari atau sama dengan 0,1, 0,05, atau 0,01. Nilai p yang lebih tinggi dari itu akan menjadi tidak signifikan, yang merupakan kasus di sini ( nilai p lebih tinggi dari maksimum yang diizinkan [0,1], yang berarti bahwa kita gagal menolak hipotesis nol daripada hipotesis alternatif.

Berikutnya, kami menguji Hipotesis 2, yang memprediksi bahwa pelaporan audit kinerja tidak terpengaruh oleh krisis dalam periode tersebut, menggunakan konsolidasi jumlah kata per setiap tema selama jumlah tahun yang diperiksa; oleh karena itu, tema digunakan sebagai proksi untuk kumpulan kata per setiap tema, seperti yang ditunjukkan pada Tabel 1. Pengujian ini membandingkan data dari dua periode untuk menentukan apakah ada perbedaan yang berarti dalam mediannya. Pengujian ini memungkinkan kami untuk memeriksa perbedaan tema dalam bahasa yang digunakan dalam laporan audit kinerja sebelum dan sesudah peristiwa besar, seperti COVID-19 pada tahun 2020. Hasil analisis ini disediakan dalam Tabel 3 .

Hasilnya tidak menunjukkan adanya perubahan dalam cara penulisan pelaporan audit kinerja, berkenaan dengan total 7504 laporan dan dokumentasi NAO. Dalam melakukan pekerjaan untuk memperoleh hasil ini, sama seperti Tabel 2 dan 3 , pertimbangkan signifikansi data. Namun, analisis ini menguji perbedaan signifikan dalam pelaporan sebelum dan sesudah COVID-19 sebagai proksi untuk peristiwa besar. Dalam kasus ini, perbedaan antara kedua periode, sebelum dan sesudah COVID-19, tidak signifikan karena nilai p berada di atas tingkat signifikansi.

Hipotesis 3 mempertimbangkan tingkat yang lebih bernuansa untuk melihat apakah tema bahasa yang digunakan dalam pelaporan audit kinerja dan dokumentasi terkait berubah seiring waktu. Untuk menguji Hipotesis 3, kami meneliti penggunaan kata-kata tertentu (sebagaimana ditetapkan dalam metodologi) dalam laporan audit kinerja dan dokumentasi terkait.

Tabel 4 memaparkan tren audit keuangan, kinerja, manajemen risiko, dan kepatuhan dalam hal jumlah kata dan persentase tertimbang.

Tabel 4 mengilustrasikan tren visual tema bahasa yang terkait dengan empat fokus berbeda dalam audit kinerja—keuangan, kinerja, manajemen risiko, dan kepatuhan, masing-masing, dari atas ke bawah—selama jangka waktu studi dari tahun 1999 hingga 2021. Diagram sisi kiri menunjukkan jumlah kata, yang berpotensi mencerminkan perubahan gaya dalam audit kinerja dan dokumentasi terkait. Jumlah kata telah dipengaruhi oleh panjangnya dokumen-dokumen ini selama periode studi dan oleh sifat basis data yang telah kami periksa: misalnya, praktik NAO dalam menerbitkan dokumentasi mungkin telah berubah selama periode tersebut, yang memengaruhi jumlah kata yang digunakan per laporan. Jumlah kata untuk semua istilah meningkat sejak 2018 dan seterusnya: ini jelas terkait dengan jumlah kata dalam setiap dokumen yang meningkat karena tidak ada peningkatan global yang sesuai dalam persentase kata yang digunakan dalam dokumen. Diagram sisi kanan menunjukkan persentase tertimbang dari jumlah kata dalam kaitannya dengan jumlah kata total dari audit kinerja yang diterbitkan dan dokumentasi terkait. Metrik ini tidak dipengaruhi oleh panjangnya laporan atau dokumen yang dipublikasikan di situs web, sebaliknya, ini menunjukkan perubahan penekanan linguistik dalam dokumentasi laporan kinerja NAO selama periode ini, oleh karena itu, persentase tertimbang kata yang digunakan lebih bersifat indikatif.

Diagram pertama di sisi kiri mengacu pada jumlah kata tema keuangan dalam dokumentasi yang diperiksa; diagram tersebut menunjukkan bahwa jumlah kata stabil tetapi mulai meningkat dari tahun 2018–2019 hingga mencapai puncaknya pada tahun 2020–2021. Di sisi lain, ketika melihat diagram pertama di sisi kanan, yang mencerminkan persentase tertimbang tema keuangan, sebagai proporsi relatif dari panjang dokumentasi yang diperiksa, diagram tersebut menunjukkan bahwa ada beberapa tingkat stabilitas di seluruh periode yang diperiksa, tetapi pada tahun 2019–2020 kami mulai melihat beberapa bentuk peningkatan yang relatif stabil hingga tahun 2020–2021. Selain itu, diagram kedua di sisi kiri, yang mengacu pada jumlah kata tema kinerja dalam dokumentasi yang diperiksa, menunjukkan bahwa jumlah kata untuk tema kinerja stabil dari tahun 1999 hingga 2000 hingga tahun 2018 hingga tahun 2019 dan kemudian mulai meningkat, mencapai puncaknya pada tahun 2020–2021. Di sisi lain, diagram kedua di sisi kanan mempertimbangkan persentase tertimbang tema kinerja sebagai proporsi dari dokumentasi yang diperiksa, yang menunjukkan beberapa tingkat stabilitas, meskipun beberapa penurunan dari 2014-2015. Diagram ketiga di sisi kiri mengacu pada jumlah kata tema manajemen risiko dalam dokumentasi yang diperiksa. Ini menunjukkan jumlah kata yang stabil dari 1999-2000 hingga ada peningkatan dari 2015-2016 ke 2017-2018. Kemudian ada penurunan tajam diikuti oleh periode stabilitas singkat pada 2017-2018, yang kemudian diikuti oleh peningkatan yang stabil dalam jumlah kata dari 2018-2019 ke 2020-2021. Sebaliknya, ketika melihat diagram ketiga di sisi kanan, yang mencerminkan persentase tertimbang tema manajemen risiko sebagai proporsi relatif dari panjang dokumentasi yang diperiksa, kami mengenali pola yang sama dengan jumlah kata. Namun, setelah penurunan tajam pada 2016–2017, kami mengamati stabilitas yang stabil pada tingkat persentase tertimbang yang rendah ini hingga 2020–2021. Akhirnya, diagram keempat di sisi kiri menunjukkan jumlah kata tema kepatuhan dalam dokumentasi yang diperiksa. Ini menunjukkan bahwa ada beberapa tingkat stabilitas dalam jumlah kata tema kepatuhan selama periode 1999–2020 hingga 2018–2019, di mana ada peningkatan yang stabil dalam jumlah kata hingga 2020–2021. Namun, diagram sisi kanan keempat, yang menunjukkan persentase tertimbang dari tema kepatuhan sebagai persentase dari panjang dokumentasi yang diperiksa, menunjukkan beberapa tingkat fluktuasi dari waktu ke waktu pada tingkat rendah dari 1999 hingga 2000 hingga 2018 hingga 2019, di mana kami mulai melihat penurunan yang stabil hingga 2020–2021.

Singkatnya, Tabel 4 menunjukkan sejumlah poin mengenai penggunaan bahasa dalam laporan audit dan dokumentasi terkait selama periode tersebut, baik pada tingkat hitungan maupun persentase tertimbang. Pertama, terdapat fluktuasi dalam penggunaan kata-kata antar tahun—ini terutama terlihat dalam penggunaan kata-kata terkait “risiko”, yang melonjak pada tahun 2016 sebelum turun kembali ke tingkat perkiraan sebelum tahun 2016. Perubahan ini tidak bertahan lama dan karenanya tidak menunjukkan perubahan yang bertahan lama dalam cara NAO menulis laporan. Kedua, dan yang lebih penting, terdapat perubahan dalam penggunaan kata-kata yang bertahan lama dari waktu ke waktu. Misalnya, setelah tahun 2010, tampaknya terdapat peningkatan dalam persentase kata-kata keuangan yang digunakan dalam laporan audit kinerja dan dokumentasi terkait. Setelah tahun 2010, terdapat pula penurunan dalam persentase kata-kata terkait “kinerja” yang digunakan dalam laporan audit. Sementara persentase kata-kata terkait kepatuhan dan risiko tampaknya tetap konstan. Perubahan dalam penekanan linguistik ini menunjukkan bahwa NAO mengalihkan penekanannya dalam laporan dari tema kinerja ke tema keuangan. Hal ini mungkin mencerminkan perubahan peran NAO pada periode ini.

5 Diskusi Penutup
Makalah ini sekarang akan mempertimbangkan kontribusi dan implikasi teoritis untuk kebijakan, praktik, dan penelitian mendatang. Pertama, ini adalah studi kuantitatif utama pertama tentang pelaporan audit kinerja sebagai genre pekerjaan audit di sektor publik (Rana et al. 2022 ). Sementara karya kuantitatif sebelumnya, misalnya, Liston-Heyes dan Juillet ( 2022b ), menggabungkan berbagai jenis laporan audit—audit keuangan, kinerja, dan internal—dari berbagai jenis auditor (eksternal dan internal), makalah ini hanya menganalisis pelaporan audit kinerja eksternal. Ini penting mengingat meningkatnya profil pelaporan audit kinerja eksternal secara global (Cordery dan Hay 2019 ; Ferry et al. 2023 ).

Makalah ini memberikan tiga kontribusi teoritis terpisah terhadap analisis kami tentang audit kinerja. Pertama, makalah ini menunjukkan bahwa SAI bersifat independen dari pemerintah saat ini. Perubahan dalam pemerintahan tidak memiliki efek signifikan secara statistik pada laporan audit kinerja SAI atau dokumentasi terkait. Hal ini sejalan dengan harapan dari literatur tentang independensi SAI (Ferry dan Midgley 2022 ; Ferry et al. 2023 ), tetapi sejauh pengetahuan kami dan seperti yang disarankan dalam Rana et al. ( 2022 ), hal ini belum pernah dikonfirmasi sebelumnya oleh data kuantitatif empiris.

Kedua, makalah ini mengonfirmasi bahwa krisis tidak berdampak pada laporan audit kinerja atau dokumentasi lain yang dihasilkan oleh SAI. Hal ini berbeda dengan para akademisi yang menekankan bagaimana mesin akuntabilitas dan pemerintahan harus berubah sebagai respons terhadap krisis dan karena itu merupakan temuan yang menarik dan penting (Sargiacomo 2015 ; Ferry et al. 2024 ). Sebagian, temuan ini mungkin bergantung pada fakta bahwa SAI tertanam dalam struktur konstitusional yang cukup kaku (Dewar dan Funnell, 2016 ; Midgley et al. 2024 ). Aktivitas mereka juga ditentukan oleh pendanaan, yang diputuskan secara eksternal, meskipun SAI memiliki keleluasaan yang cukup besar dalam cara mereka membelanjakan uang mereka (Midgley et al. 2024 ).

Terakhir, makalah ini mengonfirmasi kesan para akademisi bahwa audit kinerja mencakup polaritas yang berbeda (Rana et al. 2022 ). Akademisi lain telah mengindikasikan hal ini di masa lalu, sering kali berpendapat bahwa audit adalah disiplin hibrida yang mencakup konsultasi dan saran manajemen serta akuntabilitas (Morin dan Hazgui 2016 ; Lonsdale 2008 ). Liston-Heyes dan Juillet ( 2022b ) menyarankan, sebagai cara untuk mengukur keragaman ini, bahwa para akademisi menggunakan tema dalam bahasa audit dan berpendapat bahwa tema-tema ini kemudian dapat dihitung. Kami telah mengadopsi pendekatan ini dalam makalah ini sebagai cara untuk mengeksplorasi sejauh mana pernyataan yang dibuat oleh para akademisi sebelumnya tentang keragaman laporan audit dapat didukung. Kami menemukan bahwa hal itu dapat didukung, dan dalam kasus NAO, kami juga menemukan pergerakan dari waktu ke waktu antara tema-tema—dari kinerja ke tema keuangan dalam bahasa tersebut. Hal ini konsisten dengan karya Midgley et al. ( 2024 ) berpendapat berdasarkan wawancara dan dokumentasi lain bahwa setelah Amyas Morse diangkat sebagai C&AG pada tahun 2009, NAO menjadi kurang tertarik pada hasil dan lebih fokus pada proses manajemen. Perubahan ini terjadi dalam konteks tekanan pada anggaran untuk audit kinerja di dalam NAO, yang timbul dari penghematan dan pengalihan sumber daya dari audit kinerja ke audit keuangan. Catatan kami konsisten dengan karya historis ini tetapi memberikan dasar empiris dalam analisis kuantitatif yang tidak dapat diberikan oleh penelitian ini.

Makalah ini membuka jalan bagi penelitian di masa mendatang. Pertama, makalah ini menyelidiki fakta bahwa bahasa yang digunakan dalam laporan audit kinerja berubah seiring waktu. Para akademisi lebih terpengaruh dalam mendokumentasikan tujuan laporan audit kinerja—mempertanyakan apakah ada lebih banyak tujuan daripada tiga E tradisional (Bringselius 2018 ; Ferry dan Eckersley 2020 ) atau menjelaskan perbedaan antara akuntabilitas dan konsultasi (Morin dan Hazgui 2016 ; Rana et al. 2022 ). Langkah selanjutnya adalah menghubungkan tujuan-tujuan ini dengan bahasa yang digunakan dalam laporan audit kinerja dan menunjukkan bagaimana serangkaian kata tertentu mencerminkan serangkaian tujuan tertentu. Pekerjaan lebih lanjut juga dapat dilakukan pada laporan individual, memeriksa konteks di mana kata-kata ini digunakan dan memeriksa proksi yang disediakan oleh Liston-Heyes dan Juillet ( 2022b ) dengan cara itu.

Kedua, makalah ini memberikan deskripsi bahasa laporan audit kinerja dan bagaimana bahasa tersebut berubah seiring waktu, tetapi tidak menyelidiki penyebab perubahan tersebut. Penelitian di masa mendatang dapat meneliti mengapa pelaporan audit kinerja di Inggris bergeser penekanannya dari waktu ke waktu dari fokus pada kinerja menjadi fokus pada bahasa keuangan. Penelitian ini juga dapat meneliti mengapa kata-kata yang terkait dengan kepatuhan tetap statis dan mencoba menghubungkan fluktuasi yang dapat dilihat dalam penggunaan kata-kata tertentu di sekitar risiko dengan peristiwa atau jenis laporan yang dikeluarkan. Studi ini tidak melakukannya, karena memberikan analisis tentang keragaman bahasa pelaporan audit kinerja pada periode ini tetapi tidak berusaha menjelaskan mengapa keragaman itu terjadi. Penelitian di masa mendatang tersebut dapat memperoleh manfaat dari studi yang lebih kualitatif dan/atau historis, yang dapat menetapkan sebab akibat dan serangkaian metode yang berbeda untuk menganalisis sebab akibat tersebut. Penelitian ini dapat menjelaskan, khususnya, beberapa fluktuasi dalam penggunaan bahasa—misalnya, di sekitar risiko—yang tidak dapat kami jelaskan dalam studi ini.

Ketiga, meskipun tersirat dalam literatur audit bahwa temuan-temuan tentang independensi, krisis, dan keragaman bahasa yang digunakan untuk menggambarkan kinerja dalam laporan audit ini mungkin tercermin di yurisdiksi lain, tidak mungkin untuk menyatakan hal ini dengan pasti. Akibatnya, pekerjaan lebih lanjut diperlukan pada kantor audit lain di negara lain dan apakah laporan mereka juga konsisten dengan hipotesis ini. Kami berharap bahwa struktur konstitusional dan kelembagaan yang berbeda yang mendasari SAI dapat muncul melalui analisis ini—yang memungkinkan, di masa mendatang, pemeriksaan yang lebih rinci tentang isomorfisme audit kinerja di SAI untuk dilakukan (Cordery dan Hay 2022 ).

Terakhir, dalam hal implikasi untuk kebijakan dan praktik, identifikasi studi tentang keragaman pelaporan audit kinerja di Inggris menunjukkan bahwa praktisi memiliki lebih banyak kebijaksanaan dalam apa yang mereka lakukan ketika mereka melakukan laporan audit kinerja. Literatur sebelumnya telah menunjukkan bahwa praktik laporan audit kinerja bervariasi berdasarkan survei atau bukti lain, tetapi ini memberikan bukti kuantitatif pertama bahwa audit kinerja yang dilakukan oleh SAI dapat bergeser seiring waktu. Akibatnya, penting bagi praktisi untuk memperhatikan apa tujuan pekerjaan mereka seharusnya. Audit kinerja bukanlah sesuatu yang diberikan tetapi merupakan konsep yang mencakup banyak kemungkinan untuk tindakan di masa mendatang. Mengingat masalah yang lebih luas dengan sistem akuntabilitas keuangan Inggris dan apakah sistem tersebut telah mencapai hasil selama 40 tahun terakhir, pembuat kebijakan dapat mempertimbangkan bagaimana audit kinerja perlu diubah untuk memastikan keberhasilan yang lebih besar di masa mendatang (Heald dan Hodges 2024 ).