AI Generatif dalam Pendidikan Akuntansi: Mengevaluasi Peran ChatGPT dalam Penilaian dan Pengembangan Keterampilan

ABSTRAK
Studi ini menyelidiki penggunaan AI generatif, khususnya ChatGPT, dalam merancang penilaian yang selaras dengan taksonomi Bloom yang direvisi (RBT) untuk program akuntansi sarjana. Dengan memeriksa enam mata kuliah di seluruh program, studi ini mengevaluasi kinerja ChatGPT pada 18 penilaian, yang mengungkap keefektifannya dalam memfasilitasi tugas pembelajaran tingkat rendah hingga menengah tetapi utilitasnya terbatas dalam konteks pembelajaran tingkat tinggi. ChatGPT muncul sebagai alat yang berharga untuk memperkuat pengetahuan dan keterampilan dasar yang penting untuk maju ke pembelajaran tingkat tinggi. Studi ini menyoroti potensi AI generatif dalam meningkatkan desain penilaian akuntansi dan menawarkan strategi untuk integrasinya guna mengembangkan keterampilan digital dan profesional siswa.

1 Pendahuluan
Kemajuan pesat dalam kecerdasan buatan (AI) telah memungkinkan pengembangan model bahasa besar, seperti ChatGPT, yang memanfaatkan pembelajaran mesin untuk menghasilkan teks bahasa alami (Wood et al. 2023 ). ChatGPT menjadi dapat diakses secara bebas oleh publik pada tanggal 30 November 2022, mengumpulkan lebih dari satu juta pengguna dalam 5 hari dan 100 juta pengguna dalam waktu kurang dari 2 bulan untuk menjadikannya platform teknologi dengan pertumbuhan tercepat dalam sejarah (Harris 2022 ; Hu 2023 ). Penerimaan ChatGPT yang cepat telah mendorong perdebatan dan diskusi yang luas tentang potensi kemampuannya untuk mengganggu pendidikan, khususnya yang berkaitan dengan integritas akademik dan desain penilaian (Wood et al. 2023 ; Ballantine et al. 2024 ). Penilaian merupakan komponen integral dari pembelajaran siswa yang menjamin pencapaian hasil pembelajaran (Boud and Associates 2010 ). Seiring dengan semakin lazimnya penggunaan AI di tempat kerja dan lingkungan belajar, penilaian yang dirancang dengan tepat yang memberikan gambaran yang lengkap tentang pembelajaran siswa dan mempersiapkan siswa secara memadai untuk lingkungan bisnis kontemporer menjadi sangat penting (Lodge, Howard, dkk. 2023 ). Namun, pemahaman yang komprehensif tentang kemampuan AI generatif dalam melakukan penilaian dan menginformasikan desainnya masih terbatas (Ballantine dkk. 2024 ).

Dalam memandu desain penilaian, taksonomi Bloom telah menjadi kerangka kerja yang berharga karena kategorisasi hierarkisnya atas proses kognitif yang digunakan oleh siswa dalam proses pembelajaran (Bloom et al. 1956 ). Anderson et al. ( 2001 ) merevisi taksonomi Bloom (RBT) dengan memperkenalkan dimensi pengetahuan untuk lebih menyelaraskannya dengan teori pembelajaran dan kognisi kontemporer. Ini menghasilkan enam urutan pembelajaran (Mengingat, Memahami, Menerapkan, Menganalisis, Mengevaluasi dan Menciptakan), dan empat kategori pengetahuan (Faktual, Konseptual, Prosedural, dan Metakognitif). Setiap urutan pembelajaran menjelaskan perilaku dan tindakan berbeda yang mencerminkan berbagai tingkat pemikiran kognitif. Khususnya, perilaku dan tindakan yang direvisi mempertimbangkan kemajuan teknologi dan bagaimana kemajuan tersebut telah mengubah cara kita berpikir, belajar, dan memproses informasi (SivaKumar 2023 ).

Dalam pendidikan tinggi, RBT sering digunakan oleh para pendidik untuk memandu desain penilaian kursus, memastikan keselarasan dengan tingkat kompleksitas kognitif yang ditargetkan (Betts 2008 ; Thompson et al. 2008 ). Ini khususnya penting dalam program akuntansi, di mana para siswa perlu mengembangkan berbagai keterampilan profesional dan ketajaman bisnis, seperti berpikir kritis, pemecahan masalah, pengambilan keputusan, komunikasi yang efektif, dan kemahiran digital, untuk memenuhi harapan pemberi kerja dan mendapatkan pekerjaan (Tsiligiris dan Bowyer 2021 ; Tharapos 2022 ; de Lange et al. 2023 ). Namun, merancang penilaian yang efektif yang selaras dengan RBT dapat menjadi tugas yang memakan waktu dan menantang yang seringkali tidak memiliki waktu atau sumber daya yang cukup bagi para pendidik (O’Connell et al. 2023 ; Ozdil et al. 2023 ). Kemajuan terkini dalam AI menawarkan peluang baru untuk mengatasi masalah ini; namun, mereka bukannya tanpa tantangan (Ballantine et al. 2024 ). Mengingat munculnya ChatGPT dan sistem AI generatif lainnya, 1 seperti Gemini dan Copilot, terdapat kekurangan pemahaman tentang penggunaan AI generatif dalam desain penilaian (Ballantine et al. 2024 ) yang juga memfasilitasi pengembangan keterampilan digital dan profesional yang diperlukan (Tsiligiris dan Bowyer 2021 ).

Untuk mengatasi kekurangan pemahaman ini, tujuan utama dari penelitian ini adalah untuk menguji kemampuan AI generatif dalam melaksanakan tugas penilaian akuntansi untuk menginformasikan desain penilaian yang tepat untuk lingkungan di mana akses siswa ke AI merupakan hal yang umum. Pertanyaan penelitian berikut mendorong penyelidikan kami:

RQ1. Seberapa efektif sistem AI generatif, seperti ChatGPT, dapat melakukan penilaian dalam program akuntansi sarjana yang terakreditasi secara profesional?

RQ2. Pengaruh apa yang dimiliki sistem AI generatif, seperti ChatGPT, terhadap pencapaian hasil pembelajaran di berbagai tingkat kognitif dalam Taksonomi Bloom (RBT) yang direvisi dalam program akuntansi sarjana yang terakreditasi secara profesional?

RQ3. Bagaimana sistem AI generatif, seperti ChatGPT, dapat dimanfaatkan dalam desain penilaian akuntansi untuk membantu mahasiswa akuntansi mengembangkan keterampilan digital dan profesional yang penting?

Untuk menjawab pertanyaan penelitian ini, kami mengadopsi pendekatan tiga tahap. Tahap pertama melibatkan pemeriksaan kemampuan ChatGPT untuk melakukan penilaian di seluruh program akuntansi sarjana. Pada tahap kedua, temuan dari tahap pertama dianalisis menggunakan RBT untuk mengevaluasi pengaruh ChatGPT pada pencapaian hasil pembelajaran untuk berbagai tingkat pembelajaran. Tahap ketiga memberikan saran untuk desain penilaian, dengan mengacu pada temuan dari tahap pertama dan kedua, untuk memfasilitasi pengembangan keterampilan digital dan profesional penting yang kini dibutuhkan oleh lulusan akuntansi. Temuan kami memberikan wawasan berharga untuk merancang penilaian akuntansi yang menggabungkan alat AI generatif untuk meningkatkan pembelajaran siswa dan mendukung pengembangan kemampuan lulusan yang sangat dibutuhkan.

Disiplin akuntansi dipilih karena program yang terakreditasi secara profesional harus menunjukkan kemahiran dalam berbagai bidang kompetensi teknis dan profesional (CPA Australia 2024 ). Kami memilih mata kuliah di berbagai tingkat tahun dalam program akuntansi untuk memeriksa kerangka kategori pembelajaran RBT di seluruh program. ChatGPT (khususnya model GPT-3.5) dipilih karena tersedia secara bebas dan merupakan sistem dan model AI generatif yang paling banyak digunakan (Kasneci et al. 2023 ).

Temuan studi ini berkontribusi pada teori dan praktik. Pertama, kami mengatasi kekurangan kritis dalam literatur pendidikan akuntansi dengan memeriksa desain penilaian yang efektif dan strategi untuk mengelola masalah integritas akademis di era di mana AI generatif sekarang menjadi hal yang umum (Ballantine et al. 2024 ). Kedua, kami memperluas penerapan RBT dengan memeriksa bagaimana AI generatif dapat dimanfaatkan dalam merancang tugas penilaian akuntansi untuk memfasilitasi berbagai urutan pembelajaran dan mendorong konseptualisasi akuntansi yang lebih luas. Ketiga, temuan kami memiliki implikasi penting bagi kebijakan dan praktik. Pendidik akuntansi secara global dapat menerapkan pendekatan desain penilaian yang diusulkan dalam studi ini untuk memastikan bahwa ‘pengalaman penilaian dan pembelajaran membekali siswa untuk berpartisipasi secara etis dan aktif dalam masyarakat di mana AI ada di mana-mana’ (Lodge, Howard, et al. 2023 , 2). Yang penting, pendekatan desain penilaian praktis ini mendukung pendidik untuk memenuhi persyaratan akreditasi sambil mendorong lingkungan belajar kontemporer dan dinamis yang menumbuhkan kemampuan lulusan yang penting.

Sisa makalah ini disusun sebagai berikut. Bagian berikutnya mengulas literatur yang ada, diikuti oleh bagian tiga, yang menguraikan rancangan penelitian. Bagian empat dan lima masing-masing menyajikan temuan dan pembahasan penelitian. Terakhir, bagian enam menyimpulkan makalah dengan saran untuk penelitian di masa mendatang.

2 Tinjauan Pustaka
2.1 Kecerdasan Buatan (AI)
AI secara luas didefinisikan sebagai ‘komputer yang melakukan tugas kognitif, biasanya dikaitkan dengan pikiran manusia, khususnya pembelajaran dan pemecahan masalah’ (Baker dan Smith 2019 , 10). Ini mencakup berbagai teknologi dan metode, seperti pembelajaran mesin, pemrosesan bahasa alami, penambangan data, jaringan saraf, dan algoritma. Sementara AI telah ada sejak tahun 1950-an, penggunaan dan komersialisasi pembelajaran mesin yang meluas telah dengan cepat mendapatkan momentum dalam beberapa tahun terakhir (Moll dan Yigitbasioglu 2019 ). Popenici dan Kerr ( 2017 ) mendefinisikan pembelajaran mesin sebagai ‘subbidang kecerdasan buatan yang mencakup perangkat lunak yang mampu mengenali pola, membuat prediksi, dan menerapkan pola yang baru ditemukan pada situasi yang tidak termasuk atau tercakup dalam desain awal mereka’ (2). Menggunakan AI untuk mengotomatiskan proses dan pengambilan keputusan dapat menawarkan efisiensi dan penghematan biaya yang signifikan bagi akuntan. Namun, pembelajaran mesin juga menimbulkan risiko baru (Moll dan Yigitbasioglu 2019 ) karena data yang digunakan dalam proses pembelajaran dihasilkan oleh manusia dan karenanya mengandung bias dan prasangka yang melekat (Cho et al. 2020 ). Pembelajaran mesin telah digunakan untuk menyediakan otomatisasi dan dukungan keputusan dan perencanaan dalam berbagai bidang dalam akuntansi, seperti meninjau dokumen sumber, menganalisis transaksi dan aktivitas bisnis, dan menilai risiko (Cho et al. 2020 ), dan dalam pendidikan (Crawford et al. 2023 ), termasuk proses administrasi universitas dan memprediksi kemajuan siswa (Sithole et al. 2023 ).

2.2 Sistem Transformator Pra-Terlatih Generatif (GPT)
Kemajuan dalam pembelajaran mesin telah memungkinkan konten digital yang canggih dibuat menggunakan AI generatif (Grassini 2023 ) berdasarkan pola dalam media yang ada, seperti video, gambar, teks, dan audio (Jovanovic dan Campbell 2022 ). Sistem Generative Pre-trained Transformer (GPT) adalah bentuk umum AI generatif yang ‘menghasilkan teks dalam berbagai bahasa dan dapat membuat kata, kalimat, dan paragraf yang terdengar seperti manusia di hampir semua topik dan gaya penulisan mulai dari artikel berita dan esai yang meyakinkan hingga percakapan dalam chatbot layanan pelanggan atau karakter dalam gim video’ (Jovanovic dan Campbell 2022 , 107). ChatGPT OpenAI (GPT-3.5 dan model GPT-4 yang lebih baru), Gemini Google, Copilot Microsoft, dan Claude adalah contoh sistem GPT yang tersedia saat ini pada saat penulisan. Bahasa Indonesia: Sementara keuntungan utama mereka terletak pada kecepatan dan skala di mana mereka beroperasi (AWS 2023 ), kekhawatiran telah muncul tentang masalah kerahasiaan bagi pengguna yang menyimpan informasi klien yang sensitif, dan kecenderungan mereka untuk menghasilkan respons palsu dengan cara yang meyakinkan, disebut sebagai ‘halusinasi’ (Brodeur et al. 2023 ). Halusinasi dapat terjadi dalam berbagai bentuk, termasuk menghasilkan informasi yang tidak akurat, memalsukan referensi dan dokumen, atau pernyataan tentang orang, peristiwa, atau fakta yang terbukti secara ilmiah (Brodeur et al. 2023 ; Farrokhnia et al. 2023 ; Rudolph et al. 2023 ). Terlepas dari kekhawatiran ini, ChatGPT telah mengumpulkan jutaan pengguna dan menarik perhatian media yang intens sejak diluncurkan gratis untuk masyarakat umum pada akhir tahun 2022 (Hu 2023 ). Karena ChatGPT (dan khususnya model GPT-3.5) merupakan sistem GPT yang paling banyak digunakan saat artikel ini ditulis, model ini dipilih untuk digunakan dalam studi ini (Kasneci et al. 2023 ).

2.3 ChatGPT dalam Pendidikan
ChatGPT telah menstimulasi perdebatan signifikan di sektor pendidikan sejak dirilis, dengan beberapa pendidik memuji kemajuan progresifnya dalam pengajaran dan penelitian, sementara yang lain menyuarakan kekhawatiran tentang integritas akademis dan masalah privasi, dan potensi pengurangan keterampilan analitis siswa (Grassini 2023 ; Rahman dan Watanobe 2023 ; Rudolph et al. 2023 ). Kasneci et al. ( 2023 ) berpendapat bahwa ChatGPT dapat membantu pendidik untuk membangun pengalaman belajar yang dipersonalisasi bagi siswa; membuat silabus inklusif, materi pembelajaran dan rencana pelajaran; menghasilkan ringkasan dan garis besar teks yang menantang; mengidentifikasi sumber daya teknis dan pedagogis yang inovatif dan peluang pelatihan; mewujudkan efisiensi dengan semi mengotomatiskan proses penilaian berbagai tugas penilaian tertulis; dan memberikan umpan balik individual, dan instruksi serta sumber daya yang ditargetkan kepada siswa untuk peningkatan mereka di masa mendatang. Namun, kekhawatiran utama para pembuat kebijakan, praktisi, pendidik, dan masyarakat umum adalah potensi siswa menggunakan ChatGPT dengan cara yang bertentangan dengan prinsip integritas akademis (Kelly et al. 2023 ; Lodge, Yang, et al. 2023 ; Ballantine et al. 2024 ).

Universitas di seluruh dunia memiliki respons yang bervariasi terhadap AI generatif, mulai dari melarangnya sama sekali hingga mengizinkan penggunaannya dengan pengakuan yang sesuai (Sullivan et al. 2023 ), dengan sebagian besar universitas cenderung ke arah yang terakhir (Kelly et al. 2023 ). Di Australia, ChatGPT telah memicu perdebatan nasional yang signifikan tentang masa depan pengajaran, pembelajaran, dan penilaian dalam pendidikan tinggi (Kelly et al. 2023 ). Sebagai tanggapan, regulator pendidikan, seperti Badan Kualitas dan Standar Pendidikan Tersier (TEQSA), telah mengeluarkan prinsip-prinsip panduan untuk membantu pendidik dalam mengintegrasikan AI, khususnya AI generatif, ke dalam praktik penilaian sambil mengurangi risiko terkaitnya (Lodge, Howard, et al. 2023 ). Prinsip-prinsip panduan tersebut mencoba untuk menangkap esensi pertimbangan yang diperlukan untuk penilaian pendidikan tinggi dan AI:

1. Pengalaman penilaian dan pembelajaran membekali siswa untuk berpartisipasi secara etis dan aktif dalam masyarakat di mana AI ada di mana-mana, dan
2. Membentuk penilaian yang dapat dipercaya tentang pembelajaran siswa di era AI memerlukan pendekatan penilaian yang beragam, inklusif, dan kontekstual (Lodge, Howard, et al.  2023 , 2–3).

Prinsip-prinsip panduan disertai dengan lima proposisi yang ‘menguraikan prinsip-prinsip tingkat tinggi dan menguraikan penekanan aspirasional untuk penilaian pendidikan tinggi di dunia tempat siswa akan terlibat dengan AI, termasuk AI generatif, selama masa studi dan kehidupan mereka’ (Lodge, Howard, et al. 2023 , 3). Proposisi tersebut menyatakan bahwa penilaian harus menekankan: 1, keterlibatan yang tepat dan autentik dengan AI; 2, pendekatan terprogram untuk penilaian yang selaras dengan disiplin ilmu/kualifikasi; 3, proses pembelajaran; 4, peluang bagi siswa untuk bekerja dengan tepat satu sama lain dan AI; dan 5, keamanan pada titik-titik yang bermakna di seluruh program untuk menginformasikan keputusan tentang kemajuan dan penyelesaian (Lodge, Howard, et al. 2023 ).

2.4 Keterampilan Penting bagi Akuntan
Pertimbangan penting yang memengaruhi desain penilaian bagi pendidik akuntansi adalah kebutuhan untuk mendorong pengembangan keterampilan yang dibutuhkan yang sekarang dibutuhkan oleh akuntan profesional di era AI generatif (Tsiligiris dan Bowyer 2021 ). Ini termasuk keterampilan data dan teknologi (Jackson 2020 ; Jackson et al. 2023 ) dan keterampilan digital tingkat lanjut (Tsiligiris dan Bowyer 2021 ) untuk memastikan kemahiran dalam teknologi AI, analisis data, dan alat digital untuk mengelola proses otomatis dan memanfaatkan teknologi secara efektif untuk pengambilan keputusan strategis (Moll dan Yigitbasioglu 2019 ; Holmes dan Douglass 2021 ). Keterampilan manajemen data, termasuk pembersihan dan analisis data, telah menjadi penting karena akuntan memainkan peran yang semakin penting dalam mengelola kumpulan data besar dan memanfaatkan analisis prediktif untuk menghasilkan wawasan dan mendukung pengambilan keputusan (Holmes dan Douglass 2021 ). Akuntan kini juga memerlukan keterampilan analitis yang kuat untuk menginterpretasikan data dan berkontribusi pada strategi bisnis (Leitner-Hanetseder et al. 2021 ). Pemahaman mendalam tentang implikasi etis AI, bersama dengan kemampuan untuk mengelola dan mengurangi risiko terkait, menjadi semakin penting bagi akuntan saat mereka menghadapi tantangan integrasi AI (Tsiligiris dan Bowyer 2021 ) dan berusaha untuk mematuhi kewajiban mereka berdasarkan Kode Etik Internasional untuk Akuntan Profesional untuk bertindak demi kepentingan publik dan menumbuhkan budaya etis dalam organisasi (International Ethics Standard Board for Accountants (IESBA) 2023 ).

Keterampilan profesional seperti berpikir kritis, kreativitas, dan komunikasi juga penting untuk menyampaikan wawasan data yang kompleks secara efektif kepada audiens ahli dan non-ahli (Leitner-Hanetseder et al. 2021 ; Tharapos 2022 ). Akuntan juga harus memiliki ketahanan dan kemampuan beradaptasi, serta komitmen untuk belajar seumur hidup agar dapat mengikuti perkembangan teknologi dan teknologi baru (Tsiligiris dan Bowyer 2021 ). Meskipun penelitian ini telah mengidentifikasi keterampilan penting yang dibutuhkan akuntan dalam lingkungan profesional saat ini, hanya sedikit eksplorasi dalam beasiswa pendidikan akuntansi tentang cara merancang penilaian yang secara efektif mengembangkan keterampilan ini.

2.5 Taksonomi Bloom yang Direvisi (RBT)
RBT terdiri dari enam tingkatan pembelajaran yang diklasifikasikan dari keterampilan tingkat rendah mengingat dan memahami hingga keterampilan tingkat tinggi seperti menerapkan, menganalisis, mengevaluasi, dan menciptakan, dan empat kategori pengetahuan: faktual, konseptual, prosedural, dan metakognitif (Anderson et al. 2001 ). Dengan berbagai proses kognitif yang selaras dengan berbagai domain pengetahuan, RBT menekankan pembelajaran aktif, pemikiran kritis, dan penciptaan pengetahuan baru, menjadikannya kerangka kerja populer yang dimanfaatkan oleh para pendidik saat merancang kurikulum yang berpusat pada siswa dan berfokus pada hasil, tugas penilaian, dan strategi pengajaran (Popenici dan Millar 2015 ; Jaiswal dan Al-Hattami 2020 ; Johnson et al. 2020 ).

Tren terkini menuju perancangan pembelajaran dan penilaian autentik, yang merangkum prinsip-prinsip inti realisme, tantangan kognitif, dan penilaian evaluatif (Villarroel et al. 2018 ), didukung oleh RBT karena level yang lebih tinggi menumbuhkan keterampilan berpikir tingkat tinggi dan kreativitas (Thanh et al. 2023 ). AI generatif telah ditemukan untuk memecahkan penilaian autentik dalam ekonomi secara berbeda, berkinerja baik pada level orde rendah, sementara masih berkinerja dalam cara yang dapat diterima pada level orde tinggi, dengan ‘menciptakan’ menunjukkan level kinerja terlemah (Thanh et al. 2023 ). Lebih jauh lagi, AI generatif dapat menguraikan pertanyaan berbasis numerik lebih baik daripada yang berbasis teks dan menunjukkan kelemahan dalam mengembangkan dan memelihara perkembangan argumen yang logis berdasarkan kerangka kerja teoritis dan menyediakan referensi yang sesuai (Thanh et al. 2023 ).

Karena RBT telah menunjukkan pentingnya dan kegunaannya di berbagai disiplin akademis, RBT dipilih sebagai kerangka kerja yang cocok untuk menganalisis potensi pengaruh ChatGPT pada desain penilaian dalam program akuntansi sarjana dalam penelitian ini.

3 Desain Penelitian
Pendekatan kualitatif diadopsi untuk mencapai tujuan studi ini dengan menggunakan data penilaian yang diambil dari enam mata kuliah wajib dalam program akuntansi sarjana yang diakreditasi oleh berbagai badan akuntansi profesional internasional dan domestik di universitas besar Australia. Untuk memastikan cakupan yang komprehensif, mata kuliah yang dipilih mencakup akuntansi pengantar, manajemen, dan akuntansi keuangan di berbagai tingkat tahun, teori akuntansi, perpajakan, dan mata kuliah puncak. Dua mata kuliah dipilih dari setiap tahun dari program 3 tahun. Perspektif programatik dicari karena mata kuliah tahun pertama cenderung berfokus pada membangun pengetahuan dan konsep fundamental melalui pembelajaran tingkat rendah, seperti mengingat dan memahami. Mata kuliah tahun kedua diarahkan pada pembelajaran tingkat menengah, sementara mata kuliah tahun akhir, bersama dengan mata kuliah puncak, bertujuan untuk mengembangkan pembelajaran tingkat tinggi, seperti mengevaluasi dan menciptakan, dan menetapkan pencapaian hasil pembelajaran program dan atribut lulusan. Berbagai tujuan pembelajaran mata kuliah di seluruh tingkat tahun memungkinkan eksplorasi komprehensif tentang pengaruh dan efektivitas ChatGPT pada penyelesaian dan desain penilaian dalam program akuntansi.

Setiap mata kuliah yang dipilih untuk ujian memuat tiga penilaian, dua di antaranya dilaksanakan selama semester dan yang ketiga pada akhir semester, sehingga totalnya ada 18 penilaian yang dievaluasi dalam studi ini. Setiap penilaian yang diuji merangkum prinsip-prinsip inti realisme, tantangan kognitif, dan penilaian evaluatif dalam penilaian autentik yang dianut oleh Villarroel et al. ( 2018 ). Sebagian besar penilaian dilaksanakan di kelas, dengan tiga mata kuliah memiliki laporan utama sebagai item penilaian akhir (akuntansi pengantar, akuntansi manajemen tahun ketiga, dan ujian akhir) dan tiga mata kuliah memiliki ujian akhir sesuai dengan persyaratan badan akreditasi profesi akuntansi dan perpajakan (akuntansi keuangan tahun kedua, akuntansi manajemen dan perpajakan tahun kedua).

Penelitian ini dilakukan dalam tiga tahap. Tahap pertama melibatkan penilaian kualitas respons yang diberikan oleh ChatGPT, di mana setiap pertanyaan dalam setiap penilaian dimasukkan sebagai prompt di ChatGPT. Respons yang diberikan oleh ChatGPT kemudian dibandingkan dan diberi nilai sesuai dengan solusi dan panduan penilaian yang disiapkan oleh koordinator kursus. Tugas ini dilakukan oleh anggota tim peneliti yang merupakan koordinator kursus yang bertanggung jawab untuk merancang tugas penilaian atau yang memiliki pemahaman mendalam tentang konten kursus. Para pendidik akuntansi ini dianggap memenuhi syarat untuk mengalokasikan skor untuk jawaban yang diberikan oleh ChatGPT berdasarkan kualitas dan kebenaran, menentukan pengaruh potensial apa pun pada pencapaian hasil pembelajaran kursus, dan mengidentifikasi kekuatan dan kelemahan penggunaan ChatGPT oleh siswa dalam menyelesaikan penilaian. Tujuan dari tahap ini adalah untuk mengevaluasi kemampuan ChatGPT untuk menyelesaikan tugas penilaian akuntansi saat ini dan pengaruh potensialnya pada proses pembelajaran.

Pada tahap kedua, temuan dari tahap pertama dianalisis menggunakan RBT sebagai lapisan untuk mengevaluasi pengaruh ChatGPT pada pencapaian hasil pembelajaran untuk berbagai tingkat pembelajaran. Temuan ini kemudian digunakan untuk memberikan wawasan tentang bagaimana ChatGPT dapat digunakan oleh pendidik dalam desain penilaian untuk membantu siswa memperoleh kemampuan kognitif tingkat tinggi dan pengetahuan di seluruh program akuntansi.

Tahap ketiga melibatkan penggambaran temuan dari tahap satu dan dua untuk mengusulkan pendekatan desain penilaian praktis yang memfasilitasi pengembangan keterampilan digital dan profesional penting yang dibutuhkan oleh profesional akuntansi di era di mana AI menjadi hal yang lumrah.

4 Temuan
4.1 Tahap 1: Kualitas dan Akurasi Respons
Pada tahap pertama, ChatGPT digunakan untuk menyelesaikan 18 penilaian di enam mata kuliah inti dalam program akuntansi sarjana. Melalui analisis ini, kami memutuskan bahwa temuan kami perlu diklasifikasi ke dalam jenis penilaian dan apakah tugas tersebut berada dalam konteks tertentu (misalnya, klien hipotetis atau lingkungan bisnis) atau lebih deskriptif/berfokus pada teori.

Temuan kami, yang diklasifikasikan berdasarkan jenis penilaian, menunjukkan bahwa ChatGPT secara umum unggul dalam menjawab pertanyaan pilihan ganda (MCQs), hal ini bergantung pada gaya pertanyaan. Misalnya, ChatGPT dapat menjawab beberapa pertanyaan terkait teori dengan benar secara langsung berdasarkan informasi yang terdapat dalam buku teks yang ditentukan atau sumber lain di Internet. Dalam contoh lain, meskipun ChatGPT dapat memberikan jawaban yang benar untuk beberapa MCQs, ChatGPT gagal menjawab pertanyaan yang sengaja ditulis untuk mencerminkan konseptualisasi akuntansi yang lebih luas. ChatGPT juga tidak dapat memberikan detail atau langkah perhitungan untuk MCQs empiris dan hanya memberikan jawaban akhir, yang tidak selalu benar.

Untuk tugas penilaian terapan, ChatGPT menunjukkan kemampuan terbatas untuk menerapkan standar akuntansi dengan benar, namun dapat menghasilkan hasil dasar dengan benar. Misalnya, dalam tugas penilaian berbasis kasus dalam kursus akuntansi keuangan tahun kedua, ChatGPT tidak dapat menerapkan standar akuntansi dengan benar pada pertanyaan berbasis skenario. Untuk beberapa transaksi, sementara ChatGPT dapat mengidentifikasi nama akun dengan benar dalam entri jurnal dasar, angka-angka yang menyertainya tidak benar. ChatGPT hanya dapat menyelesaikan sebagian entri jurnal yang lebih kompleks (misalnya, pembalikan revaluasi aset atau yang mendukung laporan keuangan konsolidasi), dan banyak entri jurnal yang hilang. Untuk pertanyaan berbasis perhitungan sederhana, ChatGPT dapat menghasilkan solusi akhir dasar dengan benar, meskipun langkah-langkah perantara tidak disediakan. ChatGPT juga membuktikan ketidakmampuan untuk menghasilkan respons perhitungan dasar untuk pertanyaan terkait perpajakan. Sementara ChatGPT sering kali dapat mengidentifikasi tarif pajak dan ambang batas yang relevan dengan benar untuk serangkaian fakta dasar wajib pajak, ChatGPT sering kali tidak dapat menerapkannya dengan benar pada informasi yang terkandung dalam pertanyaan dan memberikan perhitungan yang ‘berhalusinasi’. Meskipun ChatGPT mampu menyajikan perhitungan yang akurat di beberapa area, ChatGPT menghadapi tantangan dengan konsep seperti pendapatan kotor dan skenario ‘jika ini maka itu’. Yang terakhir dapat dicontohkan dengan mengidentifikasi dengan benar penerimaan pendapatan yang bersumber dari luar negeri tetapi gagal mengidentifikasi relevansi pencantumannya dalam pendapatan kena pajak berdasarkan status kependudukan pajak.

ChatGPT menunjukkan kemampuan terbatas untuk menjawab pertanyaan berdasarkan skenario kasus yang lebih holistik atau komprehensif. Misalnya, dalam kursus akuntansi manajemen tahun kedua, ChatGPT tidak dapat menjawab serangkaian pertanyaan berbasis kasus yang melibatkan perhitungan numerik dan analisis kualitatif, serta tanggapan diskusi berdasarkan situasi bisnis dunia nyata yang autentik di mana siswa berperan sebagai akuntan, analis, dan manajer yang menanggapi situasi praktis dalam jangka waktu yang singkat. Sementara ChatGPT mampu menjawab beberapa pertanyaan perhitungan numerik dengan benar, dalam contoh lain, daripada menjawab pertanyaan secara langsung, ia hanya memberikan instruksi tentang cara menghitung item yang tidak terkait. Untuk pertanyaan analitis berbasis skenario, ChatGPT menjawab beberapa pertanyaan dengan benar tetapi gagal menggunakan data kuantitatif yang disediakan dalam studi kasus untuk mendukung jawabannya. Dalam banyak contoh, ChatGPT tidak dapat menjawab pertanyaan berbasis teks yang memerlukan analisis jawaban numerik yang dihasilkan dalam pertanyaan sebelumnya. Temuan kami juga menunjukkan bahwa ChatGPT berjuang dengan ambiguitas atau disonansi yang ada dalam skenario, baik yang timbul dari variasi dalam cara informasi disajikan (misalnya, pendapatan kotor atau bersih, informasi berbasis naratif yang dipadukan dengan angka dolar, informasi tambahan yang relevan dengan interpretasi data, format presentasi seperti pelabelan tabel) atau dalam ketidakpastian yang ada dalam skenario (interpretasi dan pengambilan keputusan yang diperlukan untuk mengambil langkah berikutnya, interpretasi yang mengarah ke hasil alternatif, persyaratan untuk asumsi yang akan dibuat untuk melanjutkan). Mengingat bahwa pertanyaan skenario berbasis kasus yang komprehensif sering kali dibangun berdasarkan respons terhadap pertanyaan sebelumnya, efek gabungan terlihat jelas. Perlu dicatat bahwa masalah seperti ini tidak dengan sendirinya terisolasi pada ChatGPT.

Ringkasan temuan dari tahap analisis ini disajikan dalam Tabel 1 yang disusun menurut jenis penilaian. Secara umum, ChatGPT mampu mengerjakan soal dengan benar berdasarkan informasi yang tersedia dari buku teks atau materi yang diterbitkan, namun temuan kami menunjukkan bukti adanya ‘halusinasi’ dan/atau kurangnya hubungan dengan sumber langsung akuntansi dan hukum. Hal ini khususnya terlihat dalam perpajakan, di mana jawaban harus memberikan panduan menggunakan bukti dari undang-undang, hukum kasus, saran, dan materi panduan. Dalam beberapa kasus, ChatGPT dapat mengerjakan kalkulasi dasar atau entri jurnal dengan benar, namun tidak dapat menjawab pertanyaan unik berbasis kasus atau skenario atau pertanyaan yang memerlukan kalkulasi rumit dengan benar. Temuan kami menunjukkan bahwa ChatGPT sangat baik dalam menghasilkan ide, saran, dan rekomendasi tetapi lemah dalam menyelesaikan tugas yang memerlukan penerapan standar dan prosedur akuntansi tertentu, atau yang menggunakan informasi unik, tidak lengkap, atau ambigu, hukum tertentu, atau data rumit.

TABEL 1. Kemampuan ChatGPT untuk menyelesaikan penilaian pada berbagai jenjang pembelajaran pada mata kuliah akuntansi sarjana.

Demikian pula, analisis yang diberikan terbatas atau samar-samar, berfokus pada penyajian kesimpulan daripada analisis yang memadai, serta sering tidak berusaha mempertimbangkan aspek analisis yang lebih bernuansa dan kritis maupun relevansi konteks skenario. Misalnya, ChatGPT gagal menganalisis isu sekunder/alur, pengecualian/pembebasan, atau faktor rumit di luar posisi umum yang diambil. Dalam skenario yang melibatkan ketidakpastian, ChatGPT tidak akan segera melanjutkan atau cenderung memberikan respons ‘mungkin’. ChatGPT juga tidak dapat memberikan respons terhadap pertanyaan berdasarkan partisipasi dalam simulasi atau membuat gambar dan diagram tertentu.

4.2 Tahap 2: Tingkat RBT
Pada tahap dua, temuan dari tahap satu dianalisis menggunakan RBT sebagai overlay untuk mengevaluasi pengaruh ChatGPT dalam mencapai hasil pembelajaran untuk berbagai tingkat pembelajaran. Seperti yang ditunjukkan pada Tabel 1 , temuan kami menunjukkan bahwa kemampuan ChatGPT untuk melakukan tugas penilaian bervariasi secara signifikan menurut tingkat pembelajaran yang dinilai dan tingkat kontekstualisasi. Untuk jenis penilaian yang umumnya digunakan untuk mengevaluasi efektivitas pembelajaran tingkat rendah, seperti mengingat pengetahuan MCQs dan pertanyaan dasar yang terkait dengan teori, ChatGPT berkinerja relatif baik. Untuk jenis penilaian yang dirancang untuk mengukur, atau memfasilitasi, pembelajaran tingkat tinggi, seperti masalah yang memerlukan perhitungan kompleks, tugas yang memerlukan analisis informasi perusahaan dunia nyata, dan pembuatan diagram atau solusi untuk masalah dunia nyata yang kompleks, ChatGPT kurang mampu dan, dalam banyak kasus, tidak dapat memberikan solusi yang benar atau menawarkan respons yang layak. ChatGPT secara umum unggul dalam menyelesaikan tugas berbasis teks dan berfokus pada informasi, karena sistem ChatGPT menggunakan model bahasa generatif (GPT-3.5) yang dilatih pada data yang diambil dari berbagai materi yang diterbitkan. Sangat baik dalam menjawab pertanyaan terkait teori, menjelaskan konsep atau pendekatan, dan memberikan gagasan serta rekomendasi.

Sejumlah besar data yang digunakan untuk melatih ChatGPT mencakup berbagai perspektif dan pendekatan pada berbagai topik. Menggunakan ChatGPT sebagai alat untuk mengonsolidasikan ide-ide ini jauh lebih efisien daripada metode pencarian tradisional. Dari sudut pandang ini, ChatGPT dapat dianggap sebagai alat bantu pembelajaran yang efektif. Sementara ChatGPT dapat menyederhanakan tugas-tugas tingkat rendah seperti pengambilan informasi dan perolehan pengetahuan dasar, ChatGPT kesulitan dengan tugas-tugas kontekstual yang memerlukan proses kognitif tingkat tinggi seperti evaluasi dan kreasi.

Kami juga mengamati bahwa ChatGPT mampu melakukan kalkulasi dasar, meskipun kami mencatat bahwa ia sering berhalusinasi. Secara khusus, ia kurang kuat dalam analisis empiris dan dalam menjawab pertanyaan berurutan dengan koneksi logis yang dibangun berdasarkan respons dan/atau analisis sebelumnya. ChatGPT juga lemah dalam melakukan kalkulasi kompleks, interpretasi hasil empiris, atau penciptaan solusi untuk isu-isu kontemporer yang dihadapi profesi akuntansi, karena ia belum dirancang atau dilatih untuk tujuan tersebut.

Gambar 1 menyajikan pemetaan terperinci jenis penilaian yang diteliti dalam studi ini, dikategorikan berdasarkan jenis pengetahuan, terhadap urutan pembelajaran seperti yang digambarkan dalam RBT. Berbagai kemampuan ChatGPT, berdasarkan kinerja umum saat menyelesaikan jenis penilaian ini, juga ditampilkan.

Temuan tersebut menunjukkan bahwa sistem AI generatif, seperti ChatGPT, dapat digunakan sebagai alat bantu pembelajaran untuk mengumpulkan informasi, memahami proses, menghasilkan ide awal, dan meningkatkan artikulasi. Meskipun dapat menyelesaikan tugas penilaian yang dirancang untuk mengukur pembelajaran tingkat rendah, ChatGPT tidak dapat menunjukkan hasil yang sesuai untuk tugas penilaian yang lebih menantang. Oleh karena itu, penelitian kami menunjukkan bahwa ChatGPT cenderung tidak efektif dalam menangani tugas penilaian pembelajaran tingkat tinggi yang memerlukan pemikiran kritis, analisis kompleks, dan evaluasi mendalam tanpa pengawasan dan/atau navigasi manusia.

Dengan demikian, ChatGPT (atau AI generatif lainnya) dapat dimasukkan ke dalam desain penilaian sebagai langkah pertama untuk membantu siswa mengingat kembali pengetahuan dan memahami konsep-konsep fundamental, sehingga memungkinkan bentuk perancah pengalaman belajar kontemporer. Ini akan meningkatkan efisiensi dalam pembelajaran tingkat rendah yang mendasar yang diperlukan untuk memfasilitasi pencapaian keterampilan belajar tingkat tinggi seperti menganalisis skenario yang kompleks, penerapan pengetahuan untuk memecahkan masalah dunia nyata kontemporer, mengevaluasi hasil, dan menciptakan solusi inovatif. Terlepas dari keterbatasannya saat ini, sistem AI generatif, seperti ChatGPT, masih dapat berperan dalam pembelajaran tingkat menengah dan tinggi dengan memanfaatkan dan menjadi perantara informasi luas yang digunakan dalam pelatihan mereka untuk membantu siswa mengatur pikiran mereka dan menghasilkan ide-ide awal. Namun, dalam melakukannya, siswa harus memiliki tingkat pembelajaran yang memadai untuk memanfaatkan sistem AI generatif untuk menciptakan hasil yang bermakna.

4.3 Tahap 3: Pendekatan Desain Penilaian
Tahap ketiga penelitian melibatkan penggambaran temuan dari tahap satu dan dua untuk mengidentifikasi pendekatan desain penilaian yang memfasilitasi pengembangan keterampilan digital dan profesional yang diperlukan pada mahasiswa akuntansi.

4.3.1 Keterampilan Digital
Sepanjang program akuntansi, tugas penilaian harus dirancang untuk mendorong keterlibatan kolaboratif dan bertanggung jawab dengan sistem AI generatif, membekali mahasiswa dengan keterampilan digital penting yang dibutuhkan dalam lingkungan bisnis saat ini. Tugas penilaian tahun pertama harus memperkenalkan mahasiswa pada batasan etika, hukum, dan batasan lain dalam penggunaan AI generatif dalam lingkungan akademis dan profesional. Selain itu, mahasiswa harus menerima panduan tentang cara merujuk dan mengaitkan konten yang dibuat AI generatif dengan tepat sesuai dengan pedoman universitas yang relevan.

Untuk mempersiapkan mahasiswa dalam bekerja dengan AI generatif dalam profesi akuntansi, tugas penilaian harus memaparkan mereka pada tantangan dunia nyata yang dihadapi oleh praktisi akuntansi. Ini termasuk evaluasi implikasi etis penggunaan AI sehubungan dengan Kode Etik Internasional untuk Akuntan Profesional, Kode Etik APES110 untuk Akuntan Profesional, dan yang setara yang berlaku untuk praktisi pajak terdaftar di Australia sesuai dengan Undang-Undang Layanan Agen Pajak (2009) , bersama dengan pembuatan strategi manajemen risiko. Pendekatan ini menumbuhkan landasan yang kuat untuk berkolaborasi dengan sistem AI dan alat digital lainnya, keterampilan yang semakin penting di tempat kerja modern.

Tugas penilaian yang mempromosikan transparansi dan refleksi setelah terlibat dengan AI mendorong pembelajaran tingkat menengah dan tinggi dengan mengharuskan siswa untuk menganalisis dan mengevaluasi keluaran yang dihasilkan AI. Proses ini membantu mereka mengembangkan kemahiran dalam menulis perintah dan mendapatkan pemahaman yang lebih dalam tentang kemampuan dan keterbatasan AI. Pendekatan yang diadopsi harus bergantung pada bagaimana alat AI digunakan dalam penilaian. Misalnya, siswa dapat diminta untuk memberikan bukti perintah yang digunakan dan respons yang dihasilkan AI yang sesuai dalam lampiran pada penyerahan penilaian untuk mendukung analisis mereka. Atau, siswa dapat menyerahkan dokumen dengan perubahan dan komentar yang dilacak, yang menunjukkan bagaimana mereka menyempurnakan keluaran yang dihasilkan AI dan menjelaskan bagaimana revisi ini meningkatkan pekerjaan. Seperti yang disebutkan sebelumnya, ketika AI generatif digunakan untuk komponen tertentu dari tugas penilaian, siswa harus diminta untuk mengungkapkan dan/atau mengaitkan penggunaannya dengan tepat menurut pedoman universitas.

Sangat penting bahwa desain penilaian di seluruh program akuntansi mengadopsi pendekatan terprogram untuk mengembangkan keterampilan digital dengan menggabungkan tugas-tugas bertahap yang memanfaatkan AI generatif dan mencerminkan tugas-tugas akuntansi spesifik konteks dunia nyata. Misalnya, siswa dapat melakukan tugas penilaian kreatif menggunakan AI generatif untuk memulai ide-ide untuk solusi inovatif untuk masalah akuntansi kontemporer, presentasi atau laporan yang menarik pada tingkat pengantar di tahun pertama, tingkat menengah di tahun kedua, dan tingkat mapan di tahun ketiga. Integrasi AI generatif harus sistematis, memastikan bahwa hasil pembelajaran kursus untuk semua unit inti selaras dengan hasil pembelajaran program, kemampuan lulusan seperti ‘ahli digital’, dan persyaratan akreditasi badan profesional akuntansi.

4.3.2 Keterampilan Profesional
Tugas penilaian yang menggabungkan AI generatif harus melibatkan siswa dalam pembelajaran tingkat menengah hingga tinggi, memberikan kesempatan untuk mengembangkan pemikiran kritis, penilaian profesional, dan proses reflektif—keterampilan profesional yang penting untuk profesi akuntansi saat ini (Tharapos 2022 ). Tugas penilaian yang digerakkan oleh AI generatif juga harus dirancang untuk menekankan dan menunjukkan proses pembelajaran siswa. Salah satu pendekatan, misalnya, adalah mengganti ketergantungan pada satu penilaian yang sangat berbobot di akhir semester dengan serangkaian tugas terpadu yang digerakkan oleh AI generatif. Pendekatan penilaian seperti itu dapat dirancang untuk menunjukkan proses berpikir siswa yang terus berkembang.

Pendekatan lain yang menekankan proses pembelajaran dan mendorong pengembangan keterampilan profesional adalah penggunaan tugas penilaian di mana siswa menggunakan AI generatif untuk menganalisis laporan keuangan yang berfokus pada proses tersebut dengan mengharuskan siswa untuk mendokumentasikan penggunaan AI mereka, termasuk petunjuk yang digunakan, kesalahan dan/atau halusinasi yang teridentifikasi, dan bagaimana mereka menyempurnakan analisis mereka menggunakan penilaian profesional. Tugas berulang, seperti menghitung ulang dan menyesuaikan rasio keuangan, selanjutnya akan menunjukkan pengembangan keterampilan berpikir kritis siswa dan keterlibatan dengan AI generatif. Pendekatan penilaian ini menekankan proses pembelajaran, karena siswa secara berulang menerapkan prinsip akuntansi menggunakan AI generatif, sekaligus mendorong pengembangan keterampilan profesional yang penting.

Memanfaatkan AI generatif dalam penilaian kelompok menawarkan pendekatan kontemporer untuk mengembangkan keterampilan kerja tim pada mahasiswa akuntansi, keterampilan profesional yang sangat dihargai oleh pemberi kerja lulusan akuntansi (Dolce et al. 2020 ; Oosthuizen et al. 2021 ; Tharapos 2022 ). Misalnya, dalam proyek kelompok yang melibatkan penggunaan AI generatif, mahasiswa dapat ditugaskan untuk membuat dokumentasi yang menunjukkan proses yang dilakukan, termasuk bukti rapat, alokasi tugas, interaksi kelompok, dan refleksi tentang apa yang berhasil, apa yang tidak berhasil, dan apa yang akan mereka lakukan secara berbeda dalam proyek tim mendatang yang melibatkan AI generatif. Selain itu, tinjauan sejawat atas kontribusi anggota tim dapat disertakan. Yang penting, refleksi mahasiswa harus memerlukan analisis individu dan didasarkan pada pengalaman belajar unik mereka.

Tugas penilaian yang memerlukan pembelajaran tingkat tinggi dan menunjukkan kemampuan siswa tanpa menggunakan AI generatif juga harus diintegrasikan ke seluruh program akuntansi, dengan setidaknya satu tugas tersebut di setiap level dan dalam kursus akhir. Tugas-tugas ini dapat mencakup ujian yang ditulis secara kreatif, partisipasi dalam simulasi, penilaian lisan, atau format lain yang diawasi untuk memastikan integritas pekerjaan siswa. Selain itu, penilaian ini harus diselaraskan dengan cermat dengan hasil pembelajaran program dan, dalam kasus kursus akhir, secara langsung dikaitkan dengan penyelesaian program yang berhasil. Pendekatan ini memvalidasi keterampilan profesional independen siswa, seperti berpikir kritis dan penilaian profesional, sambil mengurangi risiko yang terkait dengan ketidakakuratan yang dihasilkan AI, seperti halusinasi.

5 Diskusi
Temuan studi ini menunjukkan potensi AI generatif, yang dicontohkan oleh ChatGPT, untuk mendukung desain penilaian di seluruh program akuntansi. Khususnya dalam pembelajaran tingkat rendah dan menengah, yang meliputi mengingat, memahami, dan menerapkan, sistem AI generatif muncul sebagai alat bantu yang ampuh, mahir dalam mencari sumber, mensintesis, menyajikan, dan menguraikan informasi yang tersedia secara umum secara efisien untuk mendukung aktivitas kognitif yang disesuaikan dengan kebutuhan individu. Ini dapat membantu siswa yang kesulitan memahami konsep dan terminologi akuntansi mendasar di tahun pertama mereka dan mungkin akan mengundurkan diri dari program (Sithole et al. 2023 ), atau bagi siswa yang bukan penutur asli bahasa Inggris (Tharapos dan O’Connell 2022 ). Namun, pendidik perlu memperhatikan kemampuan ChatGPT untuk menyelesaikan banyak tugas tingkat rendah hingga menengah secara akurat dan karena itu berpotensi mengganggu pencapaian hasil pembelajaran. Menggabungkan penggunaan AI generatif sebagai alat dalam menyelesaikan penilaian formatif dapat membantu mengatasi masalah ini.

Dengan merancang penilaian yang mendorong siswa untuk menggunakan AI generatif sebagai alat bantu pembelajaran, para pendidik dapat mengatasi masalah integritas sekaligus memastikan bahwa hasil pembelajaran tercapai. Kuncinya terletak pada penyediaan instruksi terperinci tentang penggunaan AI yang tepat, menggabungkan berbagai metode penilaian, perancah, dan mempromosikan pembelajaran kolaboratif, menggunakan tugas berbasis skenario dengan konteks yang unik, dan memberi penekanan pada proses pembelajaran itu sendiri daripada hasil akhir.

Untuk pembelajaran tingkat rendah, daripada mengandalkan pertanyaan pilihan ganda atau jawaban singkat, yang dapat dengan mudah ditangani oleh aplikasi AI generatif seperti ChatGPT, siswa dapat diberi tugas membuat kartu catatan digital untuk istilah akuntansi utama, lengkap dengan definisi dan contoh. Atau, tergantung pada sistem AI generatif, siswa dapat mengembangkan peta konsep yang menggambarkan secara visual hubungan antara konsep akuntansi, yang telah terbukti membantu pembelajaran siswa (Sithole et al. 2021 ). Pendekatan ini memungkinkan siswa memanfaatkan AI generatif untuk mencari dan mensintesis informasi, sambil tetap mengharuskan mereka untuk memahami dan mengatur materi secara efektif untuk menyelesaikan tugas penilaian.

Untuk pembelajaran di tengah kelas, penilaian dapat difokuskan pada studi kasus berbasis skenario di mana siswa diminta untuk menerapkan prinsip akuntansi pada situasi dunia nyata, seperti menyiapkan laporan keuangan sederhana dari data yang diberikan. Atau, siswa dapat menganalisis laporan keuangan dunia nyata untuk mengidentifikasi tren, menghitung rasio, atau mendeteksi ketidaksesuaian, serta membahas apa yang diungkapkan temuan ini tentang kinerja perusahaan. Meskipun sistem AI generatif seperti ChatGPT dapat membantu siswa dalam membuat draf pertama, mencari sumber contoh, atau menemukan referensi, siswa tetap perlu menerapkan metodologi yang dipelajari dan menganalisis informasi secara kritis untuk mengidentifikasi kesalahan dan menyelesaikan tugas ini dengan benar.

Menggabungkan penggunaan sistem AI generatif ke dalam mata kuliah akuntansi tahun pertama di awal program, melalui tugas penilaian formatif, dapat membantu siswa mengembangkan keterampilan belajar tingkat tinggi. Mengingat kecenderungan AI generatif untuk menjawab pertanyaan mengingat pengetahuan dan pemahaman dasar konsep fundamental dengan benar (Thanh et al. 2023 ), sangat penting bahwa tugas penilaian yang melibatkan aktivitas ini berisiko rendah atau tidak dapat dinilai dan digunakan sebagai langkah awal dalam desain penilaian formatif saja.

Sementara sistem AI generatif dapat membantu siswa dalam mencari sumber, mensintesis, dan menyajikan informasi, mereka tidak dapat menggantikan pemikiran kritis dan pemecahan masalah yang diperlukan untuk menyelesaikan penilaian sumatif akhir tingkat tinggi dan penilaian dalam kursus puncak pada akhir program mereka. Misalnya, siswa dapat memanfaatkan AI generatif untuk mengumpulkan informasi latar belakang untuk proyek puncak yang melibatkan desain solusi untuk organisasi dunia nyata pada masalah yang relevan, seperti keberlanjutan atau emisi karbon; namun, desain solusi akan memerlukan penerapan keterampilan belajar tingkat tinggi. Atau, siswa dapat disajikan dengan dilema etika dalam akuntansi yang terkait dengan penggunaan AI generatif, yang mengharuskan mereka untuk menggunakan keterampilan tingkat tinggi untuk menilai opsi yang tersedia dan membenarkan penalaran mereka menggunakan standar akuntansi, undang-undang, atau kode etik yang relevan. Penilaian berbasis proyek yang dirancang bersama dengan industri (Keevy et al. 2025 ) juga dapat menumbuhkan pemahaman yang lebih dalam dengan, misalnya, mengharuskan siswa untuk membuat proposal proyek yang komprehensif, termasuk strategi manajemen risiko untuk penggunaan AI generatif. Desain materi pembelajaran pendukung dan aktivitas di kelas menunjukkan pendekatan pedagogi yang berwawasan ke depan dan holistik yang berada di luar cakupan studi ini dan merupakan area yang memerlukan penelitian lebih lanjut.

Menariknya, ChatGPT kesulitan dengan penilaian yang berisi konten kontekstual yang menyajikan akuntansi sebagai lebih dari sekadar praktik teknis; praktik yang juga mengandung unsur sosial dan moral (Carnegie et al. 2021 ). Penilaian dalam mata kuliah akuntansi harus ditulis untuk mencakup konseptualisasi akuntansi yang lebih luas jika ingin memberikan penilaian yang akurat tentang pembelajaran tingkat tinggi siswa dan kemampuan mereka untuk menganalisis secara kritis dan merancang solusi kreatif untuk mengatasi masalah bisnis kontemporer. Sementara AI generatif dapat digunakan untuk menghasilkan ide-ide awal, ia tidak dapat menciptakan solusi untuk masalah-masalah seperti pilihan strategis, perubahan iklim, masalah lingkungan dan keberlanjutan, keberadaan bias dalam algoritma AI dan masalah etika lainnya yang terkait dengan meluasnya penggunaan AI generatif yang saat ini sedang bergulat dengan profesi akuntansi (Tharapos 2022 ; Tharapos et al. 2023 ).

Lebih jauh lagi, sistem AI generatif juga dapat berperan penting dalam pembelajaran adaptif, menyediakan umpan balik yang dipersonalisasi pada penilaian dan bantuan yang disesuaikan dengan kebutuhan siswa yang terus berkembang selama perjalanan belajar mereka. Menggabungkan tugas penilaian yang mengharuskan siswa untuk menyempurnakan pekerjaan mereka menggunakan ChatGPT, bersama dengan melacak perubahan dan bukti perintah, serta menilai efektivitas dan konsekuensi AI generatif, dapat menjadi komponen penting dari desain penilaian dalam sistem pembelajaran adaptif. Pendekatan pembelajaran dinamis yang ditingkatkan dengan teknologi seperti itu sangat sesuai dengan pembelajaran konstruktivis di mana pelajar secara aktif membangun pengetahuan melalui interaksi dengan lingkungan mereka, dengan demikian menumbuhkan pengalaman belajar yang kaya dan mendalam (Bada dan Olusegun 2015 ).

Meskipun diakui bahwa AI generatif memiliki beberapa keterbatasan bawaan dan rentan terhadap halusinasi, beroperasi dalam konteks bisnis profesional tanpa keterbatasan tersebut bukan lagi pilihan (Wood et al. 2023 ). Item penilaian harus dirancang dengan cermat dan terarah untuk memfasilitasi pengembangan kemampuan pembelajaran tingkat tinggi dari pembelajaran aktif, pemikiran kritis, dan penciptaan pengetahuan baru untuk mempersiapkan lulusan akuntansi untuk bekerja secara kolaboratif, etis, dan tepat dengan AI (Lodge, Howard, et al. 2023 ). Tugas penilaian yang mengacu pada informasi yang tersedia secara umum harus dibatasi pada penilaian berisiko rendah atau tidak dapat dinilai yang dirancang sebagai pemeriksaan pengetahuan awal atau penguatan pembelajaran sebelum berlanjut ke tugas berbasis skenario dunia nyata yang berisiko lebih tinggi. Namun, untuk memastikan terwujudnya tujuan ini, isu-isu terkait seperti privasi data, bias algoritmik, dan potensi ketergantungan yang berlebihan pada teknologi—yang mungkin merugikan keterampilan berpikir kritis—harus ditangani dengan cermat selama fase desain penilaian. Lebih jauh lagi, sangat penting bagi universitas untuk menyediakan koordinator kursus dengan waktu dan sumber daya yang memadai untuk mendukung desain penilaian inovatif yang memanfaatkan AI generatif (Tharapos 2022 ; Ozdil et al. 2023 ) menggunakan pendekatan terprogram untuk secara bermakna mendorong pengembangan keterampilan digital dan profesional mahasiswa.

6 Kesimpulan
Tujuan utama dari studi ini adalah untuk menguji kemampuan AI generatif dalam melaksanakan tugas penilaian akuntansi untuk menginformasikan desain penilaian yang tepat untuk lingkungan di mana AI generatif merupakan hal yang umum. Dua tahap pertama dari studi kami menganalisis kemampuan ChatGPT untuk menyelesaikan tugas penilaian, yang dipandu oleh RBT, di enam mata kuliah wajib pada berbagai tingkat tahun dalam program akuntansi sarjana. Pada tahap ketiga, kami menawarkan pendekatan desain penilaian praktis bagi para pendidik akuntansi yang memanfaatkan AI generatif untuk mengembangkan keterampilan digital dan profesional siswa. Dengan pendekatan analitis yang komprehensif ini, kami menawarkan wawasan berharga bagi para pendidik untuk menyempurnakan pedagogi mereka dan secara efektif mengintegrasikan AI generatif sebagai alat pembelajaran siswa yang ampuh dalam desain penilaian.

Temuan kami mengungkap kemanjuran ChatGPT dalam memfasilitasi tugas pembelajaran tingkat rendah hingga menengah, tetapi menyoroti keterbatasan kegunaannya dalam menyelesaikan tugas penilaian tingkat tinggi. Meskipun demikian, ChatGPT muncul sebagai alat yang berharga untuk memperkuat pengetahuan dan keterampilan mendasar yang penting untuk menyelesaikan tugas penilaian tingkat tinggi selanjutnya. Dengan memahami kemampuan dan keterbatasan sistem AI generatif seperti ChatGPT, pendidik akuntansi dapat mengembangkan pendekatan yang lebih efektif untuk merancang tugas penilaian bagi siswa yang selaras dengan berbagai tingkat pembelajaran yang diuraikan dalam RBT. Pendekatan ini memungkinkan siswa untuk mengoptimalkan pengalaman belajar mereka dengan menggunakan AI generatif sebagai alat bantu yang berharga sekaligus mengurangi kekhawatiran tentang integritas akademis dan menghindari pembelajaran proksi melalui ketergantungan yang berlebihan pada AI generatif.

Untuk menilai efektivitas desain penilaian yang direvisi dalam mencapai hasil pembelajaran, kinerja siswa dapat dibandingkan sebelum dan sesudah implementasi, menggunakan rubrik untuk menilai penguasaan keterampilan profesional utama seperti kerja sama tim, berpikir kritis, dan pemecahan masalah. Selain itu, survei dapat diberikan untuk mengumpulkan umpan balik kualitatif dari siswa tentang pengalaman mereka dengan penilaian yang direvisi, memberikan wawasan tentang dampaknya terhadap keterlibatan siswa. AI generatif harus diperlakukan dengan hati-hati dan secara strategis dimasukkan dalam desain tugas pembelajaran tingkat rendah, mengingat kecenderungannya untuk menanggapi dengan benar pertanyaan tingkat dasar dan ingatan pengetahuan. Temuan penelitian ini menggarisbawahi potensi AI generatif untuk meningkatkan desain penilaian dan menawarkan wawasan tentang perannya dalam mendukung lintasan pembelajaran siswa.

Studi kami memberikan beberapa kontribusi penting. Pertama, kami membahas kurangnya pemahaman dalam kajian pendidikan akuntansi tentang penggunaan AI generatif dalam desain penilaian (Ballantine et al. 2024 ). Dengan adopsi AI generatif yang meluas akhir-akhir ini, para pendidik akuntansi bergulat dengan cara merancang tugas penilaian secara efektif dan cara mengelola masalah terkait tentang integritas akademis (Ballantine et al. 2024 ). Temuan kami menyoroti peluang yang diciptakan oleh AI generatif dalam desain penilaian dan menyoroti keterbatasannya.

Kedua, kami memperluas penerapan RBT dalam akuntansi dengan mempertimbangkan AI generatif dalam penilaian hasil pembelajaran untuk berbagai tingkatan pembelajaran. Temuan kami menunjukkan bahwa ChatGPT merupakan alat pembelajaran yang efektif untuk pembelajaran tingkat rendah, dengan fokus pada membantu siswa mengingat dan memahami informasi akuntansi yang tersedia secara umum dan terminologi terkait. Meskipun ChatGPT dapat membantu beberapa tugas pembelajaran tingkat menengah, ChatGPT tidak mahir dalam memfasilitasi pembelajaran tingkat tinggi yang mengharuskan siswa mengevaluasi situasi kontekstual secara kritis yang mencakup konseptualisasi akuntansi yang lebih luas dan untuk menciptakan solusi bagi tantangan kontemporer yang dihadapi profesi akuntansi.

Ketiga, temuan kami memiliki implikasi bagi kebijakan dan praktik. Untuk memandu desain penilaian di era AI, studi kami mengusulkan pendekatan desain penilaian untuk digunakan dalam program akuntansi pendidikan tinggi yang memanfaatkan peluang yang diciptakan oleh, dan mengelola risiko yang terkait dengan, AI generatif untuk mendorong pengembangan keterampilan digital dan profesional siswa.

Studi kami memiliki beberapa keterbatasan yang perlu diakui. Studi ini terbatas pada data yang dikumpulkan dari satu universitas, yang dapat memengaruhi generalisasi temuan ke lingkungan dan lembaga lain. Namun, karena mata kuliah yang diteliti dalam studi ini terbatas pada mata kuliah akuntansi wajib dan program akuntansi di universitas terpilih diakreditasi oleh berbagai badan profesi akuntansi domestik dan internasional, temuan studi akan relevan dengan banyak program terakreditasi lainnya di Australia dan di tempat lain di dunia.

Penelitian lebih lanjut yang meneliti desain penilaian dalam program akuntansi pascasarjana dan disiplin ilmu bisnis lainnya akan memberikan titik perbandingan yang berharga terhadap temuan penelitian ini. Wawancara dengan pendidik akuntansi dan kelompok fokus dengan mahasiswa akuntansi akan memberikan perspektif alternatif tentang desain penilaian di era yang semakin dibentuk oleh AI generatif. Penelitian kami difokuskan pada penggunaan AI generatif dalam desain penilaian; penelitian lebih lanjut yang meneliti penggunaan AI generatif dalam menyusun materi pembelajaran dan kegiatan di kelas juga sangat dibutuhkan.