Optimasi Bayesian Multi-Objektif dari Pembelajaran Penguatan Mendalam untuk Manajemen Portofolio Keuangan Lingkungan, Sosial, dan Tata Kelola (ESG)

ABSTRAK
Manajemen portofolio keuangan berfokus pada pemaksimalan beberapa tujuan dalam periode perdagangan yang tidak hanya terkait dengan risiko dan kinerja portofolio tetapi juga tujuan lain seperti skor lingkungan, sosial, dan tata kelola (ESG) dari portofolio. Sayangnya, metode klasik seperti model Markowitz tidak memperhitungkan skor ESG tetapi hanya risiko dan kinerja portofolio. Selain itu, asumsi yang dibuat oleh model ini tentang pengembalian keuangan membuatnya tidak layak untuk diterapkan pada pasar dengan volatilitas tinggi seperti sektor teknologi. Makalah ini menyelidiki penerapan pembelajaran penguatan mendalam (DRL) untuk manajemen portofolio keuangan ESG. Agen DRL menghindari masalah model klasik dalam arti bahwa mereka tidak membuat asumsi seperti pengembalian keuangan yang didistribusikan secara normal dan dapat menangani informasi apa pun seperti skor ESG jika mereka dikonfigurasi untuk mendapatkan imbalan yang membuat tujuan lebih baik. Namun, kinerja agen DRL memiliki variabilitas yang tinggi, dan sangat masuk akal terhadap nilai hiperparameter mereka. Pengoptimalan Bayesian adalah kelas metode yang sesuai untuk pengoptimalan fungsi kotak hitam, yaitu fungsi yang ekspresi analitisnya tidak diketahui dan berisik serta mahal untuk dievaluasi. Masalah penyetelan hiperparameter dari algoritma DRL sangat sesuai dengan skenario ini. Karena melatih agen hanya untuk satu tujuan adalah periode yang sangat mahal, memerlukan jutaan langkah waktu, alih-alih mengoptimalkan tujuan yang merupakan campuran metrik risiko-kinerja dan metrik ESG, kami memilih untuk memisahkan tujuan dan memecahkan skenario multi-tujuan untuk memperoleh kumpulan portofolio Pareto optimal yang mewakili trade-off terbaik antara rasio Sharpe dan skor rata-rata ESG dari portofolio dan menyerahkan pilihan portofolio akhir kepada investor. Kami melakukan eksperimen kami menggunakan lingkungan yang dikodekan dalam OpenAI Gym, yang diadaptasi dari platform FinRL. Eksperimen dilakukan di Dow Jones Industrial Average (DJIA) dan pasar NASDAQ dalam hal rasio Sharpe yang dicapai oleh agen dan skor ESG rata-rata dari portofolio. Kami membandingkan kinerja himpunan Pareto yang diperoleh dalam bentuk hipervolume yang menggambarkan bagaimana portofolio merupakan pilihan terbaik antara rasio Sharpe dan skor ESG rata-rata. Selain itu, kami menunjukkan kegunaan metodologi yang kami usulkan dengan membandingkan hipervolume yang diperoleh dengan yang dicapai oleh metodologi pencarian acak pada ruang hiperparameter DRL.