與音樂大師面對面交流是很多學生和音樂愛好者的夢想,隨著虛擬技術的發展,利用VR元宇宙的形式,隨時隨地地上一節零距離的大師課即將成為現實。近期,由南京師范大學音樂學院打造的人工智能虛擬教學平臺即將上線。據悉,這也是全國首次將高校常規音樂課程建立在虛擬平臺中。
音樂教育與元宇宙的碰撞
據介紹,南京師范大學人工智能虛擬教學平臺于2022年12月開始設計研發,并于2023年7月和8月分別進行了兩次研發試驗,包括動捕系統實驗、VR技術實驗、3D引擎實驗、音樂類人工智能軟件與App實驗、ChatGPT音樂教學應用研究等。
該平臺由南京師范大學音樂學院聯合計算機學院共同打造。平臺系統擬定于2023年底至2024年2月正式上線,該項目也是全國高等院校中首次將常規音樂課程在虛擬平臺中建立并使用,對于音樂教育來說也是一種革命性的改變。
相比于傳統教學方法,人工智能虛擬教學平臺可以為學生提供一種沉浸式的、交互性極強的學習環境。學生可以在虛擬環境中對虛擬樂器進行操作,進而更好地理解音樂理論和樂器演奏技巧。而利用“虛幻5引擎”的強大圖形處理能力,可以創建出例如音樂錄音室、音樂會或者音樂課堂等真實的音樂表演和學習場景。
虛擬學院無須真實的場地和樂器,一方面可以節省大量教學資源,另一方面學生可以在安全的環境中嘗試各種音樂實驗和創新,不用擔心可能的風險和設備的損壞。這樣可以讓學生嘗試新的樂器組合、新的音樂風格等,激發他們的創新精神和批判性思維。
從技術上來說,平臺創新的VR技術,提高了學習的趣味性和學生的專注度。而利用AR或MR技術,學生可以模擬實際的演奏情景或學習樂器的操作方法。
另外,平臺配備各類創新和輔助教學的系統,讓教學成效顯著提升,例如自動和聲編配系統,對于鋼琴即興伴奏和中小學音樂教材的學習來說,可以更好地幫助學生理解和掌握和聲編配的原理。
平臺上線后,用戶可以使用VR設備,在3D環境中沉浸式體驗VR模式,另外平臺也提供了PC模式和手機/平板模式,極大增強了移動性和便利性,讓用戶可以隨時隨地進行學習。
未來將建成完備的虛擬學院
南京師范大學音樂學院歷史悠久,前身可追溯到三江、兩江師范學堂于1906年開設的圖畫手工科內的音樂課,近些年,學院通過對音樂教育理念的完善和創新,不斷推動音樂教育的發展,建設了智慧教室、錄音實驗室、數碼音樂實驗室以及隨園音樂廳等一批較為數字化的教學與實踐場所,也為虛擬化教學平臺奠定了良好的基礎。
平臺的建設初衷,就是希望將虛擬現實空間教學與現實教學相融合,進行創新的教學模式探索,最終搭建一個由開源3D引擎制作的虛擬教學平臺,使教師與學生在虛擬空間中交互,并將各種音樂人工智能技術融入虛擬教學平臺中。
據了解,平臺目前開發的示范課為鋼琴即興伴奏課,在上線前后將陸續開發《人工智能虛擬教學數字音樂基礎與應用》《世界樂器探索與實踐》與音樂教育系列課程,最終目標實現學院70%的課程,都能在人工智能虛擬教學平臺中應用。
另外,所有參與教學的教師與學生都會有專屬自己的IP形象,而教師與學生還可以根據開發好的程序,自行打造自己在社區內的形象,并通過成績績點獲取更多的外形與服裝。校外專家也可以依條件獲取永久或臨時的IP外形,不斷擴大虛擬學院的專業性和趣味性。
未來,虛擬學院除了實體學院的功能外,還將打通與元宇宙空間的通道,讓虛擬教學空間融入虛擬社會,增設虛擬教務系統。同時,為了激勵學生的學習,建設績點商城(以考試成績為貨幣交換更多功能道具)等。而在現有的音樂學院數字音樂資料館的基礎上,還將建設人工智能虛擬音樂資料館,館藏音樂、樂譜與教材可以全時以AR與MR的形式,為教師與學生提供輔助服務。
通訊員 楠師萱 現代快報+記者 李楠
(學校供圖 校對 季林巧)