研究人員招募了 5 名志愿者,先讓其聽(tīng)藍(lán)調(diào),古典,鄉(xiāng)村,迪斯科,嘻哈,爵士樂(lè),金屬,流行,雷鬼和搖滾等不同音樂(lè)類(lèi)型的 15 秒音樂(lè)片段,然后記錄志愿者的 fMRI 數(shù)據(jù)。
谷歌使用這些數(shù)據(jù)訓(xùn)練出一個(gè)深度神經(jīng)網(wǎng)絡(luò),以了解大腦活動(dòng)模式與音樂(lè)節(jié)奏和情感等不同元素之間的關(guān)系。
Brain2Music 基于谷歌此前推出的 MusicLM 模型(基于文本生成音樂(lè)片段),基于 fMRI 生成 15 秒音樂(lè)片段。
研究結(jié)果顯示 Brain2Music 生成的 15 秒音樂(lè)片段,其中一段內(nèi)容“Oops!...I Did It Again”和測(cè)試聽(tīng)到的原版音樂(lè)基本相同。