텍스트에서 음악을 생성하는 AI 도 있군요. (ft.MusicLM)

텍스트에서 음악을 생성하는 AI 도 있군요

해당 사이트에서는 아래와 같이 설명하고 있었고요..
---
We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody backed by a distorted guitar riff". MusicLM casts the process of conditional music generation as a hierarchical sequence-to-sequence modeling task, and it generates music at 24 kHz that remains consistent over several minutes. Our experiments show that MusicLM outperforms previous systems both in audio quality and adherence to the text description. Moreover, we demonstrate that MusicLM can be conditioned on both text and a melody in that it can transform whistled and hummed melodies according to the style described in a text caption. To support future research, we publicly release MusicCaps, a dataset composed of 5.5k music-text pairs, with rich text descriptions provided by human experts.

---

간단하게 번역을 해보자면..
---
"왜곡된 기타 리프가 뒷받침하는 잔잔한 바이올린 선율"과 같은 텍스트 설명에서 하이파이 음악을 생성하는 모델인 MusicLM을 소개합니다. MusicLM은 조건부 음악 생성 프로세스를 계층적 시퀀스 간 모델링 작업으로 캐스팅하고 몇 분 동안 일관되게 유지되는 24kHz에서 음악을 생성합니다. 우리의 실험은 MusicLM이 오디오 품질과 텍스트 설명 준수 모두에서 이전 시스템을 능가한다는 것을 보여줍니다. 또한, 우리는 MusicLM이 텍스트 캡션에 설명된 스타일에 따라 휘파람을 불고 흥얼거리는 멜로디를 변형할 수 있다는 점에서 텍스트와 멜로디 모두에 대해 조건을 지정할 수 있음을 보여줍니다. 향후 연구를 지원하기 위해 전문가가 제공한 풍부한 텍스트 설명과 함께 5.5k 음악-텍스트 쌍으로 구성된 데이터 세트인 MusicCaps를 공개적으로 출시합니다.
---

그리고 궁금해서 해당 사이트에 접속해 보니 아래와 같이...(음악을 들어볼 수 있었습니다..)

정말로 세상에는 신기한것들이 많이 있는것 같습니다. 
요즘 주식에서는 AI 챗봇도 대세인데요....
chatGPT 가 요즘 엄청난 인기를 끌고 있더라고요....저도 요즘 chatGPT와 소통(?) 을 하곤 하는데요..

구글 크롬에서는 아래와 같이 플러그인으로 설치가능합니다. 

그리고, 웬만한것은 검색해보면 검색내용을 가져다가 chatGPT 가 결과 값을 주고요...
구글 검색에서도 주지만 부가적으로 chatGPT 도 해당 내용을 가져다가 말을 해줍니다. ;;

정말로 신기하더라고요... chatGPT ....얼마전에 마이크로소프트에서 투자를 했죠...

저는 마이크로소프트도 좀 관심을 가져보려고 합니다. 
chatGPT 를 사용해서 어떤 진화를 전세계 사람들에게 선보일지 벌써부터 너무나 기대되고 설레이네요..

주요내용을 정리해보자면 아래와 같고요..

• 구글 리서치가 발표한 논문
• 텍스트 설명에 매우 충실한 음악을 생성 "디스토션 걸린 기타 리프가 깔린 차분한 바이올린 멜로디"
• 계층적 시퀀스간 모델링 작업으로 캐스팅하여 몇분짜리 24kHz 음악을 생성
• 기존 시스템들보다 음질 몇이나 텍스트 설명 준수에서 훨씬 뛰어남
• 또한 휘파람이나 허밍 형태의 멜로디 스타일도 변형 가능
• 여러개의 프롬프트를 순차적으로 제공하여 스토리모드로 오디오 생성 가능
• 5.5k 음악-텍스트 페어로 구성된 MusicCaps 데이터셋을 공개

좀 더 자세한 내용이 궁금하신 시청자분들께서는 아래 웹페이지에 직접 방문해 보시길 추천드립니다. 

(정말로 신기하더라고요..ㅎㅎ)

오늘의 블로그는 여기까지고요 ..
항상 믿고 봐주셔서 감사합니다.