[인공지능과 예술] 인공지능이 예술을 할 수 있을까?
인공지능이 예술을 할 수 있을까?최근 컴퓨터 하드웨어와 인공지능 기술의 발전으로, 인간의 역할을 컴퓨...
blog.naver.com
내가 작성한 글이 회사 블로그에 소개되어, 옮겨와봤다 :-)
인공지능이 예술을 할 수 있을까?
최근 컴퓨터 하드웨어와 인공지능 기술의 발전으로, 인간의 역할을 컴퓨터가 대신하기 시작하였습니다. 단순히 편지 봉투의 주소를 인식하던 수준을 넘어서, 인간을 대신해 운전을 하고, 배달을 해주고, 전문의보다 정확한 의료 진단을 내리기도 하며, 심지어는 인공지능이 사람을 채용하기도 합니다. 사람의 영역을 인공지능이 조금씩 침범하며 그 역할을 대신하고 있는데, 과연 예술 분야는 어떨까요?
예술은 오랜시간 동안 인간의 전유물로 여겨져 왔습니다.
무에서 유를 창조하고, 창의적인 생각과 새로운 것을 만들어낼 수 있는 능력은, 인간만이 가능한 고유의 것으로 여겨져왔죠. 물론 공학과 예술을 접목시키려는 연구는 많이 이루어지고 있었지만, 대부분은 음악을 듣고 어떤 음악인지 분류해 내거나, 악보를 인식해서 이를 MIDI (Musical Instrument Digital Interface) 신호로 변환하는 등의 공학적 접근이 주요 목적인 경우가 많았습니다. 여전히 최근까지의 예술적 작품들은 기본적으로 인간만이 할 수 있는 창작의 결과물이며, 인간 중심의 결과물이 일반적이었죠. 하지만 사람도 어쨋든 예술을 하기 위해 기존의 예술을 학습하고, 기술을 배우고, 오랜 시간 연구하지 않나요? 인간이 학습하는 과정을 모사할 수 있다면, 예술을 학습해서 인간과 마찬가지로 창조적인 예술 작품을 만들 수 있지 않을까요? 이처럼 인간의 예술 활동을 분석하고, 이를 기계적으로 재현해 예술모델을 만드려는 시도들이 나타나며, '컴퓨터 생성 예술 (Computer generated art)'이 탄생하게 됩니다.
컴퓨터 생성 예술과 음악
컴퓨터 생성 예술은 컴퓨터의 발전과 함께 시작되었습니다.
1946년에는 컴퓨터의 천공 테이프나 데이터 카드를 이용해, 라인 프린터가 찍어내는 타이프라이트의 농담으로 화상을 만들어 내기도 하였고,1950년에 과학자 벤 라포스키는 아날로그 방식의 모니터 장치를 이용해 전자 추상을 만드는 시도도 했었습니다. 또한 난수의 확률이나 순열, 조합을 기초로 하는 작문이나 작시가 시도되기도 했었고, 수의 값을 음표로 치환해 전위적인 컴퓨터 음악을 만들어내기도 했습니다. 인간이 행하는 가장 추상적이고 비합리적이며 불확실성이 짙은 예술 분야를, 과학적으로 분석하고 입증하여 컴퓨터를 기반으로 '모델링'할 수 있을 것이란 생각은 이미 컴퓨터가 발명된 1950년대에 시작된 것이죠.
예술에서 컴퓨터 정보이론이 적용되기 가장 쉬운 예는 바로 음악입니다.
모든 작곡은 7음계라는 독립적인 단위로 이루어진 제한된 일련의 시퀀스를 가지며, 화성학, 대위법과 같은 제한된 법칙 아래 존재합니다.
작곡가들은 오래전부터 이러한 음악의 수학적 질서에 관심을 가져왔습니다. 18세기 초, 모차르트는 K.516f에서 '음악적 주사위 게임 (Musical dice game)를 사용하여 작곡를 시도한적이 있습니다. 또한, 모차르트의 작곡 능력을 질투한 살리에르가, 모차르트의 음악을 수학적으로 분석해 작곡법의 비밀을 밝히고자 한 일화는 매우 유명하죠.
https://www.youtube.com/watch?v=Jtpb1DkPx7I&feature=youtu.be
△ W. A. Mozart - KV 516f (A294d/C30.01) - Musikalisches Würfelspiel (*출처: 유튜브 'ComposersbyNumbers)
이러한 논의의 핵심은 바로 '알고리즘'에 있습니다.
과학계와 음악계에서 공통적으로 적용되는 알고리즘 작곡의 유형에는 크게 네가지가 있습니다.
1. 확률적 (stochastic)
2. 혼돈 (chaotic)
3. 규칙에 의거한 (rule-based)
4. 인공지능 (artificial intelligence)
먼저 확률적 음악 작곡 알고리즘은 확률적 아이디어나 통계 분야를 기반으로 작곡하는 것을 말합니다.
확률적 음악 작곡에 대표적으로 적용되어 온 방식은 마르코프 확률론인데, A라는 상태 후에 B 상태가 오는 확률에 기초한 일련의 상태들을 함께 연결시켜 이루저니는 것을 말합니다. 즉, 도 음계 다음에 레 음계가 나올 확률, 혹은 4분음표 다음에 16분 음표가 나올 확률을 이용해 음악을 작곡하는 것입니다. 컴퓨터의 도움을 받은 첫 번째 확률적 음악의 예로는 작곡가 제나키스가 그의 저서, 정형화된 음악 (Formalized music)에 기록한 음악이 있습니다. 초기의 알고리즘 작곡 프로그램들은 거의 모두 확률적 과정에 의해 작곡되었는데요, 대표적으로 1980년대 초부터 확률적 음악을 발전시킨 레자렌 힐러와 그의 제자 에임스 등이 있습니다.
두 번째로 혼돈 (chaos) 에 의한 음악 작곡은 불규칙 속의 규칙이 존재하는 원리를 이용한 것입니다.
대표적으로는 프랙탈 구조가 있는데, 프랙탈은 귀납적 구조를 그대로 본 따는 부모-자식 관계를 만들어 내는 것을 말합니다.
△ 서태지 6집 앨범 커버의 프랙탈 구조 (*출처: 구글 검색)
혼돈에 근거한 음악 작곡은 1970년대 물리학자들 사이에서 시작됩니다. 이들은 대중적으로 인기 있는 음악의 특징을 객관적으로 기술하기를 원했는데요, 당시 캘리포티나 주립대학 물리학과의 리차드 보스 박사와 클라크 박사도 이 문제에 큰 관심을 가졌습니다. 그래서 음악의 멜로디 변화 패턴을 파워스펙트럼으로 조사함으로써 공통점을 발견하게 됐습니다. 바로 어떤 음정 폭이 한 곡에서 나오는 빈도는 정확히 그 변화 차에 반비례 한다는 사실입니다, 즉, 큰 음정 폭일수록 곡에서 나오는 횟수를 점점 비례적으로 줄어드는 것인데, 이를 '1/f 음악 (f: frequency)' 이라고 부릅니다. 굉장히 인상깊은 사실은, 대중적인 인기를 끄는 곡일수록 1/f에 정확히 일치한다는 사실인데, 이 연구 결과가 1975년, '네이쳐'에발표된 이후, 새들의 울음소리나 시냇물 소리 등, 자연의 소리들 대부분이 1/f패턴을 가진다는 사실도 발견되었습니다. 그 이후 비드랙, 볼로녜시, 다지 등의 연구자들이 이런 프랙탈 규칙을 만족시키는 알고리즘을 이용해 음악의 자동 작곡을 시도했었죠.
알고리즘의 세번째 유형은 규칙에 근거한 음악 작곡입니다.
대위법이나 화성학 등으로 정의된 음악 작곡법을 기반으로 만들어진 알고리즘을 말하는데, 숏쉬테트가 만든 자동 종별 대위법이라는 프로그램이 그 중 하나입니다. 이 프로그램은 종별 대위법 교과서인 그라두스 파르나줌에 수록된 75가지 규칙을 중심으로 만들어졌습니다. 그 규칙에는 '병행 5도 진행은 안된다.', '리디아 모드의 종지부근에서는 3전음을 쓰지 말라' 등의 규칙들이 포함되어 있습니다. 숏쉬테트는 이러한 규칙들을 깰 때마다 일련의 벌칙을 받도록 만들어져 있으며, 규칙마다 중요도가 있어 벌칙의 경중을 가릴 수 있다고 합니다. 프로그램은 벌칙이 높아질 때, 벌칙을 줄이는 가장 최적의 해법을 찾아가는 과정으로 작곡을 진행합니다. 엡시올루는 코랄이라는 바흐 스타일의 4성부 코랄을 작곡하는 프로그램을 만들었씁니다. 이 프로그램은 350개의 규칙과 쉥커 분석을 통해 컴퓨터가 의사결정으로 하며 최단거리를 찾는 방식으로 작곡을 수행합니다.
마지막 유형은 바로 인공지능입니다.
이 유형은 앞에서 설명드린 규칙에 의거한 알고리즘과 비교가 되는데요, 규칙에 의거한 작곡 프로그램의 경우, 학습과 작곡 과정에서 인간이그 한계점을 미리 정해놓고 시작하게 됩니다. 하지만 인공지능 기반의 자동작곡의 경우, 기존에 존재하는 곡을 학습 데이터로 넣으면, 학습 데이터 속의 특징과 자질들을 인공지능이 직접파악하고, 그 특징과 자질을 스스로 학습하게 되죠. 인공지능을 작곡에 응용한 예로는 찰스 에임스가 개발한 사이버네틱 작곡가 프로그램이 있는데, 스탠다드 재즈, 라진 태즈, 랙타임과 록 등, 네 가지 대중음악에 관해 작곡을 할 수 있습니다.
특히 솔로, 배경 화음, 베이스 선율, 그리고 드럼으로 네 가지 층을 가지고 있는 특징이 있죠. 최근에는 인공 신경망을 이용해 작곡에 적용하려는 시도가 많이 이뤄지고 있는데요, 가장 대표적으로는 구글의 '마젠타 프로젝트'가 있습니다.
[ https://magenta.tensorflow.org/ ]
이 프로젝트는 기계학습 기술을 음악과 예술 분야에 접목하고자 하는 프로젝트인데요, 작곡 뿐만 아니라 악기 소리의 합성 등에대한 프로젝트도 포함하고 있습니다. Tensorflow로 만들어진 코드 모두를 공개하고 있어, 누구든지 프로젝트를 다운받아 실행하며 테스트를 해볼 수 있고, 학습 데이터를 규격에 맞게 만들면 신경망을 직접 학습하는 것도 가능합니다.
마젠타가 만들어낸 다양한 음악은 아래의 유튜브 링크를 통해 들어보실 수 있습니다.
[ https://www.youtube.com/channel/UCLcvcPalfoTgNkEScfHMt2A/videos ]
OpenAI에서도 최근에 Transformer 기반의 MuseNet이란 것을 선보였습니다.
[ https://openai.com/blog/musenet/ ]
그리고 지난월 25일에는 콘서트를 개최하기도 했는데, 실제 콘서트에서 음악을 듣기 전에는 MuseNet 개발자들도 어떤 음악이 나올지 몰랐다고 하네요.
https://www.youtube.com/watch?v=fY5omEwxWa8&feature=youtu.be
△ 2019 04 25 - OpenAI - MuseNet Concert (*출처: 유튜브 Franck Dernoncourt)
소니 컴퓨터 과학 연구소에서도 인공지능을 이용해 작곡한 노래를 공개했습니다.
소니의 인공지능 시스템은 프로우머신즈라고 불리우며, 13,000여개의 곡을 분석해 음악을 작곡할 수 있다고 합니다.
아래의 영상을 통해 들어볼까요?
https://www.youtube.com/watch?v=LSHZ_b05W7o&feature=youtu.be
△ Daddy's Car: a song composed by Artificial Intelligence - in the style of the Beatles (*출처: 유튜브 Sony CSL)
https://www.youtube.com/watch?v=lcGYEXJqun8&feature=youtu.be
△ Mr Shadow: a song composed by Artificial Intelligence (*출처: 유튜브 Sony CSL)
우리나라에선 인공지능 작곡가와 음악가가 함께 협력하는 A.I.M이란 음반 레이블도 탄생했죠.
지난 2월 27일에, 영국의 인공지능 작곡가인 쥬크덱이 작곡한 음악으로 가수 손아름, 정동수가 공연을 하기도 했습니다. 쥬크덱이 만든 사운드 트랙으로 약 2만 5000개의 영상이 나왔고, 코카콜라와 같은 대기업 광고도 포함되어 있었다고 합니다.
이 뿐만 아니라 Max, Jam factory, Music mouse, Music creator, Experiments in musical intelligence, Automated composer league, Automated music composer, Hub 등등, 하나하나 소개하기 어려울 만큼 매우 다양한 음악 작곡 프로그램들이 개발되고, 연구되어지고 있습니다. 사업 분야에서도 앰퍼 뮤직이나 포자랩스, 코클리어닷에이아이 등, 수 많은 스타트업 기업들이 자동 작곡 시스템을 이용해 다양한 사업을 시도하고 있습니다.
마치며
사실, 컴퓨터가 만들어낸 예술에 대한 비판적인 시각은 많습니다.
과연 인간이 만든 알고리즘에 의해 동작하는 컴퓨터가 작곡한 음악을, 정말 '예술 작품'이라고 부를 수 있는지 말이죠. '창조'라는 것은 과정과 산물, 두 가지 관점에서 정의할 수 있습니다. 어떤 예술 작품은 산출되는 과정을 강조하는 기술적 용법에서 창조라고 말할 수 있는 반면, 또 어떤 작품은 만들어진 산물, 그 자체에 초점을 맞춰, 규범적인 의미로 말할 수 있습니다.
창조의 관점을 '과정'으로 살펴보았을 때, 예술 작품의 창조 과정이 어떻게 이루어 졌는지를 살펴보아야 합니다. 더글러스 모건은 1953년에 논문을 통해 창조의 과정을 4가지로 표현하였는데, 준비 (preparation), 부화 (incubation), 영감 (inspiration, aha!), 검증 (verification) 이 그것입니다. 이 네 가지 과정으로 컴퓨터 예술을 살펴보았을 때, 컴퓨터 프로그래밍으로 만들어진 예술 작품은 각 단계로의 도약이 불가능하고, 4단계에
포함되어 있는 지속적인 정신적 작업이 불가능하다고 보는 시선도 있습니다. 창조의 관점을 '산물'로 살펴보았을 때, 전통적으로 작품에는 독창성, 혁신성, 참신성 등이 포함되어 있어야 하는데, 과연 컴퓨터가 만들어낸 예술에 이러한 창조적 정신이 담겨있다고 말할 수 있을까요?
이러한 논의는 예술가들에게 맡기고, 저는 컴퓨터 예술을 수행하는 그 프로그램 자체가 하나의 창조적인 예술이 될 수 있을 것이라 생각합니다.
그리고 컴퓨터가 스스로 무언가를 창조하게 되는 순간, '생각'이라는 것이 정의되며 궁극적으로는 진정한 인공지능이 탄생할 수 있지 않을까요?
'Media Lab > Computer Generated Art' 카테고리의 다른 글
| 마코프 체인 기반의 음악 자동 작곡 시스템 (1) | 2018.10.25 |
|---|