이 포스트에서는 제가 인공지능을 공부한 후 인공지능 관련 특허를 출원했던 경험을 쓰겠습니다.

시기는 2017년 6월~12월입니다. 이 기간동안 이 프로젝트만 한 건 아니고, 다른 프로젝트와 동시에 진행했습니다.

이 경험을 통해 어필하고 싶은 것은 실행력입니다. 일반적으로 특허를 통해 이야기 할 것은 창의력일 수 있다고 생각하는데, 저의 경우 저만 생각할 수 있는 것을 고안했다기보다는 누구나 생각할 수 있는 아이디어지만 실제로 실행에 옮겼기에 해낼 수 있었던 성과라고 생각합니다.

인공지능 관련 프로젝트를 하던 중, 같이 공부하던 친구들은 인공지능을 적용할만한 곳을 고민했습니다. 교수님이 본 프로젝트를 진행하기 전 학습용 프로젝트로 할 것을 생각해오라고 하기도 했기 때문입니다. 또한 인공지능 공부를 하다보니 이걸 어디에 활용할 수 있을 지 자연스럽게 생각해보게 되기도 했습니다. 당시 다른 친구들의 아이디어도 굉장히 좋았습니다. 한 친구는 수학 문제를 인식하자는 아이디어를 냈었는데, 실제로 그 아이디어를 비즈니스로하는 기업이 있는 걸 보면 다들 현실적이고 번뜩이는 생각을 했던 것 같습니다.

저는 인공지능 관련 공부를 하기 전에 하던 것이 작곡이었기 때문에 자연스럽게 작곡 쪽으로 생각을 하게 됐습니다. 실제로 작곡을 해보다보니, 작곡을 할 때 뭐가 제일 고단한 지 알고 있었습니다. 그래서 그걸 해결할 수 있게하면 대박일 것이라고 혼자 생각했었죠. 그 문제는 작곡을 할 때 음악 소스를 고르는 게 굉장히 번거롭다는 것입니다. 음악 소스란 말은 다양하게 정의될 수 있을 것 같은데, 여기에서는 작곡을 할 때 사용되는 가장 작은 소리 단위를 의미합니다. 예를 들어, 드럼 킥의 쿵! 하는 소리, 피아노 건반을 하나 칠 때 나는 띵~ 하는 소리가 음악 소스이죠. 음악 소스가 모여 전체 음악이 되는 것이기 때문에, 어떤 음악 소스를 쓰느냐에 따라 전체 음악의 색깔이 결정됩니다. 같은 멜로디라도 따뜻한 음악이 될 수도, 날카로운 음악이 될 수도 있는 것이죠. 따라서 어떤 소스를 고를 지 심혈을 기울이게 되는데, 좋은 음악 소스를 쓰고 싶은 만큼 많은 음악 소스를 보유하기 때문에 내가 원하는 소리를 찾는 데 시간이 많이 듭니다. 한참을 찾고나서야 내 머릿속 소리와 유사한 소리를 찾을 수 있었습니다. 이게 어느정도로 심각한 문제냐면, 내가 원하는 소리를 바로 바로 찾을 수 있으면 음악 만드는 게 백배는 재밌겠다는 생각이 들 정도입니다. 머리에 생각나는 걸 바로 구현할 수 있다면 뚝딱뚝딱 만들어버릴 수 있겠죠. 하지만 막상 가상악기를 두들겨보면 내가 원한 소리를 구현하기 쉽지 않고, 그래서 작곡에 시간이 많이 들곤 합니다. 이러한 작곡 과정의 어려움을 알고 있었기 때문에 인공지능으로 이 문제를 해결하고 싶었죠.

그렇게 생각하던 중 이게 진짜 가능하겠다고 생각한 것은 mnist 데이터를 보고, 인공지능이 어떤 식으로 학습하는 지 알게됐을 때였습니다. mnist 데이터는 다양한 숫자 이미지입니다. 다양한 숫자 이미지와 해당 숫자의 의미를 연결하여, 숫자 1을 학습시킨다고 치면 ‘이렇게 생긴 것도 1이고, 저렇게 생긴 것도 1이야’라고 인공지능에게 지도학습을 하게 됩니다. 다음은 mnist 데이터셋 입니다.

그 때 저는 ‘이런 식으로 학습시키면 음악 소스도 인식시킬 수 있다’고 생각했습니다. 즉 뭔가 새로운 학습 방법을 생각한 게 아니라, 기존 방법을 차용했던 것이죠. 하지만 당시 저는 스스로 뭔가 새로운 아이디어를 고안한 것이라고 생각했고, 특허로 내야겠다고 생각합니다. 단순히 아이디어에 끝날 것이 아니라, 현실성 있다고 생각한 이유는 혼자 생각했을 땐 소리의 특징을 가진 데이터를 구하기 어려울 것이라고 생각했지만, 연구실 선배님한테 조언을 구했더니 ‘푸리에변환’ 이라는 걸 하면 소리의 특징의 특징을 고스란히 가진 이미지로 소리를 변환시킬 수 있다는 얘기를 들었거든요. 데이터를 구할 수 있다면, 인공지능 모형에 훈련시키지 못할 이유가 없다고 생각했습니다. 설레는 마음으로 도서관에 가서 무슨 말인지 이해도 못하면서 푸리에 변환 관련 책을 읽기도 했고, 어떻게 실제로 푸리에변환을 할 수 있을 지 알아봤습니다. 그러던 중 librosa라는 파이썬 라이브러리로 소리의 특징을 가진 이미지를 만들 수 있다는 걸 알게됩니다. 바로 라이브러리를 써보고, 아래와 같은 이미지를 얻었을 땐 굉장히 기뻤습니다.

연구실 선배님께 특허 출원 과정을 전해 듣고, 발명 신고서 양식에 맞춰 제가 생각한 것이 어떤 가치가 있는 지 며칠동안 고민해가며 썼습니다. 기존 특허들을 찾아보고, 논문도 찾아보고, 실생활에 적용된 기술들도 찾아가며 이런 것들이랑 제 아이디어가 다른 점이 무엇인지 피력했습니다. 다행히 제 아이디어와 겹치는 기존 특허는 없어보였고, 논문이나 기존 기술들도 제가 생각한 것과 조금씩 다른 점이 있었습니다. 다음은 발명신고서에 기술한 발명 요약과 발명의 전체 흐름을 보여줄 수 있는 구성도입니다.

기존의작곡지원시스템은작곡을해본적없는비전문가가작곡에입문하는것을도와주는것에는효과적이나, 이를통해전문적인작곡을하기는쉽지않다. 기존의작곡지원시스템이대부분전문적인음악장비나지식없이도, 누구나익숙한기기로자기만의멜로디를구현할수있도록도와주는것에집중하고있기때문이다. 전문적인작곡을하기위해서는멜로디구현뿐아니라다양한추가작업이필요한데, 그대표적인예로화성구현과음악소스를적절하게선택하는것등이있다. 화성구현의경우화성지식이없어도작곡가가고급스러운화성을표현할수있도록도와주는기존연구가존재하지만, 효율적으로음악소스를검색할수있는방법에대한연구는찾아볼수없다.여기에서음악소스란음악을이루는모든소리를말하는데, 예를들어멜로디를표현하는피아노소리, 저음부를담당하는베이스소리, 리듬을담당하는드럼소리등이있다. 음악소스들은같은악기로분류되더라도각각의음색이다르기때문에작곡가가어떤음악소스를쓰느냐에따라전체음악의질감이달라진다. 예를들어여러음악소스가모두피아노소리라고하더라도각각다른음색을갖고, 음색에따라전체음악의느낌이달라진다. 그래서작곡가는구상한대로음악을표현하기위해음악소스데이터베이스에서좋은음악소스를찾아야하는데, 데이터베이스에많은음악소스를보유하고있을수록비례해서많은시간을투자해야한다는문제가존재한다. 본발명은이러한문제를해결하기위해인공신경망을이용해작곡가가원하는음악소스를보다쉽게찾을수있는방법을제시한다.

꽤 가능성 있다는 생각으로 산학협력단에 발명 신고를 했는데, 돌아온 답변은 아래와 같았습니다.

기존 특허를 조합해보면 당 발명 신고와 유사하여 특허 등록이 안 될 가능성이 높으니 만나서 한번 설명해달라는 것이었습니다. 기존 특허 중 하나는 음원에서 음악 소스를 분리하는 것과 관련한 것이었고, 나머지 하나는 멜로디를 입력했을 때 유사 멜로디를 여러 노래들에서 검색하는 것과 관련한 것이었습니다. 즉 음악소스를 분리하고, 그걸 멜로디 기반으로 찾으면 제 발명과 똑같다는 것입니다.

검토 의견에서 유사하다고 보낸 기존 특허들도 이미 봤던 것들이었기 때문에 크게 당황하지 않고 추가 설명을 준비할 수 있었습니다. 변리사와 만나서 약 20분간 발표를 했는데, 발표 내용은 제 아이디어를 자세히 설명한 후, 기준 특허나 기술과 당 아이디어의 차이점을 설명하는 것이었습니다. 이 때 음악 소스들을 준비해 가 들려주며 설명했더니 글로만 설명했던 것보다 훨씬 잘 전달됐습니다. 당시 가장 핵심적인 내용은 (1) 소리에 있어서 음정(멜로디) 뿐 아니라 음량이나 음색도 굉장히 중요한 부분인데, 기존 특허 조합은 음정만 반영할 뿐 음량이나 음색의 특징을 검색하지 못해 음악 소스 검색에 쓰일 수 없다는 것과 (2) 음악 소스는 음원과 달리 매우 작은 단위이기 때문에 멜로디가 있던 없던 작곡가의 의도와 다르게 검색될 것이라는 것이었습니다. 다음은 핵심이 되는 장표입니다.

소리를 구성하는 요소에는 음정 뿐 아니라 음량과 음색이 있다는 장표.

기존 특허는 음정만 검색하기에 작곡 지원에는 쓰일 수 없다는 장표.

또한 음악소스는 음원과 달리 작은 단위이기에 음악소스에 멜로디가 있던 없던 검색을 했을 때 기대한 값과 다른 값이 검색될 것이라는 장표.

이외에도 기존 기술들과 다른 점들을 추가적으로 설명했습니다. 발표 후 문과생이라 그런지 설명이 자세하다는 칭찬을 들었고, 특허 출원을 확정했습니다. 지분은 제가 70%를 갖고 교수님 포함 직,간접적으로 도와주신 세 분께 10%씩 드렸습니다.

약 2년정도 무소식이다가 최근 심사를 시작했는데, 심사 내용으로 부정적인 피드백을 받았습니다. 피드백이 극복 가능한 수준인지 심각한 수준인지는 아직 잘 모르겠지만, 변리사분들이 힘써줘 등록까지 됐으면 좋겠네요. 이후 결과가 나오면 포스트를 업데이트 하도록 하겠습니다.

설령 등록까지는 안된다고 하더라도 의미있는 경험이었습니다. 아이디어를 떠올리는 것보다 그걸 다른 사람에게 설득시키는 과정이 어렵다는 걸 배우기도 했고, 등록이 된 건 아니지만 변리사로부터 등록 가능성이 있다는 말을 들었을 땐 인정받았다는 생각에 기분이 정말 좋았습니다.

이번 포스트에서는 특허 출원 경험을 다루었습니다. 다음에는 개발동아리에 들어가 팀 프로젝트를 수행한 경험을 써보겠습니다.

감사합니다.