Processing

Please wait...

Settings

Settings

Goto Application

1. WO2021002522 - DANCE MOTION ANALYSIS EVALUATION DEVICE AND METHOD

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2   3   4   5   6   7   8   9  

발명의 상세한 설명

기술적 과제

10  

과제 해결 수단

11   12   13   14   15   16   17   18   19  

발명의 효과

20   21  

도면의 간단한 설명

22   23   24   25   26   27   28   29   30  

발명의 실시를 위한 형태

31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93  

청구범위

1   2   3   4   5   6   7   8   9   10  

도면

1   2   3   4   5   6   7   8   9  

명세서

발명의 명칭 : 댄스모션 분석 평가장치 및 방법

기술분야

[1]
본 발명은 댄스모션 분석 평가장치 및 방법에 관한 것으로서, 보다 상세하게는 모바일을 활용한 댄스모션 분석 평가장치 및 방법에 관한 것이다.

배경기술

[2]
전세계적으로 한류열풍이 확산되고 있으며, 한국 드라마, 한국 영화 및 한국 음악, 한국패션 등 한류 콘텐츠는 남녀노소를 불문하고 전세계 사람들에게 선망의 대상이 되어가고 있다.
[3]
특히, 한국음악은 한류열풍의 중심에 있으며, 인터넷이 발달한 시대에 국경을 초월하여 언제 어디서나 쉽게 노래를 따라 부르고, 율동을 따라 하면서 젊은 세대 엔터테인먼트의 한 장르로 자리매김하고 있다.
[4]
한국음악에서 젊은 보이그룹, 걸그룹의 등장으로 노랫말 뿐만 아니라 시각적으로 팬층을 자극하는 춤은 이를 모사하기 위한 경연대회가 곳곳에서 열릴정도로 인기가 높다.
[5]
관련하여, K-pop스타의 노래에 맞춰 춤을 추는 커버댄스는 새로운 한류상품으로 수익창출의 가능성이 매우 크다.
[6]
그럼에도 불구하고 최근까지 댄스모션을 인식하고 코칭해주는 장치의 개발은 미진한 상태이고, 대부분 고가의 장비와 복잡하고, 거대한 크기의 시설을 설치해야 한다. 또한, 이러한 장비가 동원됨으로서 사용되는 소프트웨어 가격도 비싼편이며, 연산속도가 느려 실시간으로 모션의 결과를 도출하는데는 한계가 있다.
[7]
대한민국 등록특허 제10-1936692호(2019.01.03)는 사용자의 댄스동작을 트레이닝하는 장치로 기준 모션과 사용자의 모션을 비교하여 그 차이를 도출하는 장치이다. 그러나 이러한 장치 또한, 다양한 하드웨어가 동반되어야 하며, 3차원동작을 2차원으로 변환하는 등의 무거운 소프트웨어를 동작시킨다는 점에서 일반 사용자가 사용할 수 있는 장치와는 거리가 있다.
[8]
위 특허와 같이 댄스동작에 대한 분석 또는 모션에 대한 분석을 통한 피드백을 위주로 하는 장비는 대부분이 모션의 정확도 분석에 초점이 맞추어져 있어, K-pop스타의 커버댄스를 따라하는 일반소비자가 사용하기 어렵고, 접근장벽이 매우 높다.
[9]
결국, 소비자는 저렴한 가격으로 사용이 간편한 댄스모션을 분석하고 평가하는 장치가 필요한 실정이다.

발명의 상세한 설명

기술적 과제

[10]
본 발명의 목적은 간편하게 촬영하고, 촬영된 영상을 실시간으로 분석이 가능한 댄스모션 분석 평가장치 및 방법을 제공하는 것이다.

과제 해결 수단

[11]
본 발명의 실시예에 따른 댄스모션 분석평가장치는 모바일에 탑재되는 댄스모션 분석 평가장치로서, 테스트 댄스영상을 촬영하는 촬영부, 상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부, 상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부를 포함한다.
[12]
또한, 본 발명의 실시예에 따른 댄스모션 분석평가장치는 상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부를 더 포함할 수 있다.
[13]
여기서, 상기 객체 생성부는 상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈 및 추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈을 포함할 수 있다.
[14]
여기서, 상기 객체추출모듈은 둘 이상의 객체를 동시에 추출하고, 상기 패턴생성모듈은 둘 이상의 테스트 객체패턴을 동시에 추출할 수 있다.
[15]
여기서, 상기 평가부는 테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러, 상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈, 상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈 및 조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈을 포함할 수 있다.
[16]
여기서, 상기 각도산출모듈 및 비교모듈은 인공지능 알고리즘을 이용하여 조인트의 각도를 산출하고 비교할 수 있다.
[17]
본 발명의 실시예에 따른 댄스모션 분석 평가장치는 상기 테스트 댄스영상과 상기 테스트 객체패턴을 합성하여 상기 모바일의 화면을 통해서 출력하는 출력부를 더 포함할 수 있다.
[18]
본 발명의 실시예에 따른 댄스모션 분석 평가방법은 댄스모션 분석평가장치가 수행하는 댄스모션 분석평가방법으로서, 테스트 댄스영상에서 테스트 객체를 추출하는 단계, 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계, 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계 및 비교된 값을 이용하여 점수를 산출하는 단계를 포함한다.
[19]
여기서, 상기 각도를 비교하는 단계는 영상의 프레임별로 상기 테스트 객체패턴 조인트와 상기 샘플 객체패턴 조인트를 일치시키는 단계와 상기 테스트 객체패턴과 상기 테스트 댄스영상을 합성하여 조인트 별로 비교된 값을 출력하는 단계를 포함할 수 있다.

발명의 효과

[20]
본 발명의 실시예에 따른 댄스모션 분석 평가장치 및 방법은 모바일 기기만으로 사용자의 댄스동작을 촬영, 분석, 평가를 수행할 수 있다.
[21]
또한, 댄스동작의 분석 및 평가시에 빠른 연산이 가능하여 동작분석후 실시간으로 사용자의 댄스동작에 대한 분석 및 평가가 가능하다.

도면의 간단한 설명

[22]
도 1은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 기능 블록도이다.
[23]
도 2는 본 발명의 실시예에 따른 객체 생성부의 세부 블록도이다.
[24]
도 3은 본 발명의 실시예에 따른 패턴형성모듈에 의해서 구현된 테스트 객체패턴의 실제사진이다.
[25]
도 4는 본 발명의 실시예에 따른 평가부의 세부 블록도이다.
[26]
도 5는 본 발명의 실시예에 따른 각도산출모듈의 실제 구현 예시도이다.
[27]
도 6은 본 발명의 실시예에 따른 비교모듈의 각도 비교 예시도이다.
[28]
도 7은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 시뮬레이션 사진이다.
[29]
도 8은 본 발명의 실시예에 따른 출력부를 통해서 출력되는 예시 화면이다.
[30]
도 9는 본 발명의 실시예에 따른 댄스모션 분석방법의 순서도이다.

발명의 실시를 위한 형태

[31]
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
[32]
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
[33]
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
[34]
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
[35]
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[36]
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
[37]
[38]
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 그러나 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
[39]
도 1은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 기능 블록도이다.
[40]
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 모바일에 탑재되는 댄스모션 분석 평가장치로서, 테스트 댄스영상을 촬영하는 촬영부(100), 상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부(200), 상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부(300)를 포함한다.
[41]
또한, 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부(400)와 분석결과 등을 출력하는 출력부(500)는 포함한다.
[42]
본 발명의 실시예에 따른 댄스모션 분석 평가장치가 탑재되는 모바일은 기 공지된 소정의 전자 장치로, 예를 들어, 스마트 폰, 태블릿 피씨, 두부 장착형 디스플레이(HMD, Head Mounted Display) 장치, 스마트 시계, 랩톱 컴퓨터, 데스크톱 컴퓨터, 디지털 텔레비전, 셋톱박스, 내비게이션 장치, 인공 지능 스피커, 휴대용 게임기, 개인용 디지털 보조기(PDA, Personal Digital Assistant), 전자 칠판, 전자 광고판, 가전 기기 및/또는 이외 부호의 입력 또는 데이터의 시각적/청각적 출력이 가능한 다양한 전자 기기 중 적어도 하나를 포함할 수 있다.
[43]
본 발명의 실시예에 따른 댄스모션 분석 평가장치는 복잡한 장비가 필요치 않고, 앞선 예와 같은 모바일 기기에 의해서 구현될 수 있다.
[44]
이하, 설명의 편의를 위해 모바일 기기로서, 스마트 폰을 위주로 본 발명의 장치에 대한 설명을 이어간다.
[45]
촬영부(100)는 스마트 폰 등의 일면에 설치되는 카메라 등으로 구성되는 영상촬영장치를 포함한다. 촬영부(100)는 사용자의 댄스모션을 촬영하며, 테스트 댄스영상을 생성한다.
[46]
객체 생성부(200)는 촬영된 테스트 댄스영상에서 분석대상 또는 평가대상이 되는 피사체인 테스트 객체를 추출하고, 테스트 객체를 조인트와 링크로 표현되는 테스트 객체패턴을 생성한다.
[47]
도 2는 본 발명의 실시예에 따른 객체 생성부의 세부 블록도이다.
[48]
도 2에 도시된 바와 같이 본 발명의 실시예에 따른 객체 생성부(200)는 상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈(210)과 추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈(220)을 포함한다.
[49]
객체추출모듈(210)은 엣지추출기법 등을 통해서 배경화면과 객체를 분리하고, 객체를 추출한다. 객체추출모듈(210)은 기존에 공개된 다양한 객체추출 기법을 활용하여 테스트 객체를 추출하므로 자세한 설명은 생략한다.
[50]
객체추출모듈(210)은 테스트 댄스영상에 포함되어 있는 하나의 프레임에서 사용자에 의해서 설정된 영역내에 객체를 추출할 수도 있으며, 둘 이상의 객체를 동시에 추출하여 하나 이상의 사용자의 댄스영상을 테스트하기 위한 처리 과정을 수행한다.
[51]
나아가 객체추출모듈(210)을 통해서 테스트 댄스영상의 추출된 객체를 구간별로 조절하거나 변형을 가할 수 있으며, 크로마키 기법을 통해서 객체에 다른 배경화면을 합성하거나 대체할 수도 있다.
[52]
패턴형성모듈(220)은 객체추출모듈(210)을 통해서 추출된 객체에서 테스트 객체패턴을 생성한다. 본 발명의 명세서 전반에 걸쳐 기재되어 있는 객체패턴은 조인트와 링크로 이루어진 모형 또는 단순화된 아바타일 수 있다.
[53]
도 3은 본 발명의 실시예에 따른 패턴형성모듈에 의해서 구현된 테스트 객체패턴의 실제사진이다.
[54]
도 3에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 패턴형성모듈(220)에 의해서 구현된 테스트 객체패턴은 전체 17개의 조인트와 각 조인트를 연결하는 링크로 구성된다.
[55]
특히 각 조인트는 인체의 관절부위 및 손, 발과 같은 링크의 끝단, 그리고 눈, 입, 귀에 매칭되어 구성될 수 있으나 반드시 이에 제한되는 것은 아니다.
[56]
또한, 패턴형성모듈(220)은 댄스의 종류(힙합, 스윙댄스, 팝핀댄스 등)에 따라 다양한 방법으로 조인트를 구성할 수 있다. 관절을 많이 사용하는 팝핀댄스의 경우는 손목, 손가락 마디 등에도 별도의 조인트를 구성할 수 있으며, 스윙댄스와 같이 웨이브와 부드러운 율동이 주를 이루는 댄스의 경우에는 몸의 중심에 있는 척추에 별도의 조인트를 추가로 구성할 수도 있다.
[57]
패턴형성모듈(220)은 댄스모션의 분석 및 평가의 대상이 되는 테스트 댄스영상에서 추출된 테스트 객체를 이용하여 테스트 객체패턴을 형성할 수도 있고, 후술하게 될 저장부(400)에 저장되어 있는 샘플 댄스영상에서 추출된 샘플 객체를 이용하여 샘플 객체패턴을 형성할 수도 있다.
[58]
평가부(300)는 테스트 객체패턴과 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가한다.
[59]
도 4는 본 발명의 실시예에 따른 평가부의 세부 블록도이다.
[60]
도 4에 도시된 바와 같이 평가부(300)는 테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러(310), 상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈(320), 상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈(330) 및 조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈(340)을 포함한다.
[61]
타임스케줄러(310)는 테스트 댄스영상의 프레임과 샘플 댄스영상의 프레임을 일치시켜 테스트 댄스영상의 각각의 프레임들과 비교하게 될 샘플 댄스영상의 프레임을 특정시킨다. 일반적인 동영상은 1초에 몇 장의 영상이 촬영되는가에 따라서 기기마다 동영상을 촬영하거나 재생하는 처리속도가 달라진다. 스마트폰으로 촬영하는 동영상은 기본 초당 30프레임(60fps)를 지원하며, 설정에 따라서 달라질 수는 있으나 대부분은 30프레임 이상을 지원할 수 있다.
[62]
빠른 움직임이 수반되는 스포츠 경기나 댄스영상은 잔상없이 선명하게 촬영하고 재생할 수 있도록 60fps의 동영상으로 촬영되는 것이 바람직하다.
[63]
타임스케줄러(310)는 테스트 댄스영상의 프레임과 샘플 댄스영상의 프레임이 30fps등으로 일치하는 경우, 시간에 따라서 양 영상간의 프레임을 매칭시킬 수 있고, 서로간의 초당 프레임이 일치하지 않는 경우에는 서로 겹치는 프레임을 매칭시키는 등의 방법을 통해서 일치시킨다. 특히 타임스케줄러(310)는 댄스의 난이도, 사용자의 숙련정도에 따라 양 영상(테스트 댄스영상 vs. 샘플 댄스영상)간의 프레임을 매칭시키는 범위를 폭넓게 형성하거나 샘플 댄스영상 프레임을 지연시켜 테스트 댄스영상과 매칭시킬 수 있다. 이는 샘플 댄스영상을 보면서 댄스모션을 취하는 초보단계의 사용자가 따라할 수 있도록 난이도를 조절하는 하나의 방법이 될 수 있다.
[64]
각도산출모듈(320)은 테스트 객체패턴과 샘플 객체패턴의 조인트를 서로 일치시키고 조인트의 각도를 산출한다.
[65]
도 5는 본 발명의 실시예에 따른 각도산출모듈의 실제 구현 예시도이다.
[66]
도 5에 도시된 바와 같이 하나의 프레임에서 생성된 테스트 객체패턴은 얼굴의 조인트를 제외한 12개의 조인트로 표현된다. 각 조인트마다 별도의 식별자가 부여되어 영상속에서 각 조인트별 움직임이 트래킹 된다. 도 5에서 1번 조인트부터 6번 조인트는 테스트 객체의 오른쪽 측면이며, 나머지 7번 조인트부터 12번 조인트는 테스트 객체의 왼쪽 측면이다. 오른쪽 조인트 중에 무릎의 조인트인 5번 조인트가 이루는 각도는 α이며, 왼쪽 조인트 중에 무릎의 조인트인 8번 조인트가 이루는 각도는 β이고, 왼쪽 허리 조인트인 9번 조인트는 γ이다.
[67]
각도산출모듈(320)은 도 5를 통해서 설명한 바와 같이 각 조인트별 각도를 산출한다. 특히 3번 조인트, 10번 조인트, 4번 조인트, 9번 조인트와 같이 3개의 링크가 교차하는 조인트는 2개의 조인트 각도가 도출될 수 있으며, 댄스의 난이도, 댄스의 종류, 사용자의 숙련정도에 따라서 조인트별 산출각도에 포함시키거나 그렇지 않을 수도 있다.
[68]
또한, 각도산출모듈(320)은 인공지능 기반의 알고리즘을 활용하여 연산을 수행할 수 있다. 즉, 스마트폰 카메라 등을 활용하여 모션 영상을 촬영하면 신체의 각도와 동작궤적을 트래킹하여 춤선의 위치를 벡터 데이터화 한 후 자료구조에 저장하고 학습하여 조인트의 각도를 산출하는데 활용할 수 있다.
[69]
비교모듈(330)은 테스트 객체패턴에서의 조인트 각도와 샘플 객체패턴에서의 조인트 각도를 비교한다.
[70]
도 6은 본 발명의 실시예에 따른 비교모듈의 각도 비교 예시도이다.
[71]
도 6에 도시된 바와 같이 비교모듈(330)은 앞선 도 5에 도시되어 있는 테스트 객체패턴의 5번 조인트 각도를 예시로 테스트 객체패턴의 조인트와 샘플 객체패턴의 5'번 조인트 각도를 비교한다.
[72]
각도산출모듈(320)은 5번 조인트 각도를 ∠456 = α로 산출되었다. 샘플 객체패턴의 5'번 조인트 각도는 ∠4'5'6' = α'으로 산출되었다. 비교모듈(330)은 테스트 객체패턴의 5-6 링크와 샘플 객체패턴의 5'-6' 링크를 일치시키고 α-α'을 계산한다. 계산된 값(α-α')은 특정프레임의 5번 조인트의 각도 비교값으로 저장된다. 즉 각도산출모듈(320)은 링크가 향해있는 방향과는 상관없이 하나의 링크를 일치시키고 각도의 차이값만을 산출하여 각도 비교값을 생성한다.
[73]
도 6과 같은 일련의 조인트 각도 비교값 계산은 하나의 프레임당 2번 조인트 ~ 5번 조인트, 8번 조인트 ~ 11번 조인트까지 여덟번 계산된다.
[74]
비교모듈(330)은 인공지능 기반의 알고리즘인 CNN(Convolution Neural Network)를 활용하여 과거의 데이터에 대한 정보를 기억하고, 새로운 데이터를 처리할 수 있다. 예를 들어 비교모듈(330)은 CNN알고리즘을 활용하여 깊이방향으로의 회전에 의한 각도를 고려하여 각도 비교값을 생성할 수도 있다. 카메라에 의해서 촬영되고, 객체패턴으로 인식되는 2차원 평면상에서 앞뒤방향으로 회전하거나 움직이는 객체패턴의 움직임을 검출하는데 CNN알고리즘을 활용하여 정확한 각도 비교값의 산출이 가능한다. 즉 인공지능 기반의 CNN알고리즘을 이용하여 깊이값에 대한 정보를 획득할 수도 있으며, 이를 각도 비교값을 정확하게 산출하고 추론하는데 활용할 수 있다.
[75]
도 7은 본 발명의 실시예에 따른 댄스모션 분석 평가장치의 시뮬레이션 사진이다.
[76]
도 8은 본 발명의 실시예에 따른 출력부를 통해서 출력되는 예시 화면이다.
[77]
비교모듈(330)은 도 7에 도시된 바와 같이 왼쪽 상단에 위치하고 있는 샘플 댄스영상과 우측 상단에 위치하고 있는 테스트 댄스영상을 객체패턴을 통해서 비교한다. 비교결과 중간수준의 오차가 발생하는 조인트는 우측 하단에 보이는 영상과 같이 밝은색 원으로 표시될 수 있고, 큰 오차가 발생한 조인트는 비교적 어두운 색 원으로 표시된다.
[78]
점수산출모듈(340)은 앞서 살펴본, 비교모듈(330)에서 테스트 댄스영상에서의 테스트 객체패턴의 프레임별/각 조인트의 각도 비교값을 종합하여 사용자의 댄스점수를 산출한다. 사용자의 댄스점수를 산출하기 위한 다양한 방법이 고려될 수 있다. 점수산출모듈(340)은 또한, 춤의 숙련도에 따른 단계별 분류, 신체 부위별 움직임 정도의 차이에 따른 가중치 부여 등 사용자의 설정에 의한 점수산출이 가능하다.
[79]
본 발명의 실시예에 따른 댄스모션 분석 평가장치는 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체 패턴을 저장하는 저장부(400)와 테스트 댄스영상과 테스트 객체패턴을 합성하여 모바일의 화면을 통해서 출력하는 출력부(500)는 더 포함할 수 있다.
[80]
저장부(400)는 댄스모션 분석 및 평가를 위한 다양한 정보를 저장할 수 있다. 저장부는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이프롬(EPROM), 이이프롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기 테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
[81]
출력부(500)는 도 3에 도시된 바와 같이 테스트 객체와 테스트 객체패턴을 합성하여 일치시키거나 도 8과 같이 테스트 객체와 테스트 객체패턴을 분리하여 동시에 출력할 수도 있다. 또한, 출력부(500)를 통해 본 발명의 실시예에 따른 댄스모션 분석 평가장치는 샘플 객체와 테스트 객체를 동시에 출력하고, 테스트 객체에서 오차가 발생하는 조인트를 표시할 수도 있으며, 터치가능한 유저 인터페이스를 이용하여 시작과 멈춤, 측정구역에서의 자세비교, 산출된 점수, 원하는 배속으로 플레이 등의 재생 및 출력할 수 있다.
[82]
이상 본 발명의 실시예에 따른 댄스모션 분석 평가장치에 대해서 상세히 살펴보았다. 이하, 본 발명의 또 다른 양태인 댄스모션 분석방법에 대해서 살펴본다.
[83]
앞선 실시예와 중복되는 구성에 대한 설명은 생략한다.
[84]
도 9는 본 발명의 실시예에 따른 댄스모션 분석방법의 순서도이다.
[85]
도 9에 도시된 바와 같이 본 발명의 실시예에 따른 댄스모션 분석방법은 테스트 댄스영상에서 테스트 객체를 추출하는 단계(S100), 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계(S200), 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계(S300) 및 비교된 값을 이용하여 점수를 산출하는 단계(S400)를 포함한다.
[86]
테스트 댄스영상에서 테스트 객체를 추출하는 단계(S100)는 엣지추출기법 등을 통해서 배경이 있는 영상에서 테스트 객체만을 추출하는 단계이다. 영상내에서 테스트 객체는 하나일 수도 있으나, 복수의 테스트 객체도 동시에 추출할 수 있다.
[87]
테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계(S200)는 객체의 댄스모션을 분석하는 대상을 조인트의 각도로 단순화하여 연산속도를 빠르게 하고, 다량의 연산이 가능하도록 조인트와 링크로 이루어진 테스트 객체를 생성하는 단계이다.
[88]
테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계(S300)는 앞서 도 6에서도 살펴본 바와 같이 저장부에 저장되어 있는 샘플 객체 패턴 조인트의 각도와 테스트 객체패턴 조인트의 각도를 프레임별로, 조인트별로 매칭시켜 비교한다.
[89]
또한, 각도를 비교하는 단계(S300)는 영상의 프레임별로 테스트 객체패턴 조인트와 샘플 객체패턴 조인트를 일치시키는 단계를 포함하며, 테스트 객체패턴과 테스트 댄스영상을 합성하여 조인트별로 비교된 값을 출력하는 단계를 포함한다.
[90]
비교된 값을 이용하여 점수를 산출하는 단계(S400)는 조인트별로 테스트 객체패턴과 샘플 객체패턴을 비교한 비교값을 가중치와 난이도 등을 고려하여 점수화하는 단계이다. 점수를 산출하는 방법은 매우 다양하게 고려될 수 있다.
[91]
이상 살펴본 댄스모션 분석평가장치 및 방법에 의하면, 일상에서 사용되고 있는 모바일 기기를 이용하여 커버댄스의 동작을 따라하고, 그에 따른 피드백을 정량화하여 받을 수 있으며, 댄스코치의 조력 없이도 원하는 댄스모션을 손쉽게 연습하고 습득할 수 있다.
[92]
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성 요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성 요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
[93]

청구범위

[청구항 1]
모바일에 탑재되는 댄스모션 분석 평가장치로서, 테스트 댄스영상을 촬영하는 촬영부; 상기 테스트 댄스영상에서 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 객체 생성부; 상기 테스트 객체패턴과 샘플 객체패턴을 비교하되, 상기 테스트 객체패턴의 조인트 각도와 상기 샘플 객체패턴의 조인트 각도를 비교하여 테스트 댄스영상을 평가하는 평가부를 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 2]
제1항에 있어서, 상기 테스트 댄스영상을 평가하기 위한 샘플 댄스영상을 저장하고, 상기 샘플 댄스영상에서 객체의 조인트와 링크로 이루어진 샘플 객체패턴을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 3]
제1항에 있어서, 상기 객체 생성부는 상기 테스트 댄스영상으로부터 분석, 평가대상인 객체를 추출하는 객체추출모듈; 및 추출된 객체에서 테스트 객체패턴을 생성하는 패턴생성모듈을 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 4]
제3항에 있어서, 상기 객체추출모듈은 둘 이상의 객체를 동시에 추출하고, 상기 패턴생성모듈은 둘 이상의 테스트 객체패턴을 동시에 추출하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 5]
제1항에 있어서, 상기 평가부는 테스트 댄스영상의 프레임을 샘플 댄스영상 프레임과 일치시키는 타임스케줄러; 상기 테스트 객체패턴과 상기 샘플 객체패턴에서 조인트를 일치시키고, 각 객체패턴에서 조인트의 각도를 산출하는 각도산출모듈; 상기 테스트 객체패턴에서의 조인트 각도와 상기 샘플 객체패턴에서의 조인트 각도를 비교하는 비교모듈; 및 조인트 각도의 일치여부에 따라 점수를 산출하는 점수산출모듈을 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 6]
제4항에 있어서, 상기 각도산출모듈 및 비교모듈은 인공지능 알고리즘을 이용하여 조인트의 각도를 산출하고 비교하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 7]
제1항에 있어서, 상기 테스트 댄스영상과 상기 테스트 객체패턴을 합성하여 상기 모바일의 화면을 통해서 출력하는 출력부를 더 포함하는 것을 특징으로 하는 댄스모션 분석 평가장치.
[청구항 8]
댄스모션 분석평가장치가 수행하는 댄스모션 분석평가방법으로서, (a) 테스트 댄스영상에서 테스트 객체를 추출하는 단계; (b) 상기 테스트 객체를 이용하여 조인트와 링크로 이루어진 테스트 객체패턴을 생성하는 단계; (c) 상기 테스트 객체패턴 조인트와 샘플 객체패턴 조인트의 각도를 비교하는 단계; 및 (d) 비교된 값을 이용하여 점수를 산출하는 단계를 포함하는 것을 특징으로 하는 댄스모션 분석평가방법.
[청구항 9]
제8항에 있어서, 상기 (c)단계는 영상의 프레임별로 상기 테스트 객체패턴 조인트와 상기 샘플 객체패턴 조인트를 일치시키는 단계를 포함하는 것을 특징으로 하는 댄스모션 분석평가방법.
[청구항 10]
제9항에 있어서, 상기 (c)단계는 상기 테스트 객체패턴과 상기 테스트 댄스영상을 합성하여 조인트 별로 비교된 값을 출력하는 단계를 포함하는 것을 특징으로 하는 댄스모션 분석평가방법.

도면

[도1]

[도2]

[도3]

[도4]

[도5]

[도6]

[도7]

[도8]

[도9]