Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020111558 - APPARATUS AND METHOD FOR GENERATING PATTERN DATA, AND APPARATUS AND METHOD FOR REPRODUCING PATTERN DATA

Document

명세서

발명의 명칭

기술분야

1  

배경기술

2  

발명의 상세한 설명

과제 해결 수단

3   4   5   6   7   8   9   10   11   12   13   14   15   16   17  

도면의 간단한 설명

18   19   20   21   22   23   24   25  

발명의 실시를 위한 최선의 형태

26   27   28   29   30   31   32   33   34   35   36   37   38   39   40   41   42   43   44   45   46   47   48   49   50   51   52   53   54   55   56   57   58   59   60   61   62   63   64   65   66   67   68   69   70   71   72   73   74   75   76   77   78   79   80   81   82   83   84   85   86   87   88   89   90   91   92   93   94   95  

청구범위

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  

도면

1   2   3   4   5   6   7   8   9  

명세서

발명의 명칭 : 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법

기술분야

[1]
아래의 실시예들은 패턴 데이터 생성 기술 및 패턴 데이터 제생 기술에 관한 것이다.

배경기술

[2]
문화 산업이 발달함에 따라 콘서트, 비디오 게임 등 사용자가 즐길 수 있는 컨텐츠의 종류가 다양화되고, VR(Virtual Reality), 3D 영상, 4D 체험과 같은 몰입감이 높은 컨텐츠를 제공하는 방법에 대한 소비자의 수요가 점차 증대되고 있다. 이러한 경향에 따라 사용자에게 햅틱 피드백을 제공하는 햅틱 장치에 대한 관심도 나날이 증가하고 있다. 햅틱 장치는 햅틱 장치에 흐르는 전류량, 햅틱 장치에 인가되는 전압의 크기를 조절하여 햅틱 장치가 제공하는 햅틱 자극을 조절할 수 있다.

발명의 상세한 설명

과제 해결 수단

[3]
일 실시예에 따른 패턴 데이터 생성 장치는, 사용자 선택에 따른 입력 데이터를 수신하는 입력 데이터 수신부; 상기 입력 데이터에 기초하여 패턴 정보를 결정하고, 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 콘트롤러; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 통신부를 포함할 수 있다.
[4]
상기 패턴 데이터는, 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다.
[5]
상기 콘트롤러는, 상기 입력 데이터를 분석하고, 상기 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다.
[6]
상기 입력 데이터 수신부는, 상기 사용자 선택에 따라 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다.
[7]
상기 콘트롤러는, 상기 입력 데이터가 상기 사운드 데이터인 경우, 상기 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고, 밴드패스 필터를 이용하여 상기 타겟 주파수 대역의 사운드 데이터를 필터링하고, 임계치에 기초하여 상기 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 상기 햅틱 패턴의 패턴 시간 간격 정보를 결정할 수 있다.
[8]
상기 콘트롤러는, 상기 입력 데이터가 상기 터치 입력 데이터인 경우, 상기 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 상기 터치 입력의 시간 간격 정보를 추출하고, 상기 유지 시간 정보 및 상기 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성할 수 있다.
[9]
상기 콘트롤러는, 상기 입력 데이터가 상기 사용자 패턴 설정 데이터인 경우, 상기 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 상기 결정된 패턴 레벨 정보 및 상기 패턴 시간 간격 정보에 기초하여 상기 패턴 데이터를 생성할 수 있다.
[10]
상기 패턴 데이터는, 메시지에 포함되어 상기 패턴 데이터 재생 장치에 전송되고, 상기 메시지는, 상기 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트; 메시지 정보를 포함하는 제2 엘리먼트; 및 상기 메시지 정보의 크기를 나타내는 제3 엘리먼트를 포함할 수 있다.
[11]
일 실시예에 따른 패턴 데이터 재생 장치는, 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 통신부 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 콘트롤러; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 햅틱 패턴 재생부를 포함할 수 있다.
[12]
상기 햅틱 패턴 재생부는, 상기 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터를 구동하는 것에 의해 햅틱 패턴을 재생할 수 있다.
[13]
일 실시예에 따른 패턴 데이터 재생 장치는, 상기 추출한 패턴 정보에 기초하여 조명 패턴을 재생하는 조명 패턴 재생부를 더 포함할 수 있다.
[14]
상기 조명 패턴 재생부는, 상기 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 상기 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생할 수 있다.
[15]
일 실시예에 따른 패턴 데이터 생성 방법은, 사용자 선택에 따른 입력 데이터를 수신하는 단계; 상기 입력 데이터에 기초하여 패턴 정보를 결정하는 단계; 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 단계; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 단계를 포함할 수 있다.
[16]
일 실시예에 따른 패턴 데이터 재생 방법은, 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 단계 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 단계; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 단계를 포함할 수 있다.
[17]
일 실시예에 따른 패턴 데이터 재생 방법은, 상기 패턴 데이터에 조명 패턴에 대한 패턴 정보가 포함된 경우, 상기 조명 패턴에 대한 패턴 정보에 기초하여 조명 패턴을 재생하는 단계를 더 포함할 수 있다.

도면의 간단한 설명

[18]
도 1은 일 실시예에 따른 패턴 데이터 제공 시스템을 도시하는 도면이다.
[19]
도 2는 일 실시예에 따른 패턴 데이터 생성 방법의 동작을 설명하기 위한 흐름도이다.
[20]
도 3은 일 실시예에 따른 입력 데이터의 타입에 따라 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
[21]
도 4는 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
[22]
도 5 및 도 6은 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 일례를 설명하기 위한 도면들이다.
[23]
도 7은 일 실시예에 따른 사용자 패턴 설정 데이터를 설명하기 위한 도면이다.
[24]
도 8은 일 실시예에 따른 패턴 데이터를 포함하는 메시지의 엘리먼트들을 도시하는 도면이다.
[25]
도 9는 일 실시예에 따른 패턴 데이터 재생 방법의 동작을 설명하기 위한 흐름도이다.

발명의 실시를 위한 최선의 형태

[26]
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
[27]
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
[28]
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
[29]
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
[30]
도 1은 일 실시예에 따른 패턴 데이터 제공 시스템을 도시하는 도면이다.
[31]
패턴 데이터 제공 시스템(100)은 패턴 데이터에 기초하여 사용자에게 햅틱 자극(햅틱 효과) 및/또는 조명 자극(조명 효과)을 사용자에게 제공하는 시스템이다. 예를 들어, 패턴 데이터 제공 시스템(100)은 콘서트장, 영화관, 공연장 등과 같은 장소에서 관람객들에게 제공될 콘텐츠의 비트 패턴에 대응하는 패턴 데이터를 생성하고, 생성된 패턴 데이터를 관람객들에게 전송할 수 있다. 관람객들은 웨어러블 디바이스를 착용하고, 웨어러블 디바이스는 패턴 데이터를 수신할 수 있다. 웨어러블 디바이스는 패턴 데이터를 재생하여 관람객들에게 콘텐츠에 어울리는 햅틱 자극 및/또는 조명 자극을 제공할 수 있다. 관람객들은 햅틱 자극 및/또는 조명 자극을 통해 더 높은 차원의 몰입감을 느낄 수 있으며, 콘텐츠의 제공 효과(공연 효과)가 극대화될 수 있다.
[32]
다른 예로, 사용자가 음악 재생 애플리케이션이 실행되는 구동 디바이스를 이용하여 음악 콘텐츠를 듣는 경우를 가정한다. 이 경우, 패턴 데이터 제공 시스템(100)은 음악 콘텐츠를 분석하여 음악 콘텐츠에 어울리는 패턴 데이터를 생성하고, 위 구동 디바이스에 유선 또는 무선으로 연결될 수 있는 액세서리 디바이스를 이용하여 패턴 데이터를 재생함으로써 사용자에게 음악 콘텐츠에 대응하는 햅틱 자극 및/또는 조명 자극을 제공할 수 있다.
[33]
또 다른 예로, 사용자는 패턴 데이터 제공 시스템(100)을 통해 패턴 데이터를 직접 제작할 수도 있다. 사용자는 햅틱 자극이나 조명 자극의 패턴이 발생하는 시간 간격과 패턴의 세기를 설정하는 것에 의해 개성 있는 패턴 데이터를 생성할 수 있다. 사용자는, 예를 들어 두드림, 문지름 등의 터치 입력을 통해 자신만의 개성 있는 패턴 데이터를 생성할 수 있다. 생성된 패턴 데이터는 저장되고, 디바이스나 다른 사용자에게 전달될 수 있다.
[34]
도 1을 참고하면, 일 실시예에 따른 패턴 데이터 제공 시스템(100)은 패턴 데이터 생성 장치(110) 및 패턴 데이터 재생 장치(150)를 포함한다. 패턴 데이터 생성 장치(110)는 패턴 데이터를 생성하는 장치로서, 예를 들어 퍼스널 컴퓨터, 스마트폰과 같은 모바일 디바이스 등에 해당될 수 있다. 패턴 데이터 생성 장치(110)는 패턴 데이터를 생성하고, 생성된 패턴 데이터를 전달할 수 있다. 예를 들어, 패턴 데이터 생성 장치(110)는 콘텐츠(예, 음악과 같은 사운드 데이터)를 분석하여 해당 콘텐츠에 대응하는 패턴 데이터를 생성하거나 또는 사용자에 의해 입력된 터치 입력 데이터나 사용자 패턴 설정 데이터 기초하여 패턴 데이터를 생성할 수 있다. 이렇게 생성된 패턴 데이터는 사용자에게 제공될 햅틱 자극 및/또는 조명 자극의 패턴을 정의하는 패턴 정보를 포함할 수 있다.
[35]
패턴 데이터 재생 장치(150)는 패턴 데이터 생성 장치(110)로부터 전달 받은 패턴 데이터에 기초하여 사용자에게 햅틱 자극 및/또는 조명 자극을 제공하는 장치이다. 패턴 데이터 재생 장치(150)는 '햅틱 장치'로도 지칭될 수 있다. 일 실시예에서, 패턴 데이터 재생 장치(150)는 패턴 데이터를 재생하여 진동이나 두드림 등을 발생시킴으로써 사용자에게 특정한 패턴의 햅틱 자극을 제공할 수 있다. 또한, 패턴 데이터 재생 장치(150)는 패턴 데이터를 재생하여 LED와 같은 조명부의 조명 컬러와 조명 세기를 조절함으로써 사용자에게 특정한 패턴의 시각 자극을 제공할 수 있다. 패턴 데이터 재생 장치(150)는, 예를 들어 웨어러블 디바이스, 모바일 디바이스의 액세서리 디바이스, 휴대 가능한 전자 디바이스 등의 형태를 가질 수 있으나, 그 형태가 이들에 한정되는 것은 아니다.
[36]
도 1에 도시된 것과 같이, 패턴 데이터 생성 장치(110)와 패턴 데이터 재생 장치(150)는 네트워크(105)를 통해 무선으로 연결되거나 또는 케이블을 통해 유선으로도 연결될 수 있다.
[37]
패턴 데이터 생성 장치(110)는 입력 데이터 수신부(120), 콘트롤러(130) 및 통신부(140)를 포함한다. 입력 데이터 수신부(120)는 사용자 선택에 따른 입력 데이터를 수신한다. 입력 데이터 수신부(120)는 사용자 선택에 따라 음악과 같은 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다. 터치 입력 데이터의 경우, 터치 스크린 디스플레이 등에 사용자가 가하는 두드림이나 문지름 등의 터치 입력을 센싱하는 것에 의해 획득될 수 있다. 사용자 패턴 설정 데이터는 이퀄라이저와 같은 인터페이스를 통해 사용자가 패턴 레벨이나 패턴 시간 간격을 직접 설정하는 것에 의해 획득될 수 있다. 사용자는 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중에서 어느 것을 이용하여 패턴 데이터를 생성할 지를 선택할 수 있다.
[38]
콘트롤러(130)는 패턴 데이터 생성 장치(110)의 동작을 제어하고, 하나 이상의 프로세서를 포함할 수 있다. 콘트롤러(130)는 입력 데이터 수신부(120)를 통해 수신한 입력 데이터에 기초하여 패턴 정보를 결정하고, 결정된 패턴 정보를 포함하는 패턴 데이터를 생성할 수 있다. 콘트롤러(130)는 입력 데이터를 분석하고, 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다. 패턴 데이터는 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다. 일 실시예에서, 콘트롤러(130)는 입력 데이터에 기초하여 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보 및 조명 패턴의 출력 시간 정보를 결정할 수 있고, 결정된 정보들을 저장하도록 제어할 수 있다.
[39]
일 실시예에서, 입력 데이터가 사운드 데이터인 경우를 가정한다. 이 경우, 콘트롤러(130)는 사운드 데이터로부터 자동으로 패턴 정보를 추출할 수 있다. 콘트롤러(130)는 입력된 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고, 밴드패스 필터(bandpass filter)를 이용하여 타겟 주파수 대역의 사운드 데이터를 필터링하여 가청음 영역의 사운드 데이터를 추출할 수 있다. 콘트롤러(130)는 임계치에 기초하여 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
[40]
예를 들어, 입력 데이터 수신부(120)가 웨이브(wave)나 MP3 파일의 사운드 데이터를 입력 데이터로서 수신한 경우, 콘트롤러(130)는 사운드 데이터의 전반부에 재생되는 전주 부분(예, 약 1분 정도 부분)을 일정한 시간 주기(예, 200 ms)로 고속 푸리에 변환(Fast Fourier Transform; FFT)을 수행하여 주파수 도메인에서 분석하여 가장 많이 반복되는 주파수 대역(FFT 값이 가장 큰 주파수 대역)을 타겟 주파수 대역으로 결정할 수 있다. 이와 같이, 콘트롤러(130)는 음악과 같은 사운드 데이터의 초기 전반부에서 패턴 데이터를 형성할 타겟 주파수 대역을 결정할 수 있다. 이후에, 콘트롤러(130)는 밴드패스 필터링과 역 고속 푸리에 변환(Inverse Fast Fourier Transform; IFFT)을 수행하여 필터링된 사운드 데이터를 시간 도메인으로 출력한다. 콘트롤러(130)는 IFFT가 수행되어 시간 도메인으로 변환된 사운드 데이터의 신호 값을 일정한 임계치(사용자가 설정 가능)와 비교하여 패턴 레벨 정보와 패턴 시간 간격 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 IFFT 처리된 사운드 데이터의 신호 값이 임계치 이상이면, 신호 값과 임계치 간의 차이에 기초하여 패턴 레벨을 결정하고, 신호 값이 임계치 미만이면 패턴 레벨을 0으로 처리할 수 있다. 패턴 레벨은, 예를 들어 0과 10 사이의 디지털 값으로 결정될 수 있다. 콘트롤러(130)는 신호 값이 임계치 이상인 시간들을 탐지하고, 탐지된 시간들 사이의 간격에 기초하여 패턴 시간 간격 정보를 결정할 수 있다.
[41]
또한, 콘트롤러(130)는 타겟 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 패턴 시간 간격 정보에 기초하여 조명 패턴이 출력되는 시점을 나타내는 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 예를 들어, 타겟 주파수 대역의 값에 따라 조명 패턴의 컬러가 다르게 결정될 수 있고, 사운드 데이터를 분석하여 도출된 패턴 시간 간격에 기초하여 조명 패턴이 출력될 시간이 결정될 수 있다.
[42]
다른 실시예에서, 입력 데이터가 터치 입력 데이터인 경우를 가정한다. 사용자는 터치 입력을 통해 간단하게 패턴 데이터를 생성할 수 있고, 이렇게 생성된 터치 입력 데이터는 터치가 입력된 시간 간격을 나타내는 시간 간격 정보, 터치가 유지된 시간 구간인 유지 시간 정보 및 입력된 터치의 세기 정보를 포함할 수 있다. 콘트롤러(130)는 터치 입력 데이터로부터 자동으로 패턴 정보를 추출할 수 있다. 콘트롤러(130)는 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 터치 입력의 시간 간격 정보를 추출하고, 추출된 유지 시간 정보 및 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성할 수 있다. 콘트롤러(130)는 해당 유지 시간 정보에 기초하여 햅틱 패턴의 재생 시작 시간을 설정하고, 해당 시간 간격 정보에 기초하여 햅틱 패턴의 재생 멈춤 시간을 설정할 수 있다.
[43]
또한, 콘트롤러(130)는 터치 입력 데이터의 분석을 통해 추출된 유지 시간 정보와 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수 있다. 그리고, 콘트롤러(130)는 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 터치 입력의 세기가 약하면 파란색의 비율을 높이고, 터치 입력의 세기가 강하면 빨간색의 비율을 높이는 것과 같은 방식으로 조명 컬러 정보를 결정할 수 있다.
[44]
또 다른 실시예에서, 입력 데이터가 사용자 패턴 설정 데이터인 경우를 가정한다. 콘트롤러(130)는 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 결정된 패턴 레벨 정보 및 패턴 시간 간격 정보에 기초하여 패턴 데이터를 생성할 수 있다. 예를 들어, 사용자는 이퀄라이저 등의 형태를 가지는 패턴 입력 프로그램을 이용하여 패턴 데이터의 생성을 위한 설정 정보를 입력할 수 있고, 입력된 설정 정보는 사용자 패턴 설정 데이터로서 입력 데이터 수신부(120)에 입력될 수 있다. 콘트롤러(130)는 사용자 패턴 설정 데이터를 디지털 값의 패턴 레벨로 변환하고, 패턴의 시간 간격을 결정할 수 있다. 예를 들어, 사용자가 각 주파수 대역별로 패턴 레벨 값을 설정한 경우, 콘트롤러(130)는 각 주파수 대역에 대응하는 시간 주기별로 해당 주파수 대역에 설정된 패턴 레벨 값의 햅틱 패턴이 발생하도록 패턴 데이터를 생성할 수 있다.
[45]
또한, 콘트롤러(130)는 사용자 패턴 설정 데이터로의 분석을 통해 결정된 패턴 레벨 정보 및 패턴 시간 간격 정보에 기초하여 조명 패턴의 조명 컬러 정보와 출력 시간 정보를 결정할 수 있다. 예를 들어, 콘트롤러(130)는 결정된 패턴 레벨의 크기에 기초하여 조명 컬러를 결정하고, 패턴 시간 간격 정보에 기초하여 조명 패턴이 출력될 시간을 결정할 수 있다.
[46]
통신부(140)는 생성된 패턴 데이터를 패턴 데이터 재생 장치(150)에 전송할 수 있다. 이 때, 패턴 데이터는 메시지에 포함되어 패턴 데이터 재생 장치(150)에 전송될 수 있다. 통신부(140)는, 예를 들어 블루투스(Bluetooth), BLE(Bluetooth Low Energy), 와이파이(Wi-Fi), LTE(Long Term Evolution) 등과 같은 네트워크(105)를 통해 패턴 데이터를 패턴 데이터 재생 장치(150)에 전송할 수 있다. 일 실시예에서, 사용자는 패턴 데이터가 전송될 네트워크(105)의 종류를 선택할 수 있고, 이 경우 통신부(140)는 사용자에 의해 선택된 네트워크(105)를 통해 패턴 데이터를 전송할 수 있다.
[47]
실시예에 따라, 패턴 데이터 생성 장치(110)는 패턴 데이터의 전송이 완료되면, 사용자에게 패턴 데이터의 전송 완료를 통지할 수도 있다. 또한, 패턴 데이터 생성 장치(110)는 전송된 패턴 데이터를 저장하고, 히스토리 정보를 생성하여 관리할 수 있다. 저장된 패턴 데이터는 이후에 다른 디바이스나 다른 사용자에게 전송될 수 있다.
[48]
패턴 데이터 재생 장치(150)는 패턴 데이터 생성 장치(110)로부터 패턴 데이터를 전달받고, 전달받은 패턴 데이터를 재생한다. 이러한 패턴 데이터 재생 장치(150)는 통신부(160), 콘트롤러(170) 및 햅틱 패턴 재생부(180)를 포함한다. 실시예에 따라, 패턴 데이터 재생 장치(150)는 조명 패턴 재생부(190)를 더 포함할 수 있다.
[49]
통신부(160)는 패턴 데이터 생성 장치(110)로부터 패턴 데이터를 수신한다. 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함할 수 있다. 실시예에 따라, 패턴 데이터의 수신이 완료되는 경우, 수신된 패턴 데이터는 저장부(미도시)에 저장될 수 있고, 패턴 데이터 재생 장치(150)의 사용자에게 패턴 데이터의 수신 완료를 통지할 수 있다.
[50]
콘트롤러(170)는 패턴 데이터 재생 장치(150)의 동작을 제어하고, 하나 이상의 프로세서를 포함할 수 있다. 콘트롤러(170)는 수신한 패턴 데이터를 분석하여 패턴 데이터로부터 패턴 정보를 추출할 수 있다. 예를 들어, 콘트롤러(170)는 패턴 데이터로부터 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보, 조명 패턴의 출력 시간 정보 등을 추출할 수 있다.
[51]
햅틱 패턴 재생부(180)는 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생한다. 햅틱 패턴 재생부(180)는 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터(촉각 액추에이터 등)를 구동하는 것에 의해 햅틱 패턴을 재생할 수 있다. 액추에이터는 햅틱 패턴 재생부(180)로부터 전달되는 제어 신호에 기초하여 햅틱 패턴에 따라 햅틱 자극을 발생시킬 수 있다. 실시예에 따라, 액추에이터는 햅틱 패턴 재생부(180)에 포함될 수도 있다.
[52]
조명 패턴 재생부(190)는 추출한 패턴 정보에 기초하여 조명 패턴을 재생한다. 조명 패턴 재생부(190)는 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생할 수 있다. 예를 들어, LED와 같은 조명부는 웨어러블 디바이스에 장착되어 있을 수 있고, 조명부는 조명 패턴 재생부(190)로부터 전달되는 제어 신호에 기초하여 조명 패턴에 따라 조명 자극을 발생시킬 수 있다. 실시예에 따라, 조명부는 조명 패턴 재생부(190)에 포함될 수도 있다.
[53]
도 2는 일 실시예에 따른 패턴 데이터 생성 방법의 동작을 설명하기 위한 흐름도이다. 패턴 데이터 생성 방법은 본 명세서에서 설명되는 패턴 데이터 생성 장치에 의해 수행될 수 있다.
[54]
도 2를 참조하면, 단계(210)에서 패턴 데이터 생성 장치는 사용자 선택에 따른 입력 데이터를 수신할 수 있다. 패턴 데이터 생성 장치는 사용자 선택에 따라 음악과 같은 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신할 수 있다.
[55]
패턴 데이터 생성 장치는, 단계(220)에서 입력 데이터에 기초하여 패턴 정보를 결정하고, 단계(230)에서 결정된 패턴 정보를 포함하는 패턴 데이터를 생성한다. 패턴 데이터 생성 장치는 입력 데이터의 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정할 수 있다. 패턴 데이터는 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함할 수 있다
[56]
패턴 데이터에 포함되는 정보의 일례는 다음의 표 1과 같다. 실시예에 따라, 패턴 데이터는 햅틱 패턴에 대한 정보와 조명 패턴에 대한 정보를 모두 포함하거나 또는 어느 하나의 정보만을 포함할 수도 있다. 패턴 데이터의 구조에 의해 햅틱 패턴과 조명 패턴은 발생 시간이 동기화될 수도 있고, 아니면 서로 간에 발생 시간에 차이가 존재할 수도 있다.
[57]
[58]
단계(240)에서, 패턴 데이터 생성 장치는 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송할 수 있다. 패턴 데이터 생성 장치는, 예를 들어 케이블과 같은 유선, 또는 블루투스, BLE, 와이파이, LTE 등과 같은 무선 네트워크를 통해 패턴 데이터를 패턴 데이터 재생 장치에 전송할 수 있다
[59]
도 3은 일 실시예에 따른 입력 데이터의 타입에 따라 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
[60]
도 3을 참조하면, 단계(310)에서 패턴 데이터 생성 장치는 패턴 데이터를 생성하는데 이용될 입력 데이터를 수신하고, 입력 데이터의 타입을 검사할 수 있다.
[61]
검사 결과, 입력 데이터가 사운드 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(322), 단계(324) 및 단계(326)의 과정을 수행할 수 있다. 단계(322)에서, 패턴 데이터 생성 장치는 입력 주파수 대역을 수신할 수 있다. 입력 주파수 대역은, 예를 들어 음악 콘텐츠의 전주 등 초기 부분에서 햅틱 패턴을 형성하는데 이용될 주파수 대역이다.
[62]
단계(324)에서, 패턴 데이터 생성 장치는 입력 주파수 대역에 기초하여 사운드 데이터에 대해 FFT 처리, 필터링 처리 및 IFFT 처리를 수행할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터에 FFT 처리를 수행하고, FFT 처리를 수행한 결과에서 입력 주파수 대역에 기초하여 필터링을 수행할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 밴드패스 필터를 이용하여 입력 주파수 대역에 필터링을 수행하고, 필터링이 수행된 입력 주파수 대역의 사운드 데이터에 IFFT 처리를 수행할 수 있다. 패턴 데이터 생성 장치는 IFFT 처리를 수행한 결과에서 임계치에 기초하여 햅틱 패턴을 위한 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
[63]
이후에, 단계(340)에서 패턴 데이터 생성 장치는 입력 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(326)에서 결정된 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
[64]
단계(310)에서 수신한 입력 데이터의 종류를 검사한 결과, 입력 데이터가 터치 입력 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(332) 및 단계(334)의 과정을 수행할 수 있다. 단계(332)에서, 패턴 데이터 생성 장치는 터치 입력 데이터로부터 터치가 유지된 시간 구간인 터치 입력의 유지 시간 정보를 추출할 수 있다. 패턴 데이터 생성 장치는 추출된 유지 시간 정보에 기초하여 햅틱 패턴의 재생 시작 시간을 설정할 수 있다. 단계(334)에서, 패턴 데이터 생성 장치는 터치 입력 데이터로부터 터치가 입력된 시간 간격을 나타내는 시간 간격 정보를 추출할 수 있다. 패턴 데이터 생성 장치는 추출된 시간 간격 정보에 기초하여 햅틱 패턴의 재생 멈춤 시간을 설정할 수 있다.
[65]
이후에, 단계(340)에서 패턴 데이터 생성 장치는 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(332) 및 단계(334)에서 각각 추출된 유지 시간 정보와 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
[66]
단계(310)에서 수신한 입력 데이터의 종류를 검사한 결과, 입력 데이터가 사용자 패턴 설정 데이터인 것으로 식별되면, 패턴 데이터 생성 장치는 단계(342), 단계(344) 및 단계(346)의 과정을 수행할 수 있다. 단계(342)에서, 패턴 데이터 생성 장치는 사용자 패턴 설정 데이터로부터 패턴 레벨 설정 정보 및 출력 시간 설정 정보를 추출할 수 있다. 사용자는 패턴 데이터의 생성을 위해 패턴 입력 프로그램을 이용하여 패턴 레벨 설정 정보 및 출력 시간 설정 정보와 설정 정보를 입력할 수 있다. 여기서, 패턴 레벨 설정 정보는 사용자가 직접 설정한 패턴 레벨에 대한 정보를 포함하고, 출력 시간 설정 정보는 주파수 대역별로 정해진 출력 시간 주기 또는 사용자가 직접 설정한 출력 시간 주기에 대한 정보를 포함할 수 있다. 실시예에 따라, 패턴 데이터 생성 장치는 입력 데이터에 대해 필터링 처리를 수행할 수도 있다. 단계(344)에서, 패턴 데이터 생성 장치는 패턴 레벨 설정 정보 및 출력 시간 설정 정보에 기초하여 햅틱 패턴을 위한 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정할 수 있다.
[67]
이후에, 단계(340)에서 패턴 데이터 생성 장치는 패턴 레벨 정보에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 단계(344)에서 결정된 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정할 수도 있다. 단계(350)에서 패턴 데이터 생성 장치는 패턴 레벨 정보, 패턴 시간 간격 정보, 조명 컬러 정보 및 출력 시간 정보를 저장할 수 있다.
[68]
도 4는 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
[69]
도 4를 참조하면, 단계(410)에서 패턴 데이터 생성 장치는 사운드 데이터를 수신한다. 실시예에 따라, 패턴 데이터 생성 장치는 수신한 사운드 데이터에 대해 튀는 신호 값을 제거하는 노이즈 제거 등의 전처리를 수행할 수 있다. 또한, 패턴 데이터 생성 장치는 사운드 데이터에서 타겟 주파수 대역을 결정하는데 이용될 부분을 추출할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 사운드 데이터에서 초반의 전주 부분을 추출하고, 추출된 부분의 사운드 데이터에 대해 다음의 단계(420) 내지 단계(470)의 과정을 수행할 수 있다.
[70]
단계(420)에서, 패턴 데이터 생성 장치는 일정 주기로 사운드 데이터에 대해 FFT 처리를 수행하여 사운드 데이터를 시간 도메인에서 주파수 도메인으로 변환시킬 수 있다. 단계(430)에서, 패턴 데이터 생성 장치는 주파수 도메인의 사운드 데이터에서 타겟 주파수 대역을 선택하고, 선택된 타겟 주파수 대역에 대한 정보를 저장할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 많이 반복되는 주파수 대역을 타겟 주파수 대역으로 선택할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터를 주파수 대역별로 분할하고, FFT 처리가 수행된 값이 가장 큰 주파수를 포함하는 주파수 대역을 타겟 주파수 대역으로 선택할 수 있다. 저장된 타겟 주파수 대역에 대한 정보는 나중에 조명 패턴의 패턴 정보를 결정하는데 이용될 수 있다.
[71]
단계(440)에서, 패턴 데이터 생성 장치는 타겟 주파수 대역에 기초하여 필터링 처리를 수행할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 타겟 주파수 대역을 기초로 밴드패스 필터를 이용한 필터링 처리를 수행함으로써, 가청음 영역(예, 10~500Hz의 영역)을 추출할 수 있다. 단계(450)에서, 패턴 데이터 생성 장치는 필터링 처리된 사운드 데이터를 IFFT 처리하여 시간 도메인의 데이터로 변환시킬 수 있다. IFFT 처리를 통해 사운드 데이터가 주파수 도메인에서 시간 도메인으로 변환될 수 있다.
[72]
단계(460)에서, 패턴 데이터 생성 장치는 임계치 처리를 수행할 수 있다. 여기서 이용되는 임계치는 사용자에 의해 결정될 수 있다. 패턴 데이터 생성 장치는 IFFT 처리 수행 결과 시간 도메인으로 변환된 사운드 데이터에서 임계치 이상의 신호 값들을 추출할 수 있다.
[73]
단계(470)에서, 패턴 데이터 생성 장치는 단계(460)에서 추출된 신호 값과 임계치 간의 차이에 기초하여 패턴 레벨을 결정하고, 패턴 시간 간격을 결정할 수 있다. 예를 들어, 패턴 데이터 생성 장치는 신호 값과 임계치 간의 차이가 크면 큰 패턴 레벨을 할당하고, 해당 차이가 작으면 작은 패턴 레벨을 할당할 수 있다. 패턴 데이터 생성 장치는 사운드 데이터에서 임계치보다 작은 신호 값들은 레벨을 0으로 설정할 수 있다. 실시예에 따라, 사용자는 기준 시간 간격을 지정할 수 있고, 이 경우 패턴 데이터 생성 장치는 기준 시간 간격에 기초하여 패턴 시간 간격을 결정할 수 있다.
[74]
패턴 데이터 생성 장치는 단계(430)에서 선택된 타겟 주파 대역에 기초하여 조명 패턴의 조명 컬러를 결정하고, 단계(470)에서 결정된 패턴 시간 간격에 기초하여 조명 패턴의 출력 시간을 결정할 수 있다.
[75]
도 5 및 도 6은 일 실시예에 따른 사운드 데이터에 기초하여 패턴 데이터를 생성하는 일례를 설명하기 위한 도면들이다.
[76]
도 5를 참조하면, 패턴 데이터의 생성을 위해 사운드 데이터(510)가 입력되었다고 가정한다. 사운드 데이터(510)에서 x축은 '시간'을 나타내고, y축은 사운드 데이터(510)의 '신호 크기' 또는 '신호 값'을 나타낸다. 사운드 데이터(510)에 대해 FFT 처리가 수행되고, FFT 처리에 의해 주파수 도메인의 사운드 데이터(520)가 획득된다. 주파수 도메인의 사운드 데이터(520)에서 x축은 '주파수 대역'을 나타내고, y축은 'FFT 값'을 나타낸다. 본 실시예에서는 주파수 도메인의 사운드 데이터(520)에서 FFT 값이 가장 큰 주파수 대역이 '484.00 Hz'라고 가정한다. 이는 484.00 Hz의 주파수 대역이 가장 많이 반복된다는 것을 의미한다. 484.00 Hz의 주파수 대역이 타겟 주파수 대역으로 선택되며, 타겟 주파수 대역에 기초하여 밴드패스 필터링 처리가 수행되어 필터링 처리된 사운드 데이터(530)가 획득된다. 이후에, 필터링 처리된 사운드 데이터(530)에 대해 IFFT 처리가 수행되어 시간 도메인으로 변환된 사운드 데이터(540)가 획득된다. 시간 도메인으로 변환된 사운드 데이터(540)에서 x축은 '시간을 나타내고, y축은 사운드 데이터(540)의 ''신호 크기' 또는 '신호 값'을 나타낸다.
[77]
이후에 시간 도메인으로 변환된 사운드 데이터에 대해 도 6에 도시된 것과 같은 임계치 처리가 수행될 수 있다. 도 6을 참조하면, 사운드 데이터(610)의 신호 크기와 임계치 간의 차이에 기초하여 햅틱 패턴을 위한 패턴 레벨이 결정될 수 있다. 예를 들어, 신호 크기와 임계치 간의 차이가 크면 큰 패턴 레벨이 할당되고, 해당 차이가 작으면 작은 패턴 레벨이 할당될 수 있다. 여기서, 임계치는 사용자에 의해 지정이 가능하다. 사용자는, 또한 기준 시간 간격을 지정할 수 있고, 지정된 기준 시간 간격에 비례하여 패턴의 시간 간격이 결정될 수 있다.
[78]
도 7은 일 실시예에 따른 사용자 패턴 설정 데이터를 설명하기 위한 도면이다.
[79]
도 7을 참조하면, 사용자는 도시된 것과 같은 이퀄라이저의 형태를 가지는 패턴 입력 프로그램을 이용하여 패턴 데이터의 생성을 위한 설정 정보를 입력할 수 있고, 입력된 설정 정보는 사용자 패턴 설정 데이터로서 패턴 데이터 생성 장치에 전달될 수 있다. 사용자는 패턴 입력 프로그램을 통해 자신만의 패턴 데이터를 제작할 수 있다. 패턴 입력 프로그램은, 예를 들어 퍼스널 컴퓨터나 스마트폰에서 구동될 수 있다.
[80]
도시된 패턴 입력 프로그램에서 "1~10"은 서로 다른 주파수 대역이나 시간에 대응할 수 있다. 각 주파수 대역은 대응되는 시간 주기가 존재하고, 해당 시간 주기에 기초하여 햅틱 패턴의 패턴 시간 간격 정보가 결정될 수 있다. 다른 실시예에서, 햅틱 패턴의 패턴 시간 간격 정보는 사용자가 지정한 시간 정보에 기초하여 결정될 수도 있다. 사용자는 각 주파수 대역별로 레벨 값(예, 레벨 A~레벨 D)을 설정할 수 있고, 각 주파수 대역별로 설정된 레벨 값에 기초하여 햅틱 패턴의 패턴 레벨 정보가 결정될 수 있다. 또한, 각 주파수 대역별로 설정된 레벨 값에 기초하여 조명 패턴의 조명 컬러 정보가 결정되고, 각 주파수 대역에 대응되는 시간 주기에 기초하여 조명 패턴의 출력 신간 정보가 결정될 수 있다.
[81]
도 8은 일 실시예에 따른 패턴 데이터를 포함하는 메시지의 엘리먼트들을 도시하는 도면이다.
[82]
일 실시예에서, 패턴 데이터는 도 8에 도시된 것과 같은 메시지 포맷에 따라 메시지에 포함되어 패턴 데이터 재생 장치에 전송될 수 있다. 패턴 데이터가 ASN.1(Abstract Syntax Notation Number One)의 인코딩 규칙인 BER(Basic Encoding Rules) 방식(TLV 표기법)으로 구성된 예를 도시한다.
[83]
메시지는 해당 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트인 태그(tag) 필드, 메시지 정보를 포함하는 제2 엘리먼트인 값(value) 필드 및 메시지 정보의 크기를 나타내는 제3 엘리먼트인 길이(length) 필드를 포함할 수 있다. 여기서, 제2 엘리먼트는 햅틱 패턴 정보 및 조명 패턴 정보 중 하나 이상을 포함할 수 있다. 태그 필드는 메시지의 종류를 나타낸다. 일 실시예에서, 태그 필드에 0x43(ASCII 코드 'C', 임의로 정한 값)이면, 메시지에 햅틱 패턴 정보와 조명 패턴 정보가 수록된 것으로 인식될 수 있다. 길이 필드는 메시지 값의 크기를 바이트(bytes)로 표시할 수 있다. 메시지 값의 크기가 255(0xFF) 바이트를 초과하는 경우에는 BER 방식에 따라 0x81의 값이 앞에 추가될 수 있다. 예를 들어, 260 바이트인 경우, '길이'는 '0x81 0x01 0x04'로 지정될 수 있다.
[84]
값 필드는 메시지의 정보를 포함한다. 경우에 따라, 값 필드에 태그, 길이, 값의 정보가 모두 포함될 수도 있다. 값 필드에 태그, 길이, 값의 정보가 모두 포함되는 경우, 값 필드인 제2 엘리먼트에는 햅틱 패턴 데이터, 조명 패턴 데이터, 사운드 데이터 및 이모티콘 데이터 중에서 메시지에 포함된 데이터를 구분하기 위한 태그 정보가 포함될 수 있다. 해당 태그 정보의 예는 다음의 표 2와 같다.
[85]
[86]
도 9는 일 실시예에 따른 패턴 데이터 재생 방법의 동작을 설명하기 위한 흐름도이다. 패턴 데이터 재생 방법은 본 명세서에서 설명되는 패턴 데이터 재생 장치에 의해 수행될 수 있다.
[87]
도 9를 참조하면, 단계(910)에서 패턴 데이터 재생 장치는 패턴 데이터 생성 장치로부터 패턴 데이터를 수신한다. 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함한다. 해당 패턴 정보는 햅틱 패턴에 대한 햅틱 패턴 정보 및 조명 패턴에 대한 조명 패턴 정보 중 하나 이상을 포함할 수 있다.
[88]
단계(920)에서, 패턴 데이터 재생 장치는 수신한 패턴 데이터를 분석하고 패턴 데이터로부터 패턴 정보를 추출한다. 패턴 데이터 재생 장치는 패턴 데이터로부터 햅틱 패턴의 패턴 레벨 정보, 햅틱 패턴의 패턴 시간 간격 정보, 조명 패턴의 조명 컬러 정보, 조명 패턴의 출력 시간 정보 등을 추출할 수 있다.
[89]
패턴 데이터가 햅틱 패턴에 대한 패턴 정보를 포함하는 경우, 패턴 데이터 재생 장치는 단계(930)에서 해당 패턴 정보에 기초하여 햅틱 패턴을 재생한다. 단계(932)에서, 패턴 데이터 재생 장치는 패턴 정보로부터 햅틱 패턴의 패턴 레벨 정보와 패턴 시간 간격 정보를 추출한다. 단계(934)에서, 패턴 데이터 재생 장치는 패턴 레벨 정보에 기초하여, 패턴 레벨을 액추에이터에 적용될 전압 신호로 변환할 수 있다. 단계(936)에서, 패턴 데이터 재생 장치는 패턴 시간 간격 정보에 나타난 패턴 시간 간격을 햅틱 패턴의 발생에 적용될 지연 정보로 설정할 수 있다. 이에 따라, 햅틱 패턴이 발생될 시점이 결정될 수 있다. 단계(938)에서, 패턴 데이터 재생 장치는 햅틱 패턴이 발생될 각 시점에서 패턴 레벨에 대응하는 햅틱 자극이 발생하도록 액추에이터를 구동시킬 수 있다.
[90]
패턴 데이터가 조명 패턴에 대한 패턴 정보를 포함하는 경우, 패턴 데이터 재생 장치는 단계(940)에서 해당 패턴 정보에 기초하여 조명 패턴을 재생한다. 단계(942)에서, 패턴 데이터 재생 장치는 패턴 정보로부터 조명 패턴의 조명 컬러 정보와 출력 시간 정보를 추출한다. 단계(944)에서, 패턴 데이터 재생 장치는 추출된 출력 시간 정보를 기초로 조명 패턴의 출력 시점을 설정할 수 있다. 단계(946)에서, 패턴 데이터 재생 장치는 설정된 출력 시점에 대한 정보와 조명 컬러 정보에 기초하여 LED와 같은 조명부를 구동시킬 수 있다.
[91]
일 실시예에서, 패턴 데이터가 햅틱 패턴에 대한 패턴 정보와 조명 패턴에 대한 패턴 정보를 모두 포함하는 경우, 패턴 데이터 재생 장치는 단계(930)의 햅틱 패턴 재생 과정과 단계(940)의 조명 패턴 재생 과정을 병렬적으로 동시에 수행할 수 있다.
[92]
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
[93]
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
[94]
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
[95]
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

청구범위

[청구항 1]
사용자 선택에 따른 입력 데이터를 수신하는 입력 데이터 수신부; 상기 입력 데이터에 기초하여 패턴 정보를 결정하고, 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 콘트롤러; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 통신부 를 포함하는 패턴 데이터 생성 장치.
[청구항 2]
제1항에 있어서, 상기 패턴 데이터는, 액추에이터에 적용되는 햅틱 패턴 및 조명부에 적용되는 조명 패턴 중 적어도 하나에 대한 패턴 정보를 포함하는, 패턴 데이터 생성 장치.
[청구항 3]
제1항에 있어서, 상기 콘트롤러는, 상기 입력 데이터를 분석하고, 상기 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정하는, 패턴 데이터 생성 장치.
[청구항 4]
제1항에 있어서, 상기 입력 데이터 수신부는, 상기 사용자 선택에 따라 사운드 데이터, 터치 입력 데이터 및 사용자 패턴 설정 데이터 중 어느 하나를 수신하는, 패턴 데이터 생성 장치.
[청구항 5]
제4항에 있어서, 상기 콘트롤러는, 상기 입력 데이터가 상기 사운드 데이터인 경우, 상기 사운드 데이터를 구성하는 주파수 대역들 중에서 타겟 주파수 대역을 결정하고, 밴드패스 필터(bandpass filter)를 이용하여 상기 타겟 주파수 대역의 사운드 데이터를 필터링하고, 임계치에 기초하여 상기 필터링된 사운드 데이터로부터 햅틱 패턴의 패턴 레벨 정보 및 상기 햅틱 패턴의 패턴 시간 간격 정보를 결정하는, 패턴 데이터 생성 장치.
[청구항 6]
제5항에 있어서, 상기 콘트롤러는, 상기 타겟 주파수 대역에 기초하여 조명 패턴의 조명 컬러 정보를 결정하고, 상기 패턴 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정하는, 패턴 데이터 생성 장치.
[청구항 7]
제4항에 있어서,, 상기 콘트롤러는, 상기 입력 데이터가 상기 터치 입력 데이터인 경우, 상기 터치 입력 데이터로부터 터치 입력의 유지 시간 정보 및 상기 터치 입력의 시간 간격 정보를 추출하고, 상기 유지 시간 정보 및 상기 시간 간격 정보에 기초하여 햅틱 패턴의 패턴 데이터를 생성하는, 패턴 데이터 생성 장치.
[청구항 8]
제7항에 있어서, 상기 콘트롤러는, 상기 유지 시간 정보에 기초하여 상기 햅틱 패턴의 재생 시작 시간을 설정하고, 상기 시간 간격 정보에 기초하여 상기 햅틱 패턴의 재생 멈춤 시간을 설정하는, 패턴 데이터 생성 장치.
[청구항 9]
제7항에 있어서, 상기 콘트롤러는, 상기 유지 시간 정보와 상기 시간 간격 정보에 기초하여 조명 패턴의 출력 시간 정보를 결정하는, 패턴 데이터 생성 장치.
[청구항 10]
제4항에 있어서,, 상기 콘트롤러는, 상기 입력 데이터가 상기 터치 입력 데이터인 경우, 터치 입력의 세기에 기초하여 조명 패턴의 조명 컬러 정보를 결정하는, 패턴 데이터 생성 장치.
[청구항 11]
제4항에 있어서, 상기 콘트롤러는, 상기 입력 데이터가 상기 사용자 패턴 설정 데이터인 경우, 상기 사용자 패턴 설정 데이터에 기초하여 패턴 레벨 정보 및 패턴 시간 간격 정보를 결정하고, 상기 결정된 패턴 레벨 정보 및 상기 패턴 시간 간격 정보에 기초하여 상기 패턴 데이터를 생성하는, 패턴 데이터 생성 장치.
[청구항 12]
제1항에 있어서, 상기 패턴 데이터는, 메시지에 포함되어 상기 패턴 데이터 재생 장치에 전송되고, 상기 메시지는, 상기 메시지에 포함된 데이터의 종류를 나타내는 제1 엘리먼트; 메시지 정보를 포함하는 제2 엘리먼트; 및 상기 메시지 정보의 크기를 나타내는 제3 엘리먼트 를 포함하는, 햅틱 데이터 생성 장치.
[청구항 13]
제12항에 있어서, 제2 엘리먼트는, 햅틱 패턴 정보 및 조명 패턴 정보 중 적어도 하나를 포함하는, 패턴 데이터 생성 장치.
[청구항 14]
제12항에 있어서, 제2 엘리먼트는, 햅틱 패턴 데이터, 조명 패턴 데이터, 사운드 데이터 및 이모티콘 데이터 중에서 상기 메시지에 포함된 데이터를 구분하기 위한 태그(tag) 정보를 포함하는, 패턴 데이터 생성 장치.
[청구항 15]
패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 통신부 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 콘트롤러; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 햅틱 패턴 재생부 를 포함하는 패턴 데이터 재생 장치.
[청구항 16]
제15항에 있어서, 상기 햅틱 패턴 재생부는, 상기 패턴 정보에 포함된, 패턴의 세기를 나타내는 패턴 레벨 정보 및 패턴이 출력될 시간 간격을 나타내는 시간 간격 정보에 기초하여 액추에이터를 구동하는 것에 의해 햅틱 패턴을 재생하는, 패턴 데이터 재생 장치.
[청구항 17]
제15항에 있어서, 상기 추출한 패턴 정보에 기초하여 조명 패턴을 재생하는 조명 패턴 재생부 를 더 포함하는 패턴 데이터 재생 장치.
[청구항 18]
제17항에 있어서, 상기 조명 패턴 재생부는, 상기 패턴 정보에 포함된 조명 패턴의 조명 컬러 정보 및 상기 조명 패턴의 출력 시간 정보에 기초하여 조명부를 구동하는 것에 의해 조명 패턴을 재생하는, 패턴 데이터 재생 장치.
[청구항 19]
패턴 데이터 생성 장치에 의해 수행되는 패턴 데이터 생성 방법에 있어서, 사용자 선택에 따른 입력 데이터를 수신하는 단계; 상기 입력 데이터에 기초하여 패턴 정보를 결정하는 단계; 상기 결정된 패턴 정보를 포함하는 패턴 데이터를 생성하는 단계; 및 상기 생성된 패턴 데이터를 패턴 데이터 재생 장치에 전송하는 단계 를 포함하는 패턴 데이터 생성 방법.
[청구항 20]
제19항에 있어서, 상기 패턴 정보를 결정하는 단계는, 상기 입력 데이터의 분석 결과에 기초하여 패턴이 출력될 시간 간격을 나타내는 패턴 시간 간격 정보 및 패턴의 세기를 나타내는 패턴 레벨 정보를 결정하는 단계 를 포함하는 패턴 데이터 생성 방법.
[청구항 21]
패턴 데이터 재생 장치에 의해 수행되는 패턴 데이터 재생 방법에 있어서, 패턴 데이터 생성 장치로부터 패턴 데이터를 수신하는 단계 - 상기 패턴 데이터는 사용자 선택에 따른 입력 데이터에 기초하여 결정된 패턴 정보를 포함함 -; 상기 수신한 패턴 데이터로부터 패턴 정보를 추출하는 단계; 및 상기 추출한 패턴 정보에 기초하여 햅틱 패턴을 재생하는 단계 를 포함하는 패턴 데이터 재생 방법.
[청구항 22]
제21항에 있어서, 상기 패턴 데이터에 조명 패턴에 대한 패턴 정보가 포함된 경우, 상기 조명 패턴에 대한 패턴 정보에 기초하여 조명 패턴을 재생하는 단계 를 더 포함하는 패턴 데이터 재생 방법.
[청구항 23]
제19항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

도면

[도1]

[도2]

[도3]

[도4]

[도5]

[도6]

[도7]

[도8]

[도9]