ntt cs研 公式ホームページ · stream 2 stream 3 (background) interaction stream 1 ......

116

Upload: others

Post on 21-Sep-2020

8 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��� ��������� ������ ����� �� ��� ����� ��

�������������� ����������� ���

��� ��������� �� � ���� ������ �����������

� ����� ! �"#

$%&' � �( �# )!� �! * +% *, **' �# "+ -� ��.%���' �# �+"� -� (�/��� "+ �"0 "� "+ 1#+"�'! �0�

�#

��)!� '�# "+ 2))*��( 2#!*3��� !#(4"')*�5 �3#!' �0!* $3� �' �

6�!(%! � $0-""* "+ 1#+"�'! �0�73" " 8#�9���� 3

&3

:������� ;�<�����

=�>���� ?@@?

Page 2: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��������

�� ��� ������� � ������ � � ���� � ��� �� �� � ���� � �������� �� ������ �� �� � ���� �� �� ����� � ���� ��� ���� ����� � ��� ������ � �������� �� ����������� ��� � ����� � � �� ���� ��� ��� ����� �� �� � ����� � ���� ��������� � �� ����� ��� ��� ���� ���� ��� �� � � ����� ��� � ���� ����� �� ���� ���� ���� � �� ���� ���� ����� �� � � ������ ! ��� �� � ����� �� ���� ����� ��������� � ��� ���� ����� �� ���� � ��� �" � � ���� �� � �� �� ��� #$%&' () %%#*+',%- $&./-&0/-1 (20+&02/'(3 ��� � ���� ��� � � �������� � ��� ��� � �� �� �� ����45678 �� ��� � �� ���� ����� ���� �� ������ ����� � ��� � ������ � ����� �� � ���� �� ���� ���� �� ��� � ��9�� : ����� ! � � �� � ! ����� ��� ���� �� � �� � ������� � ��9�� ! ��� � � ��������� �� ������� � ; ��� ���� ����� ! ��� �� � ��� � ����� � ���� ��9 ����� ����� � � ����� � �� � � �"��� ��� �� � ��� � ���� �� � ���� �� � ��� � � ��� � � � � � ���� ������ ���� � ����� � ��� �<��� � ��� � ������ � �� �� �" � �� ���� ����� �� ���� �

=����� ��� ������� �� ������� ��� � ! ��� � ������� ����� � �� ��� �� � � 9 �� � ��� >/#?0&2$ @ &-01 AB %#0� C� � ��������� ���� � �� ���� � ��� ������ � �� ���� ����� �� ��� ���� ����������� � � ����������� � ���� � ! � ����� ���! D���� � ������� E+,20/-1 F #%' % E'&$1(2( �� ����� ���� 9 �� �������� ��� � ������� ���� � �� ���� �� � �������� ��������� �������� �� ���� ������� �� ��������� �� ������� ���� ����9 ���� �� ������ ����� � � ������� � �� � � ����� � � ����� � �9� ���� �� ��� � � � � � �� �������� ������>/G) +0&02/'&$ E +,20/-1 F #%' % E'&$1(2( 4>E FE8 � ; HI5I ! � ����� �� �� � ����� � ���� �� � ���� � ������ ��� � ������ � (/+', (0-%&G ! � � ��� �������� �� � �� ������ ���� � �� � � "���� �� ����� � � � �� ��� ��� ������ � ���� ����� ���� �� � ����� � � �� ���� �� � ������ � ��� ���� ����� �

�� ��� ���� � � �� ���� ���� ����9 ��� �� � ����� �������� ! ������ -%(2,+ %J,-2K %' &-#* 20%#0+-% 4LME8! � � � ���� ����� �������� ���� � �� � � "���� ���� �� ���� � ��� 7NI � I �������� � ���� �������� �� �� � ����� �������� �������� �� ������ ������ � ���� ������� ���� ������� �� �� �� ��� ��� �� ��� ��� �� � � "���� � ; ��� 7NI ! � ��� � ! ������ & 0-&#%-! �� �� ����� �� ������� � � � � ������ ���� ����� �� � � �� � ����� � ��� ������ ��� �� � �� �� ����9��� �� ��� �� � ����� ! �� �� � � � �� �� � �������� ! � �� � � ��� ��� ������� ������ � �� ���� ����� �� ������ ��� ������� �� � ����� �� � ����� ���������� ����� ������ ��� ������ � � � ������� � ������ �� ��� ���� �� ����������� ��� ������� � ����� ������ � 5������ �� � ����� �������� ���� ������ �� ���� � ��� 7NI � ���� �� ����� ����� �������� � ��� ��� � � ����� ������ � ��� ���� ��� ���9���� � �� �� ��� � O�� �� ������ ! �� �� � �����

P

Page 3: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�������� � ����� ���� ������� �������� ���� ! ��� � ����� � �������� ! �� ������ �� ������� ! �������� ���� ��� ! � � ���� ��� �� � ������ ��� ���� ���� � ����� � ��� ���� � ��� 7NI � I �������� � @ -2' #% F* /0/?+ >/G) +0%- �������� �� �� ������ � ��� � ���� ����� �������� �� ����� ��� � ���� ����� �� � ���=� �� 5����9� H������� ! ���� ����� � ���� ���� ���� �� �� �� ! �� ��� �� ������� ������ �� ����� ������ �"� ��� � � � � "�� � ���� ����� �� ���� ��������� 7NI ���� � ���� ����� �������� ������ ��� �������� �� �" � � ����� ���� ���� ����� �� ���� � I �� � � ������ ���� ����������� ��� ������ � �<���� � �� � ����� � ���� ��� �������� ! � � � �������� ���� ����� ������ �� �� ��� � ���� � � ��� ����� ������ 5�� � � ������ � ������� �� �9 �� ����� ����� ������ � � ��� ������ �� �� � � �<��� � 9 � �� �� � � ��������� �� � ����� �� � ���� ��� 9 � �� ���������� �������� ! ) &-0J/� *2%-&-#*14�� � ���� ���� � ��� �� � � ���� �� � ��������� �� �8 � � 2(J& * 2%-&-#*1 4�� � ������ ������ �� � ���� � � �� �8 � �"� ��� � ��� ����� ��� ���� � ������ � � ����9���� � ��� �� �<������� � � ��������� ���� ���� � "���� � O ����! ��� ������� � ���� ����� �� ���� � ��� � � ������� ������ ����� � � ������ ������������� �

Page 4: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������ ���������

C�� �� ��� ������� ��� ����� ���� �� �� ������ ���� ; � ��� ��� �� 6�� D�� 7��������������� � � 6�� H���� ���� 5�� �� ��������� ! 6�� H�������� � ; ������ ������� � �� 6�� ��� ���� � � � � � �� ��� ������� ������� �� � � � ����������� ��� �� � �

;� �� ������� �� ��9 �� ����� ��� ���� � � ����� � ; ������� ���� =���������9� ������� �� ����� � ������ � ������� ��� � ���� : ������ ; �� ��������� ����� � ������ ; ���� ���� �� � ����� ���� ����� ��� �� �� �� ���������� �������� ��� ����� ��� �� �� ��� ���� ��� ����� �� � �� � �� ��� � � ��� ������� ! ���� ; �� ����� ��� � ���� �� � � � � �� ��� ����� �� ���� ��9� ��� ���� � ���� � ����� � �� � ��� � � ��� ��� ����� � �

; ����� ! ; �� ����������� �������� ��� ��� ������� �� ; ���� �� ���9 � �� ����� ���������� �� 6�� � =������ ��� � �9� � �� ����� � ����� 4���� ���� �� 6�� 8 � �N� � ��9�� � ������� ��� � � �� ��������� �� ������� �� � � ��� ������� � �������� �� �������� �� � � ������ � ������ �� � �� ������ � ��� ���� ��� ������� ��� ������� ���� ! ��� ��� � ������� ��������� N� � �� � � �� � �������� ���� ���� ����� ������� �� ��� � ����� � � ! � � ������� � � � �� �� � ������ � ������� ����� �������� ���� ����� � N � � C ����9� ��� �� ��� 6��� �� ; ������ �� I��� ��� ; ������ 5�� �� � � ���� ����� ���� �� ����� � � � � �� ������ �������� ���� � � �� ������� ���� ��� ��� � � ��� �� 6�� ! � � ���� � ��� �� ���� � �������� ������� � �� �� �� �� ����

C � � ����� �"����� � ��������� ��� ���������� �<���� �� � ��� �� ���� � ������ � � ��������� � ��� � ��� � ���� ! � � ��� ����� �������� �� ��� ��� � ����� ���� � N� � C �9� � �� � ���� � � ����� ���� ��� ����� � �� ��������� � N � ����� ;� � ������ � � ��� ���� ����� ; ����� �� � ����� � ����� �� � � "���� �; ���� �� � ����� ��� ������� � ��� ������ �� ��������� � ���� ���� �� �� 5���9 � � ��� ���� ��� � � � �� � �������� ������� ���� � ; �� �"���� ��� ������� � �� =������� 5����� � ����� � � N� � 5��� C �9 � ��� �� � �� ��� ������� �� �� �������� ������� �� 6�� � � �� ����� � � � �������� ��� � ; ��� ������� ����� ��� �������� �� ; ���� ��� �� � ���� ���� � �� ��������� ���9 � � ������ �� ���� �; �� ������� � �� =������ ;9�� ��9���� �� ��� � ����� �� � ������������ ���� 4���� ���� �� 6�� 8 ! =������ 7 9� � � �� ��� � ����� �� � ������������ ���� 4���� ���� �� 6�� 8 ! N� � �� �� ����� ! N� � 6����� ���� ! N � � � � :���� ;� ! N � � ��� C���� ! � � N� � C ����� 5�� �� � I ������� �� ���� � �� ���� ���� �� ������� �� ����� � �� �� ��� ! ���� �������� ��� �� ������� � ���� � ��������� �

Page 5: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

=������ ��9 � ������� �� I��� ��� ��������� ���� 7������ ; ����� ; ���� ��� �� 4I�78 ���� � � ��� ������� �� �� ��� �� I�7 ! � � �� � ���� ���� � �� ��������� ����� � ; � � ���� ����������� ������ � �� ������ � �� N� � �� � �D ��� ! N� � C ������ H��� ���� � � N� � C ��� H��9� �� � ����� �� 5��� ��� ��� ����� I�7 �� ���� �� � � I �� ! N� � N� =� � � � �� �� H������ � �����! N � � C ������5�� �� �� ;DC ! =������ 7 ����� 5��� �� H�� ��� C���� � �����! N � � 7� �� �� ��� � ����� �� I �� � � ����� ��������� ���� �� � ��� �� ���� � ����� ������� ����� � ��� ����� � ��� ��� �� �� ���� �� � ; �� ������ �� N��� C�����9��� ��������� �� ��� � �� ������ �� ��� ���� �� �� �� � ��� �� ����� �

Page 6: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��������

� ���������� �P�P � ��� ��������� �� ������� �� � � ���� � � � � � � � � � � � � � � � P�� =����� ���9 � �� � ����� �������� � � � � � � � � � � � � � � � � � � P�

P�� �P ���� � �������� ���� ����� �������� � � � � � � � � � � � � P�P�� �� 5�� � ������� � � ���� � ������ � � � � � � � � � � � � � � � � P�P�� �� ; ��� � �� � ����� � � � ��� � � � � � � � � � � � � � � � � � � � P�

P�� =����� ���9 � ��������� �� ������� �� � � ��� � � � � � � � � � � P�P�� �P I������ ����� ���� �������� � � � � � � � � � � � � � � � � � � � � P�P�� �� D���9����� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � P�P�� �� C�� �� � � ��� � � � � � � � � � � � � � � � � � � � � � � � � � � P�P�� �� � ��� � � ���� ���� �������� � � � � � � � � � � � � � � � � � � � � � P�

P�� =����� ���9 � �� � ���� ����� �� � � � � � � � � � � � � � � � � � � P�P�� �P 6�� ������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P�P�� �� CC ������� � �� �� ����� � � � � � � � � � � � � � � � � � P�P�� �� C � ������� � ���� ����� �� � � � � � � � � � � � � � � � � � � � P�

P�� =����� ���9 � ����� �������� ����������� � � � � � � � � � � � � � � � P�P�� �P 5������� ����������� ��� ��� �� �������� � � � � � � � � � P�P�� �� C������� � ���� ���� � ��� ���� ������ ��� � � � � � � � � P�P�� �� � ������ ���� ���� ������� � � � � � � � � � � � � � � � � � � P�

P�� ������� �� ��� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P�P�� �P I������ ����� � � �� � ����� � � � � � � � � � � � � � � � � � � P�P�� �� C������� � ���� �������� � � � � � � � � � � � � � � � � � � � � � � P�P�� �� ; ������� �� ����� � �������� � � �� � ��������� � � � � � � P P�� �� �� � �� ������ �� � ����� ����� � � � � � � � � � � � � � � ��P�� �� 5�� � � ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �P

Page 7: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ���� �� ������ ���������� ��

� �P N�� �� � ���� � ������ ���� � � � � � � � � � � � � � � � � � � � � ��� �� ;�� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� D�� ����� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� �P I�� � ��� ��� ���� � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� � ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� �� 7���� � ������� �� � ����� ������ � � � � � � � � � � � � � � � � � � � �� �� 5���� ����� �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� I��� ��� ����� �������� � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �P C� ��� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� 5���� ����� �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� 5������ � � ���� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P

����������� �� ������ �

� �P 6����� �� ���������� ����������� � � � � � � � � � � � � � � � � � � � � ��� �� I���������� ��� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� 5�������� �� ����� � ����� � � ���� �� � � � � � � � � � � � � � � ��� �� �P N�� � ��� �� � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� 5�� � ����� �������� � � ����� � �������� � � �� � ����� ���������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��� �� �P ;�� ����� � ����� �������� � � �� ������� � � � � � � � ��� �� �� ���� � ����� � � �������� ���� � 7NI � � � � � � � � � � � � ��� �� �� ������ �� � ����� ����� � ����� � � �������� � � � � � � � � � � � � �� �� 7NI ���� ���� ��� ����� � �� �� � ����� � � � � � � � � � � ��� �� �� ������ �� ���� ��� ����� � � � � � � � � � � � � � � � � � � � � � � ��� �� �� �������� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � ��

� �� 5������ � � ���� � � � � � � � � � � � � � � � � � � � � � � � � � � � � �P

� ���� ������ ���������� ��� � ��� �� �� �������� ��

� �P � ����� �� � � � ��������� � � � � � � � � � � � � � � � � � � � � � � � ��� �� N����� ���� ����� �������� � � � � � � � � � � � � � � � � � � � � � � ��

Page 8: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �� I�� � � �� ��� �� �� � ���� ����� �������� � �������� � ��������� �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� �P C������ � � ��� �������� � � � � � � � � � � � � � � � � � � � � � � ��� �� �� ; ��� �� �� � ���� ����� �������� � � � � � � � � � � � � � � � � � P

� �� �������� �� � ���� ����� �������� ������ � � � � � � � � � � � � � � � � P� �� �P �"���� � � � � ������ ������ �� ��������� � ���� � � � � � � � ��� �� �� �"���� � � � ��� � �� � �� � � "���� � � � � � � � � � � � � � ��� �� �� 5������ � � ���� � � � � � � � � � � � � � � � � � � � � � � � � �

� ���������� ���� ����� �� �� ������ ���������� ���� ��������� ���� � �� �P 5�� � � ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P� �� =������ ���� �� �� � � ������ � � � � � � � � � � � � � � � � � � � � � � � �

� �� �P � ����������� ������� � � � � � � � � � � � � � � � � � � � � � � � �� �� �� 5�� � � ������ ���� ������ � � � � � � � � � � � � � � � � � � � � �� �� �� ; ������� �� ��������� � � ������� ����� � � � � � � � � � � � �

� �� � ����������� � ���� � � ����� ����� �������� � � � � � � � � � � � �� �� �P 5�� � �������� ����� � � ����� � � � � � � � � � � � � � � � � �� �� �� ���� � � ����� ��� ���� ���� � � � � � � � � � � � � � � � � � �� �� �� =�� ��� �� ���� ��� ������ �� ������ � � � � � � � � � � � � � � � � �� �� �� 5 ��� �� � ������ � ������ � � � � � � � � � � � � � � � � � � � � � � �� �� �� 7���� �� � ���� � � ����� �������� � � � � � � � � � � � � � � �

� �� 5������ � � ���� � � � � � � � � � � � � � � � � � � � � � � � � � � � �

� ������� ��� �� ����� �� �� �P � �� �� �� ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P��� �� O����� ������� ������ � � � � � � � � � � � � � � � � � � � � � � � � � � � P��� �� H� ���� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � P��

Page 9: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Page 10: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������� �

��������� ���

��� � ��� �� ��� ��������� ������� ����� ��� ���

I; ������� � ��� � ����� � � �� �� � �� � ��� ����� ��� � ���9 �� ��� I7=I5����� � ����� � � =��� ��� �� ������ ��� P �� � � ��� � ����� ���� �� � �� ���� �� ! � ���� ���� � �� ���� ���� �� � ����� � ����� ������ � �� 4� �� ������ � ���� ! ��� � ��� ����� �� �8 ���� ���������� � ��� � � � � ����� ������� ���� � ����� � ���� � ���� ���� ��������� ���� ��� ������� � � �� � � ���� ���� ��� ���� ������ ! ��� � ��� �� � � I� � ������� �����! � � �� ������� �� �� � � �� ������ � � ��� � ��� �� � ����� � �� ��� ��� � 9 �� ���� #/#?0&2$J) &-01 %B %#0 � � � ��� ���� ���� �� � �� ��������� �� �� � �� ����� � ��������� ����� ��� ��� � � "�� � �� ����� �� � � H������� ��� ��� ��� � ������� �� ���� � ���� ���� �� � � "�� ������ � �� ��� ������ � �� � ������������� �� � ���� ���� ����� �� ��������� � � ���� ! ��� �"����� ! � � ���� ����� �� ��������� � � ���� ��� � ! � �� �� ��� �� ���� � ! �� � ����� � ��� ������� � �

I ����� �� ��������� ���� ��������� �� ������ ���� ������� � � ���� � ����� �� � � � � � �� ���� � ����� � � ��� �� � � � ��� � �� � �� ���� ���� ����9�P� ! P� ! �� � � � ��� ���� ����9 ������� �� D����� : � ��9 ! E+,20/-1 F #%' % E'&$J1(2( �P� ! ���� ���� ����������� �� ��� � �� ���9 �� ���� � ����� ��������� �� � ���� ���� 9 �� �� ��� ��� � ������� ���� � ;� �� ��� � ����������������� �� �"����� � ��� �� ���� ����� �� ��� �������� �� �� � ����� �� ���� � ������ ������ ������ � ��� �� � � 7�������� ���� ��� � ��� ��� � �� � ����� ���������� �� ������� ���� ����9 � ���� �� ������ � ������� ���� ���� ���� �� �� ��� � �������� �������� ���� ��� ����� ��� ���� ����� � �� �� ��� ��� I ;� � �������� �� �� �������� ���� ��� ����������� �������� ! ��� ���� �� �� � �� ������ >/G) +0&02/'&$ E +,20/-1 F #%' % E'&$1(2( 4>EFE8 �P� ! P�� �� � �� ��� ���� HI5I �� � ����� � &#/+(02# %K%'0(� �� ��� ����� �� �� � ���� �������� � ��� � � � �P� � I ������ ��� � ������ ��� �� (/+', (0-%&G(���� �� ���� � ����� �� ������ ����� � � ���� ���� �� �� � �������� � 5 ��

������ ��� � ��� ������ ��� ������������ 4� �� �! � � ��������8 ! �� � ����� ������� � ���������� �������� � ��� ����� ���� �������� �� � ����� ���� � � "����� �� �� � ������ ( /+', (0-%&G (%� -%�&02/'� 5 �� ������ ����� � � ��� �� � �

Page 11: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Prosody-basedreactive behavior

I

Speech streamsegregation

Deliberatebehavior

SInputsound

Simple streamsegregation

O���� P�P3 I �"����� �� � � ���� �� �����9 ��� � �9� �� ����� ��� �� � HI5I4�� 3 ����� ! � 3 �������8

���� ��� �� �� � ����� ! ��� �������� �� �� � ����� ������ 0* % %� #$+(2K % &$ $/J#&02/' �� �� � �� � ��������� ����� � 5�� � ����� �������� � ������ �� �� ���������� �� � ������� � 5��� ����� ��� ���� ���� � � ��� �"������� ������ � �� ������������ ! ���� ����� ��� �"������� �� ����� � ����� ��������� �� � ����� ���� ��� ����� � � ��� ��� � ���� � �� �� � ����� �������� ��� (2G+$0&' %/+(4() %#0-&$8 ����� � ! � � ( %�+%'02&$ ����� � �P� � � �� ����� ��� ����� � ! ����� ��� �"������� ���� � � "���� �� �� � � � � � �� ���� ��� ����� � ! ����� ���� ����� � ������ ��� � ��� ����� �� �������� � ���� � ����� ����� �� ��� ��� ���������� �� �������� �

5�� � ����� �������� �� �� ��� � � ��� ��� � ��� ����� ��� � ���� ����� �� ���������� � ��� �� � ��� ! � � C � � 9�� ���� ����� ���� ������� ��� ����������� � ���� ����� ��� � ���� ����� �� �� ���9 ���� ������ � ��� � � � � ���� ����� �� ������� ! CC ������� ! �� � ��9�� �������� �PP! � P! �� ! �� ! P� �5�� � ����� �������� HI5I � ���� �������� �� �� ���� ������ ;� ���9� � ��� ��� � ���� ��� ����� ��� � ���� ����� �� ��� �� � ��� ���� ���� ��� ���9 ��� ���� � ������ � 5�� � ����� �������� ��� � � � �� ����� �� �� �������� ��� ����� � ��� � ������ � �� �� ���� � �� � �� � ����� � �"� ����� �� � �� �� �� � ! �� �������� �� ��� ���� ���� ! �� ����� � ���9���� � �� ! ���� � � � ��� �� � �� ������ � � ��9�� � ������ ! HI5I �� � ��� ����� � �� ��� ����� ��� � ���� ����� �� ���� � H������� ����� �� ��� �������� �� � �� � �� �� ������� � �� � ���� � � "���� �� �� � � �� �������� ����� �� ������ �� � ����� ����� �� � �� ������ ��� @ -2' #% F* /0/?+ %B %#0 ����� ������� ���� ���� �� =� �� 5����9� 4������� I �N �8 ��� ����� ��� �� � � �������� ��� � ���� ����� ������ � � ����� ! � ���� ����� �������� � � ��� ��� � �������� ��� � ���� ����� �� 4I578 ��� � �� ��� ������ ���� ����� I57 � ��� �"���� ��� � � �� ������� � ���� ����� �������� � � I57 �� �"���� � ������� � ������� ��� ��� �� � �

��� �� � ����� ��� � 9�� �� ���� �"��� � ����� ��� � �� ����� ���� ������� � �9� �� ����� ����� � � O ���� P�P ����� ��� �� ���� ��� �� � ����������� ��9� �� ����� ��� �� � � ��� ������� � ������ �� ��� ���� ����� ���� ����������< ������ � ���� ����� � � ������� ���� � 5���� ��� � �� � � � ����� ���� � ���� � ���� ����� ! � � ��� ���� �� ����� � O�� �"����� ! � � ���9�� ���� ������ �� �� � � � ! �� ����� �� ��������� �� � �; :� ������ H�����"

P�

Page 12: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� ��� �� ����� ��� ������� � ������ � � ��� ����� �� � ! ��� ���� �� ������� ���� ������� ����� � ����� �� ���� ��9� �� � ���� � ������" � ���� ����� �� �� ��� ���� ����� � ������ ����� �������� ! � � �� ��� ��� ������� � ������ ��������� �� ���� � � ������ �

HI5I � ������ � � ���� ! ������ � ����� ������ ������ ��� ������ ��������4� �� �! ����� � ���� ����������� ��� ��� ������ ��� �� �� ���� ����8 ! � � ������� ����� � �� ������� ������ �� � �� ������ �"������� � � ���� � � ��� !� �� � � � � ����� �� � � I���� ����! ����� 9 � �� � �� ��� �� � ���� �������� � � �������� �� �� ��� ��� ����� �� � ���� ��� ��� ��� ���� ����� � �� 9 ��� ������� ����������� ��� �� � �� ���������� ����� � ����� HI5I ������������ � ����� �

7������ ���� ������� �� HI5I ����� � � �� �� �� �� �� ���� � ����� � !�� � � ����� � � ! ������������ � � �� ���� ! ������ ���� � � �������� � ����� �� ����� �

� � /,%$2'� �� ! P� ! �� ! �� ! P�� �� ������ �� ��������� �� ������ ��� �� � ����� �������� � ����� �� ������ �������� ����� ����� � � ������� �� ��� �<��� � 9 � �� �� � �<��� � ����� �� �������� �

� �',%-(0&',2'� ��� ! �� ! � �� ����� ��� ����� �� �� ������ ��� � ���� � � ���� � � � �� ���� ���� �������� ���� �� ��� �������� �� ������ ��� � ��� ���� ������ � ��� ������ � � 9 �� �� � ���� � ��� ����� ��� ���� ����� �

� E-#*20%#0+-% &', #/'0-/$ �� ! P� ! �� ! �� ! �P �� �� ��� �� � �� ��������� �� ����������� � � � �� ���� � ���� � ��� ���� ���� � ���� �� ��� HI5I ���� � ��� ������� �� ����� ���� ��� �������� � � ����� �� ����� � � ����� � I �"�� � �� ���� ����������� ������ ���� ��� � ������" ���� � HI5I �

� L%) -%( %'0&02/' �� ! �� ! �� ! �� ! �� ! P�� �� ������ �� ��� ������ ���� �� �� � ����� ���� ��� ����� � �� ������������ �� ������� �� � ���� � � ����� �� � ������ ���� ������� ��� � �"�� � �� HI5I ���� �

� E)) $2#&02/'( ��� ! �� ! � ! P�� �� �� ����� � �� ������ �������� � O�� �� �� ! ����� � ���� ����� �� ���� ! ��� �� ���� ���� ����� ! � � ����� ��� ��� ��� ����� ���� ����� �� ������ � ��� � �� �� �� HI5I �� ������� ��� ������� �� �" � �� �� ����� � ���� ����� ������ � ���� ������� ����� � �

��� ���� ��� ����� ������� � ��� �<��� � � �� �� � � �������� � �� ������� ��� ��� ��� � ������� �������� ���9 �� ���� � �� � � � � ����� 9 � ��� ��� �

I ��� ��� ��� �� ������� ! �� ��� � ��� ��� ������ � ������� 3

PP

Page 13: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

P� ���������� ����������� 47NI 8 ���� � � �������� � ������� � &-#* 20%#0+-%&', #/'0-/$!� � �������� ����������� � � � ����� � �������� � � �� � ����� �� ������� � G /,%$2'� !

� � � ���� ����� �������� ���� � �� � � "���� ! � � ��� ����� �� �� � "��� ���� � +',%-(0&',2'�� &)) $2#&02/'! � �

� � �� � � ������ 3 �� � ����� ������ ���� � -%) -%( %'0&02/'��� ��� �� ��� ����������� � ��� �� ���� ����������� ! 7NI � ��� ����� ������� ��� �������� ������ � �� ��� ������� � � �� �� ����������� �

��? � ��� ���� ���< �� ����� ������ �����������

��� �� �� �� �� �� � �������� ������ ������� � ��� �� �� �� � �������� ���� � � ���� ��� ��� �������� ! � � ��� �� ���� �� �� �� ��� �� � � �� ��� ���� 3���� � � (/+', (/+-#% &00-2.+0%(! ��� � ���� � � �������� ! � � ���� � � (/+',$/#&02/' &00-2.+0%(! ��� � ������ �

��� �� � !�'"#�0 � �%0 %�� &!��( � ��!' ��/��/! �"#

��� �������� � ����� ���� �� �� � ����� �������� �������� ����9 �� ��� �� �� "���� �� � � � ����� � � ! � � ��� ����� ���� ����� � � �� �� � ����� � ��� �� �� ���� �� ���� �������� �P� ! P� � O�� �"����� ! �������� � � ����� ��������� ! ���� �� � �� ������� �� =��� ! ���� � �� � ����� � � ��� � ����� � � ������ �� � � ����� �P ! �� ! � ! � ! � ! PPP! PP� � ������ ! ���� � ������ �� ��� �"����� � ��� ����� � �������� ��� ��� ��� �� � ���� ����� ������ �� ��� � ��� ������ �� � ��� �" � � �������� ���� ��� ��� �� �"����� �� ���� � ��� ������ �� �� �� ���9 ���� ��� ��� �� ! � ! �� ! �� ! � ! P�� � C������� ! ��������� ���� ��� � �� ������� ���� ��� �<����� �"����� � � ����� � � �� � !�� ���� ����� ����� � ���� ��� � �� � �

��� �� $"%#( ��)!�! �"# %��#/ '%* � ' �0�")-"#�

��� ������ ���� �� �� � �� ���� �������� �"����� �� � ��� �� � ���� ��� ��������� � C� � � ������ ������� ���� ��� ���� � �� ������� �� ��� �� ���� �� �� P!�� ! �� ! P�� ! P�� � C�� �� ���� � ����� �� ������� � � 9 � �� �� � � ����� �� ���� � � �������� � ������ ! ���� ���� ��� ��� ���� ����� �� ���� ������� � ������ � �� �� ���� ���� ����� ��� � � ������� � ���� ������ �� ���� � ;� � � ���� �� ������ � ��������� ��� �� ���� � � ����� �� �� � ����� � ������ ��� ����� � I �� ! ��� � ������ � �� ������� �<����� �� ��� ����� �� � ������ � � O���"����� ! ��� ���� ����� ��� �� �� ��� ��� � �� ��� ����� ! ������ � ��� � ��� ���� �� !������ �� ���� � �� �� � � ������ � �� � �9� 'J� ���� � ��� � �� � � ��� �� � !

P�

Page 14: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� ���� ! �� ������� � �� � � D� �� ���� ! ����� �� � ������ � ��� ������� ������ �� �� ��� �"��� ��� �� � ��� � ���� ������ � ������ ��� � ����� ���� � ���� �����! ���� �� � �� �� � �� � � � ������ � I ����� ���������� �� ���� ����� ����� �������� �� ������� �� ����� ��� ���� ������� ���� �5��� ���� �������� �������� ����� �� ����� � ������������� � ��9 ������ � �� � �� � ��������� �� � ����� ������ ���� ������ �� �� � �� ! P� ! P� ! �� ! �� ! P�� �I ������� �� ����� �� �������� ���� ��� ��� ����� �� � � ��� � ������ � ! ����������� ������ ���������� ��� ����� ���� ��� � � �� � ��� ��� ������ ���� � �

��� �� 1#(�)�#(�# 0"')"#�# !#!*3���

7��� ���! � �� �������� � ����� ������ �� � ����� ������� �� � �� ������� �P!� ! �P! �� � ������ ! �� �������� � ��� �� � ������ ������� ���� ��� ! �� ������ ����� ��� � ��� ���� �� �� ! �� ! P�P ! � � �� �� �� �� ������� � ���� �� ���� � C������� !� ������ ���� ��� ����� �� �� � ��� ���� �� � � ��� � � ��� ��� �

��� � ��� ���� ���< �� ��� ��������� ������� �������� ���

��� �� 2%(� "�3 '"(�* &!��( !))�"!0-

; �"����� � ������ �������� ! �� � ���� ���� ��� ��� � ������� ����� ����� ��� ��� �� � � � ������ �� ����� ��� �� � �P� ! P� ! �� ! �� ! �� ! � ! P�� � D ��� � � H��9� ��� �� � � ����� � ��� � ���� ���� ���� ����� ������� � �� ��� ��� �� � � � ������� ���� �� �������� � ���� ���� ��� �� � �P� � I �������� �� ������ � ������ �������� ��� � � �� ! �<�� ! IC � � OC �������� ! � ����� � � � ��� �������� ���� � � ������� � �� �"������ � ����� ��� � ����� � � ���� �� ��� ��� ����� � � �������� �� ��� �������� �� � � �� � � D������������ ! ������� ! ��� � ������ ��� ����� � � � �� ������ �� ���� ��� � � �;� ��� ���� ��� � �������� ��� � � 4���� ! � ������� �� ����� � ���������� ����� ���� ����� �� ������ 8 ! � �� �� ��� ��� ������� � �� �� � � ���� 3 �� ������ � ���� ���� ��� ��� �� �� �� � �� ����� � � ���� �� � I���� ����! � ����� �� ��������� ��� ���� ������ �������� � � ����� � �� ����� �� ��� ����� ! �� � �� � �� ������ � � ���� � ��� �"�� � � �������� �

��� �� � *!0�&"!�( !))�"!0-

H� ���� � ���� � ��� ����� ��� ��� � � ���� ��" ��� � � �"�� � �� ���� ��'0%� -&0%, @ -/#%((2'� &', �',%-(0&',2'� F2�'&$( 4�@ �F8 ������� � �� ��� �� � � �� �� ���������� �� ��� ����9����� ���� ��� ! �� ! �� � ;=�5 �� � � ��� �� ����� ��� � � �� ��� �� � �������� 45=I8 � ;� ����� ��� ������� ����� ���� ��� ���� ���� 5=I � � ������� ��� ������� ���������� �� �� �� � 5=I ���� ������� �

P�

Page 15: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

;=�5 ��� �� ���� ������� � � ��� � �� � � ������ �� ������ � ������� ����� ��� 5=I ��������� ��� � � � � ��������� ����� ��� ��� ������� ���������� �;=�5 �� ����� ���������� 9 �� ����� ����� ! ���� �� ����� �� ������ �� ���� � ��� ���� ! ���� ��� ! ������� � � � ! � �� ����� ! � � ��������� � ������ !;=�5 � �� ���� ������� ��� � �� ! � ����� ��� ��� ����� �� 5=I ����� �� �� ��� �� ����� ��� ������� ��������� ��� � � ;=�5 ������ ��� ���� �� ���� ������� ��������� ��� � ! ��� ��� �� ����� �� ������ �� ��� �������� �� ��� ! � � �� ����� �

��� ����9� ���� ����������� ��� �������� ��� ������� ����� �� D��� :������� � �� ���� �� �� �� ����� ��� � �� � ����� ��� ������� ����� � ����� � ���������� ��� ���� � � �� � � "���� �� �� � ���������� � � �� � � � �

D ���9����� �� ����� � �� ���� ����������� ���� �� ����� � � ���������� �������� � ����� �<��� � 9 �� ����� ����� ! � � �� �� �"�� ��� � ��� �� ��� � �� 9 �� ����� ����� � ������ ! ����� ���� ������� � �� ��� � � ������� � ��� �� ����� � ���� � � ����� 9 �� ����� ����� ! ��� � ������� �� �� � �� ! �� ����� �� �� ������� ! ����� 9 � �� ������ ������ ! � � ��� �� ���� �� ������ ������� � ��������� ���� �� ! ��� �"����� ! ���� � � �������� ���� � O������ �� ���� � ���� � ��� � � � ����� ��� �� 9 � �� ����������� �

��� �� � %��0 �0�#� !#!*3���

C�� � � �� ��� ��� ������ � HI5I ������� ��� ��� � ;� ������ ���� ���� � � "���� �� �� � � H�������� �� ���� ����� ��� �� �� �� ��� ��� �� ������ � �������� �� � �� � � "���� � � ������� ���� ����� HI5I � � � ���������� � �� ��=�;CI ���� ��� �� � �� � %0 &$� ���� � ����� �"����� ��� ���� ��� ! ���

� ������ �� � � �� ��� �� �� ���� ��� ! ����� ! � � ��� �� ����� � ! ���� ��������� � �� �� � ����� ��� � ������ � �� ��� ! �� � �=�;CI �� �� ��� ������9 � �� ��� 9 �� ����� ����� ! ��� � �� � � ����� � � ����� ��� �� �����������=�;CI ������� ��� 9 �� ����� ����� ���� ��� � � � D���� �����9 � � � ID���� �����9 � ���� ����9 ��� ���� � ��� � ������ ��������� �� � ���������� ��� � ���� � ������� ��� �� � � � =�� ��� � ���� ���� � ������ ������ ����� �� ����� ��� D���� �����9 ! � � ��������� ���� ��� ���������� ���������� �����9 �� ���� �������� ���������� ; �=�;CI ! ����������� ��� ! ����� !� � �� � �� ����� � ��� ������� � ��� ��� � � 6�� �������� ��� �� ������ �������� ��� ��� � ����� �� � �� �� � ��� ��� �� ��� ���� ! � � ��� ! ��������� ���� ��� ������ ���� ��� 9 �� ����� ����� ���������� �� ������ ��� ����������� ��� �������� � ��� ���� ���9 ���� � ����� � � ��� ��������� ��������� ���������� ���� �� � � ����� ��� ���� ! ��������� ! ��� � ���� �� �� ��� ���� ������ � ��� �� �� ���� �

��� � ��� ����9 � ���� ����� �� �� ��� �"����� � ��� ���� ��� ���� ���� ������ � �� ! ��� � ���9 ��� ! ������� � � � �������� �������� ! I= P��� ��� ! �� ���� 9�� ���� ����� �� �� ���� � �������� � ���� ! ����� ���� ��� � ��� � �� �������9 ��� � ��� �������� � D��� ���� ��� ������ �� ������� ������� ������ ��� � � ��� �������� �� ���� ��� � ��������� �� �"�� � ��� �<��� �� � ����� ���

P�

Page 16: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

���� ����9�� �� ��� ��� � � � ������ ��� � �� ����������� � ��� ! ��� � ���� ����9� ��� � ��� ������ ��� ������� �������� ! � � ��� ��� � ����� ���� ����� ����������� ��� � �"��� ����� ����� ��� � ��� � ��� ������� ������� ���� ���� � ��� ! ��������� ! ��� ����� � ������ � �� �� ��� ���� ���� ������� �������� � �� ������ � ��� ��� � �

��� �� 7!*'!# , * �� &!��( !))�"!0-

I�� %0 &$� ������� � �� �� � � ��� � ����� ���� �������� ��� ����� �� � ������������ �� ����� �� � � 3 ���� � ! � ��� ! � � ����� �� � ���� ��� ����� �� ��� � ����� �������� ������ � � �� ��������� �������� � 5������ ������� ��� �������� ���� �������� ���� ��� � ����� IC ! � � ����� OC � ��������� �������� � ����� ���� ��� �� � � � � ���������� � ��� � � ���� �� ! �� ��� �������� ���� � � ���� ���������� ���� ����9 ��� ��� �������� ����� � ���� ��������� �� � � ��� � ������ ! ��� ������ �������� ���� ��� ��� �� ��� �� ��������� ���� ������" � ���� � "���� �� ������� �� � ����� � O������ ������� ��� � � � �����9� ������ �� � ����� �� � � ��� � �� ���� ������� �

��� � ��� ���� ���< �� ���� ������ �����������

��� �� � "��� ��(%0 �"#

5������� �������� � ���� ���� ����� �� ����� � ���� ����� �� � ��� �������9���� � �� �PP � ��� �� ���� ��� ��� ���� ��� ������� ������ �� ������������ �� ��� ���9���� � �� ��� ��������� ���� ��� ��� � �� ��� � ������ ���� ���� �� �� ����� �� ��� �� � � ��� ����� �� ���� ������� �� �������� � ������� �� � ������ �������� ��� ���� �� �� ���� ���9���� � �� � �� ��������� ����� ���� ���� ! ��������� ! � �� ���� � � ������ �� ����� ������� ������� ������ ���9���� � �� ��� ! �� �

��� �� ��� 0"')"�� �"# � � - #"��� '"(�*

I ����� ���� ����� ���� � ��� �� � ������ �������� ��� � ��� ��������� ���� C��9�� ����� 4 CC 8 ������� ! �� �! ��� ������� �� ��� CC ����� !� ���� CC ! � � �� CC ��� � 5� ���� CC ���� � ���� � ���� ������� ����� �� ! � � �� CC ���� ��� ���9���� � �� ��� � ����� ����� �� ��� �� � ���� ! ��� ��� CC ����� ��� ���� �� �� ������ � � ���� CC ��� ���9���� � �� � � ��� ���� �� CC ����� ���� �� ��� ��� �� � ���� ��� �� ��"� �� ���9����� � �� ��� ���� � ��� CC ������� ���� ����� ���9 ���� �<������� ��� � ������ �������� ��� ����� ���9���� � �� � ������ ! ��� �� ���� �� CC���� ��� �� ������� ������ � �� � ����� � �� � � CC ����� ���� �� � ��� � ���� ��� ��� ��� �� CC ! � � � ��� CC �� �� ���� � ����� ��� ��������������� � � ����� ! ��� CC �� ���� � ����� ��� �� ���� ������������! ���� ��� ���� CC ����� ��� ��� ! �� � ��� ����� �� � ���� ���� ��� ������ ���

P�

Page 17: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� � ������ ! ��� ���� ��� ������ �� ��� ��� CC ����� ! ��� � ���� CC ������ � ��� �� CC ����� ! � ���� � ����� � �� ��� � �9 � ����� �� ����� � � ���� �� � ��������� ! � ��� ��� � � � ����� ��� �� � ����� �� �� � � ������������� ���� �� ��� CC ������� �

��� �� � ����#/ +�! %�� �)��0- ��0"/#� �"#

� ������� � ���� ����� �� �� � �� ������� �� ���� � �� �� �� ����� �� ������ ����� ! �� ! � � ��� ! �� � ����� ��� ����� �� �� ��������� ��� ��� ���� � �� �� "���� ! � � ��� �������� �� ����� ������ �� � � � ������ �� ���� ��� ����� �� �� � � ��������� ��������� � ����� �� �� �� �"��� ��� � ����� ��� �� � �; �� ��� ! ��� � ���� ����� �� ���� ����� ����� �� ��� �� � ���� ����� � ��������� ��������� � ���� �������� � � ������� � ���� ����� �� ���� ����� ��� ������ �� � �� � ���� � ������� �� �� ���� � �� � ���� ������� �� ��� !������ � �9 � ! ��� �� � �������� ! �� ������� ����� �PP� � =����� �� ����� �������� �� ��� ��� ��� ���� �� ��� � �� ��� �������� � �� ���� �� ! � � ����� ��� � �� ����� ��� 9�� �� ��� ����� � �� ���� ����� ������� �� �� ��� � � ������� � ���� ����� �� ����� ���� ��� ������ ��������� ����� �� ���� � ���� � ������ ! � �� ��� ��� ��� � ���� �������� ��������� ����� �� � � "���� � ��� ������ �� ��������� � ���� � ��� ������" ��� ��� ��������� �� �� � ���� � C������� ! ������ �� ���� � �� ���� ���� �������� ���� � ���� ��� ��� ���� ��� �� ������ � � �� ������� ���� ��� ���������� ��� ����� �� ���� ����� �� ���� ! ��������� ! ��� � �� ����� �� �������� �� �� � � �"� ����� �7��� ���! ��� ���� � � ���� ���� ��� ���� � �� ���� ��� ��� ��� �� � ������������ �� � � ������� �������� �� � ��� ����� �� ����� ���� ������ � ����� ���� ���� ��� ��� ������ ������� � ; ����� ! � ������� � ���� ����� ��� ������ ��� ������� ���� � �� ���� ��� ���������� ��� ����� � ����� �� ���� ���� � �� ���� ��� � � � ����� ����� �������� ��� ! � � 6�� ! � �"� ����� ���� ����������� � �������� � ���� ����� �� � �� ���� ������ � ���� ����� �� �������� ��� ���� ����� � ������ ! �� � ����� �������� � �� ��� � � ������� ���� ���"����� � ������� �������� �� �� ���� �� � ���� � �� � � "���� �

��� � ��� ���� ���< �� ����� ���������� �������������

��� �� $%&�%') �"# !�0-� �0 %�� +"� 0"/#� �"# 0!)!&�*� ���

�9� � ������� ��� �� �� ������� ����������� �P� ! �� ! �� �� ������� � ��������� � ������� ����� � � � ��� ������ ��� �� �������� � ��� ���� �������� ������������ ���� �� ���� � �� ������������� �� ����� �P� ! ��� ���� ��� �<��� � ���� ���� �� ����� ���� ������� ������ ��� � � ����� �� ����� � � �������� ! �� ������� ��������� ��� ! ���� ��� ������ ����� ���� �� � ������ ������ � 5������� ����������� ������ ����� ��� � �� ������ ������� � �� ���� ��� �� � � � �� ��9� � ���� �� �"�� � ��� �������� �� ��� ���� ! ��������� ! � �� ����� �� � � ���������� �� ����9� ���� ����������� ��� HI5I �

P�

Page 18: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��� �� � %* ��!/�# �3� �' &!��( �'!/� ��/�"# (� ��' �#! �"#

���� �������� � �������� � ���� ��� ���� � � ��� ���� �PP� � I ��� � ������ � �� ����� ���� ����� � ����� ���� � �� � ��� ��� � ��� � �� ������ � ������ ���� ������ ��� ���� � ��� ������� �� ��� ��� � � ��� �� ���� ����� �� �� ��� � �� � � ��� ����� �� �� ��� ����� ���� � �������� � ���� ���� � � ������ ������ ����� �� �

��� �� �# "*"/3 &!��( �3� �' �# �/�! �"#

C 9� ������� � G+(2#&$ >�> ) -/� %#0! � ����� � � ����� ������� ! �� ��������������� � � ����� � � ��� ��� � ������ ! � �������� �� ����� ����� � ������ ������� � �� �� ���� ���� �� ������� ��� � ���� �� ���� � ������� ! � ��� �"���� ���� ��� � ������ � �� � ��� � ������ � ���� ��� ������� �� ����� � � ����� ������� � �� ���� ����� �

6���� %0 &$� ���� ��� � �� ��� ���� ������ � � � ����� ������ ���� �� � ����� � � ����� � ��� � � ��� �� � ! � � ������� �� � ��9� ��� ����� �� ����� � ��� ;=�5 ����������� ��� � ��� ��� �� ���� � ����� � ������ ���� � �� � ��� ���� ����� ���� � ��� �� ��� � ����������� �� � ����� �������� ����� ���� � 5 �� � ������ � ���� � ��� � � ������� 9 �� ����� ����� ! ����� � � ������ �� � ����� � � ���� � ��� ����� � �� ���� � �� �� �������� �

��� ����� ��� � � ������

��� �� 2%(� "�3 � ��!' !#( �"%#( � ��!'

; ������� �� � � ��� ! � ������ ��� � � ������� �� ��� ��� � ������� ���� �� ��� ��� ������ � &+,20/-1 (0-%&G �P� � ������ �� ������� ��� ��� � ��� �"��� �� ���� �� ������� ����� � ������ ! ��� ���� ! ������� ����� ! �� ��� ����� ! � ����� ��� ���� �� �� ��� ������� �� �� ���� ���� ������� �� ��� ���� !��� �� �� �� � ��� ����� � ������� �� ������ � ������ � � �� ����� � ����� ��� �� ���� ����� � ;� �� ������ ��� ��� �������� �� �"����� �"����� ����� � ������� ����� � ���� �"������� �� ���� ����� � ; ����� ���� ! �� ��� ���� ��� �� ���� � �� �������� ������ �� ���� ������� �� ��� �

6��������� ! � �� ��� � ��� �� ������� ����� �������� ��� �� ��� ���HI5I � ����� �� ������� � O�� �� ���� �� ! ��� �� ���� ! ( /+', (0-%&G ! �������� � 5�� � ����� ��� �� � � ����� �� �� � ����� � � ���� ���� ����� �� �� � �������� � I ����� � �� �� ��� �� ! ����� ����� �� �� � ����� �� �� ��� �� �� �� ����� � ���� �� �� � �������� � O�� �"����� ! �� �� � ��� ����� � �� � ����� ����� ���� ��� �� �� � �������� ! �� � ����� ������� �� �� ���� �� � ����� ��� �"������ �� � � ��������� �� ������ � ���� ���� ��� �� � �������� �

P�

Page 19: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Agent1

Agent2

Agent3

Stream 2

Stream 3(Background)

Interaction

Stream 1

O���� P�� 3 C������� � ���� �������� �� �� � ����� �������� �

��� �� � %* ��!/�# &!��( !))�"!0-

��� �������� � ���� �� ���� ��� ���� ��� � � �� ����� � ���� ����� ������� ������ �� �P� ! �� ! � P! �� � ���� ��� � �� � �� ���� � � ������� � ��� ���������� �� ����� ��� � � ; ������� ��� � ��� � ������� ������ � � ���� �� ��� � ��� ! ������ �9� C 9� ���� � ��� � �� �� ��� ��������! �������� N ������� I������; ������ �� ! � ��� � ������ �� � � ���� ���� � ������� ������ �9� � ��� � �� ��P�� �

; �������� � ���� �� � ����� �������� ! � ��� � ! ������ � 0-&#%-� ���� ������ ����� �� �� � �������� ! ���� ����� �� ���� ����� ! � � �"����� ��� ���������� ��� ����� ��� � O ���� P�� �������� ��� ��� ��� �� �������� � ���� �� � ������������� � ; � �� � � "���� ! �� � ���� �� � �� � ����� ��� �������� � �� �� ������ ����� ����� � ������ ������ � �� ���� ����� �� ������ ��� ������� �� � ����� �� � ����� � H� �� �� ��� 9�� �� ����� � �� ������� �� � ��� �� � �� ������ � ����� ���� � � � � �� 9 �� ���� �� ! ��������� ! ������ ��� �� �� ������� ������ ��� �� ����� ��� �������� � ������ ��� �� ������ �� ����� ����� �� ����9����� ����� �� �� �� � �������� �������� � I � ����� ! ��� ���� �� ���� � ������� 9 � �� �� � � "���� �

��� ������ � �� ��� ���� ��� �"������ �� ������ � � ����� �� �������� � ������ � ����� �������� 3 4P8 E,&) 0&.2$201 � I����� � �� ��� ����� � ��� ! ������������� � � ���� � ����� � � ��� � ������ �� ��� ���� ���� ��������� �� ��� ����� �4�8 �/&$J/-2%'0&02/'� ���� ��� � � �� ���� � �� ���� ! � � � ! ��� ���� ������� �� ��� � � �� ������� �� � ��� � ���� ���� ��� ��� ���������� �� ��� ����� ���� �� ������� � ; ����� ���� ! ������� �� ���� ���� ����� � ��� �� �� �� ���� ������ �� ����� ��� � � 4�8 L/.+(0' %(( � ��� ���� ����� ��� � � ��������� ��� � ��� ����� �� ����� ! �� ������� � � �������� � 4�8 �) %'' %(( � ��� ���� �� ���"�� ��� �� ��� � ��� � � �� �� �������� � C������� ! � �� ��� � � �������� ������� ���� � � ���� � ����9 � ���� �� ��� ���� ��� ��� ���� �� � ������ � ���� ������ � ������� � ������ 3 ���9 � � � ��� � ��� � ��� ����� ��� �� �

P�

Page 20: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� � ���� � ��� � ��� �� ��� �� ��� �������� ����� �� ��� ��� ������� 3

� I���� � ������� �� ������� � ���9 � � � ��� � ������ ��� �� � � � ����� � ! � �

� C����� �� � ������� � ��� �� ���������� ���� ��� �������� �� � �� ��� �� ����

��� ���������� ����������� 47NI 8 ���� ��� �� ��� � 9 � �� �� ������ ���� � ���� ��� �������� � ���� �� � ����� �������� � 7NI ��� ��� ���� �����9 ��� �� ����� � �� � ����� �������� ���� ���� �� ����� ������ �� �� � �<��� � ����� �� �������� �

; ������� � �� �� ��� ! ����� � �� � ����� �������� ! ��� ��� ���� ��HI5I ! ������� � � ����� � ��� �� � �������� � ���� � ��� ��� �� �� ���� � ��<����� � �� �� �������� ��� �� ������� � ��� ! ������� � ! ��� �� ���� ������ ��� � � ���� �� ���� ���� ����9 ! �� ��� ���������� ����������� 47NI 8��� ������� ��� ����� � 7NI ���� ���� ������� ��� �� �� ���� � �� ���� �� ! � � ����� ����� � � � ��������� ���� ��� � ������� � ���� ���� H������� � ���� � ���� �� ���� ������� � ���� � ��� �<��� � 9 � �� �� � ������������� ���� � � 7NI �

��� �� 1# �/�! �"# "+ -!�'"#�0 � �%0 %�� !#( �"%#( *"0!*��! �"#

I������� ����� ���� � �� � ����� ����� �� ���� � �� ���� �� �� � ��������� �� ������� P�� ! ����� 9 �� ����� ��� ���� �� �� � �������� ����� ������ �� �� �������� �� � ����� ��� ! P�� ! PP� � ; �� ���� �� �� � �������� ������ � ���� ���� �� ����� ���� ! ��������� ! ���� ������� �� ��� � �� ��� �������� ����� �� � ����� �������� �

�� ��� ����� � ��� ������� � � ����� � ���� �� �� � �� ������� ��������� � � ����� � �������� ���� � 7NI ��� ! �� � ��� ���� ���� ��� ���� ������ � � �������� �� � ������ �������� � ��� ��� � � ������ � ���� 9�� ! ��� ��������� I ������ ���� ����� ! � �� ��� � �� ��� ����� ���� ����� � �������� ���� ������ � ��� ����� ���� �� ����� ���� ��� ��� ����� � �� ������" ���������� �P� ! PP� � ��� �� ���� 9�� ������ � ���� ������ � ���� ������ � ���������� ������� � ����� ! �� ������ ��� ����� ��� ���� ����� ��� � ������ � ! ����� �� � ������ ����� ��� �� ������ ��� ���� � 6��������� ! ��� �� ���� 9�� ��������� � ���� �� ������� � �� � ����� ���� �� �� ���� � ����� � �������� !�� ���� ���� � ����� �� ���� �� ��� � ��� ������ ��� �� � ����� ������� � ������ � �� � � ���� � � � ��� 9�� ���� �� ���� � ����� ������ � ��� ���� ��� ���� � �� � ����� �� ���� �

��� � � �� � ����� �������� �� � �� ��� ��� ! �� ���P� ��� �������� �� ����� � ����� � � ! � �� � ���� ������ � ���� ��� ����� � �

P

Page 21: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

.

.

....

Mixtureof sounds

Speech stream

Speech

stream

segregation Automatic speech recognition

Automatic speech recognition

Automatic speech recognition

O���� P�� 3 C���� � �� ��� � �� ������ � ����� ����� ������

��� � ����� � ����� � � � � ���� �� ���� � � �� � ���� �� � �� �� �� � � � ����� � � �� ���� ��� � � � ; ��� � ����� ����� �� ���� ! � ��� �� � � "���� � �����9� �� �� �� ���� ����� � ����� � � ! � � ��� ���� ��� � ����� � ������ ���� ������� �� � ����� � �� � ������ & *&-G /'2# ( /+', (0-%&G � ��� � �� ������� � 9 � �� � ������ ���� ���� �� ��� �� � ����� ! ���� ��� ��� � ����� ����� ��� ���� ���� ������� �� � � ��� �P� �

��� �� � �� �#�#/ " ��9��!* - �#/� ��'%* !#�"%�*3

I �������� ������� �� ��� � �� ������ �� � ����� ����� ������ � @ -2' #% F* /0/?+>/G) +0%-! � � �� �� ������� �� ������� � ���� �� � ���� � � "���� �� �� � ���� O� � P�� �� ! �� ! P! � � 5� ���� ����� ��� ��������� ���� � � "���� ���� � � � ��� ���� �� ����� ��� � ���� ����� �� ���� � ;� � �� �� �� ���� �� ����� � ���� ������ ! � >/#?0&2$ @ &-01 AB %#0 >/G) +0%- � �� ��� � � ������� ��� � �� ���� � � 5 �� ����������� ���� ���� ���� ��� ��� ���� ���� �� ����� �� � ��� ��� ��� �� � ����� ����� �� ! HI5I ������� ����� � �9� ������������� ���� �������� ��� ��� � ����� �

5�� � ����� �������� ����� � � �� � ��� �� �� ���! � ����� � � �� �� ��� �� ��� ��� � ���� ��� ����� ��� � ���� ����� �� ���� � � ����� ������� � ��������� � C � � ��� �� ������ � � �� � ���� � �� ������� ���� � ������� � ���P� � � � ���� � ��� � ��� ! ��� ��� ��� � ������ ��� ���� � ��� ��� �� � � ����� � ����� �������� ���� �� ��� ��� �� ��� ���� � ��� ��� �� � !��� ! � ����� � �� �� ������� � � �

I ����� ���� � � ���� � 9 � �� ����� � ����� � � ! � � � ��� �� ���� ���� � � � ���� � � �� � ����� � ��������� ! ���� � � �� � ����� �������� �� �������� � � ���� ����� �� �������� � � ����� �� � � � ��������� � O ���� � P����� ��� ��� �� ����� � ����� �������� � � � �������� �� � ���� ����� ��������� � 5� ���� ����� �������� �� � �� ����� ��� ! �� ���

P� ��� �������� �� �� ���� ���� � � ������ � !� � ��� ���� ��� ����� � �� ���� ����� � � ! � �� � � ����� �� � � � ��������� �

��

Page 22: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

-ResidueInput mixture

Speech stream assemblage

Unvoicedsegmentinterpolation

All-residue

Own-residue

Harmonicstreams

Speechstreams

Harmonic sound stream segregation

Harmonicfragments

Inputmixture

Sequentialgrouping

F0 continuity

Directioncontinuity

Harmonic fragmentsegregation (BiHBSS)

New fragmentDetailed attributes

Admissiblity verificationAdmissiblecomponent

Fragment trackingFragment detection

O���� P�� 3 O��� �� � ���� ����� �������� �

5� ���� ����� �������� � � ��� ����� �� �� ��������� � ���� ����� ��� ������ ������� �

��� �� $"%#( "# "*"/3

��� ���� �� HI5I ��� � ����� � � �� � �������� �� � � "���� ���� � � �� ���� �� � � � ��� �P�� � H������� ��� �� � � ���� �� ����� ���� ���� ��� � "�� ������ � �� ��� ������ � �� � ��������� ���� �� � ���� ���� ����� �� ��������� � � ���� ! ��� �"����� ! � � ���� ����� �� ��������� � � ���� ��� � !� �� �� ��� �� ���� � ! �� � ����� � ��� ������� � � HI5I ����� � ������������� � � � ����� � ���� ��� ��� � ����� � � �� ������ ��� � � � � �� ��� � � HI5I ������� ���� �� � ����� �������� � ; ��������� ! HI5I ����� � ��� ���� � ���� � � ����� � ��� ������� � ����� 9 � �� �� � ! ������ ��� � � ������ � ! ���� � � "���� �� �� � �

; ��� �������� � ���� �������� ! ��� �������� �� ��� ���� ����� ���� ��� �� � ������ � �<��� � 9 � �� �������� ���� � I ������� ��� ������ � ������� � ���� ���� ��� ������ � ����� ���� �� ���� ��� �"������� ���� �<��� ����� � ����� � ����� � ���� ��� ������ ���� �� ��� ������ �� � ����� ����� 9 � �� �� � � H�����" � � ���� ���� ��� ���� ����� �� �� �� � � �������� ��� �� ��� � ��� � � �� �� ��� �� ���� ������ ���� �� �<��� � �� � ! ����� ������� ( /+', /'0/$/�1! ���� ������ � ����� ������� �� � �� ���� �

5�� � � ������ � ����� � ����� � � � ���� ����� �������� ������ ���� ��� ��� ! �� ! �� 3

P � ��� ������� �� �� � ����� �������� ���� !� � ������ � ���� ���� � �� �������� ! � �� � ������ � ������ ��� � � ������� ��� �� � �� � ����� �������� �O�� �"����� ! � � ���� ����� �������� ���� � � � ����� ����� ��������

���� ��� ���� �� �� ������� � ���� ���� �� ����� �� ���� � ���� � � ��� ����� � "���� �� ����� � �� ��� � � � � ���9���� � ��� � I ������� ���� ���� ����� ����� � �������� �� �� � � � ���� �� �������� ! ����� � �������� �"�������

�P

Page 23: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��������� ��� � �����

���� ���� ���� � ���

���� �� � � �� ��� � ��� ������

���������� � ��� �

!!�"#�!�$%&'()*+ ,-&.+-.&/

0����1��!�2 3��4����50��1 ��!

6 "1#��7�����88 9 � 09 1���2�!"��90::7;: ���8!��1 ���< �"��!

�"��2� !���=��1��"� 8!���!���

>�?�2>�"��� ���8����!

@�A�"��� ���8����!�!��0�"��!"A�

9�8"��2 8����B�8!��1 ��!�2 8����

�!�"��> "�2"�

;����88"��;"���

C����8!�� !!�"#�!�

$%&'()*+ ,-&.+-.&/0����1��!�2 3��4����5

6���2"!56 "1#��=��1��5D�5!�1:����

�"��2� !���=��1��"�8

E E E9 ���"���5 8��������� 8�����

F�!���2 8����E E E

GHI GHJHKLJ LM H INGLOPQ MRHGNGSMT PQ LM H NUJLGNSL JPVKW SXNJJ Y

O���� P�� 3 �"����� �� �� � � �������

��

Page 24: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� � � ���� �� �� � � ������ �� ��� ����� ���� ������ ��� ��� �� �� � ����� ��������� � � ��� ����� � �� ���� ���� � � �������� ��� �"������� �<�� � ��������� !�� � � ������ ����� �� ���� � ��� ���� ��� � ����� ���� ���� � ; ����� !�� � � ������ �"� ����� �� ���� � ������ � ���� � �9 � ��� ���� �"�� � �� � �������� �

��� ��� � �"����� � I; ������ �� ! ���� ! ��� ������� �� ��� � �� ����� ������ ��� ������ �� ! ���� �� � �� ���� ��� � � ����� � ������� ��� I ; � � HI5I� P � �� >E FE #*&$ $%'� % ������ �� � ����� �������� ���� �� � � ��������� �� ����� ��� � ���� ����� �� ���� � ; ����� �� ���� � ����� � ���� ����� �� !�"������� � ���� ����� ����� ���� �� ��� ������� � � � ��� ��� �� ����� ��� � ��������� �� ���� � 5�� � �������� � ���� ����� �� ���� �� � ��� ����������� � 4=H8 �� �� �� � � � ��� �� ����� �� ! ���� ����� �� � ��������� �� �������� ���� �� � 4COHH8� ��������� ! � ���� ����� �������� ���� ����� ��������� ����������� �� �"������� � ���� ����� ������� �� � ��������� ����� ��� � ��������� �� ���� � ;� � � �� � ����� �������� ���� ��� �� �� � � ��������� �� ���� ��� 9 � �� ����� ��� � ���� ����� �� ���� ! �� � � ������ ��� �� ���� � ��� ����� ��� ��� � ���� �

��� ���� �"����� ���� � ���� ����� �������� ����� ���� ����� ��� 9 � ����� �� � ! ��� ��� � ���� ����� �������� � � ���� ������ � ���� ����� ��������� � =�� ��� �������� ��� � � �� ����� �� � � ������ ��� ����� � �� � �� ������� ����� ���� ���� �� �� � ��� � ����� � �������� ! ����� ! ���� � ! � � IC ��OC �������� � 5���� ������ �������� � �� �� �� ����� �� � � ������� ��� ��� � �� ��� �� ���� �� �� ��� � � ;� ����� � ���������� �������� ���� �� ���� ����� �� � � ���� � ��9�� : ���� ! � � �� � ������� �������� ���� �� � ������ �� � � I ������ � �� ��� �� ������� ��� ��� ���� �� ����� � � 5�� �� ������ � �� �<��� � ����� ���� ��� ������ ���� �� �� � ��� ������� �

H������ � ��� � �� � � ������ � � ����� � ��� �� � � ����������� ���� ������� �� � � ���� ����� �������� ���� � � � ��� � ����� � � ���� �

��

Page 25: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��

Page 26: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������� �

� ����� �� ������ �������� ���

? �� ���������� � �������� ��������������

I *&-G /'2# (0-+ #0+-% ���� �� � ����� �������� ������ ����� �� ��������� ��� ��� ��� ��� �� ��� �������� � ���� �������� � � �� ����� � �������� ! ��*&-G /'2#201 �� �� � ��� � � ���� �� �������� � H���� ����� ����������� ! ���� � � �� ! �<�� ! �� ��! ������ �� ��� �� ! � ������ ���� ! �������� �� ��<��� �� � � �������� �� �� �<��� �� ! ��� ����� � �� ����� ������� �

I ���� � � �� � ������������ �� � � +',&G %'0&$ � -%�+%' #1 � � *&-G /'2# #/G J) /' %'0( ��� � O ���� �� ��� � � ��������� �� � ��� � : � ���� � �� ����� ��� ����� ����� ���� � ! �� ���� � � �� � ! ���� ����� ��� ������ �� ! ���� �� ���� ������ ��� �� � �� �� ������ � � ���� �������� � ��� ����� � � ���� ����� ��� � ������ � � +',&G %'0&$ #/G) /' %'0! � � ��� ��� � � � � ��� ������ /K%-0/' %(���� ������ �� �� � �� ���� ��� ����� � � ������ � � �� ��� �� ��� � ��� ������ ��!� � ��� ������ �� �� ���� ������ � ����� ����� �� � ����� ����� �� �� ��� �� ���� � ��� ������ ��� D��� � �� ��� � ��� ����� � � � � � ������ � ��� �������� �� �*&-G /'2# #/G)/' %'0( �� � ���� � � �� � �

; �� ��� ! � *&-G /'2# (0-%&G ����� �� � �� � ����� ���� �� � ����� � ��������� � ��� ���� ! *&-G /'2# 2'0%'(201! �� 4 8 ������ � �� � ���� 4� 8 �� ���� � �� �� ��� �� � ������ 3 �� 4 8 ����� � � � �� 4 8 �� � 4� �P8�����

���� 4 8 �� � 4� � �8 � 4� 8 � �"� 4�� 4� � P8 � 8 � 4� ��8 ��� ! � �� � ! � ��� ��" �� ��� ����� � ����� � � ! ��� �� ���� ��� ������� ��! � � � 4� � �8 � � ��� �� ��� � ; ���� � ��� ����� � ! � ��� � �� ��� � ��� �� ������ ���� � �� ���� � ��� ���� � �� � � �� ��� � ��� �� ��� � �� � ��������� �� ���� � ��� �� 4 � �8 � �������� ! ��� ������� ����� �� ���� ������ ��� G &�'20+,% �� � ����� � ����� � � ! � � ��� ���� �� ���� ������ ��� ) *&( %�� � ���� � � ����� � � � I �� ! ��� ������ ������� ����� �� ���� ������ ��� 2'0%'(201�� � ���� � � ����� � � � ; �� ��� ! ��� ���� #/GG /' � +',&G %'0&$ � -%�+ %' #1 ������ ��� ����� ��� �� ���� ��� ������ �� �� � � �� � �� ��� � �� � ������ � ��

��

Page 27: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Time (ms)

Fre

quen

cy (

Hz)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

O���� � �P 3 5� ��������� �� ���9���� ������� �� � ��� � �

��

Page 28: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ����� �� � � ����� ��� ��� ������ �� �� ��� ���� �� ����� � ����� � � ������� ��� ����� �� �� ��� �� ���� ��� ������ �� �� ��� ������ �� � �

��� ����� � ����� � � �� � � �� ������ ��� � � ������ �� ���� � �� ����� O����� ��� ���� ��� ���� �� ��� ������� � ���� �� 9 � ����� �P� ! �� ! � ! �� ! P�� ��� � ����� � �� �� ��� ������ � ���� ��� ������� ��� �� � ����� �������� �� �� �"������� ���� � O����� ��� ���� ��� � O�� �"����� ! ��� �������� �� � �<���� �� � � �������� �� �� �<��� �� �� � ����� ��� �� � �� �� �"������� � �O����� ��� ���� ��� � � ������ ��� �� � ����� ������� � ����� ������� � ���� � C������� ! � ���� ��� ������ ��� �������� � �� ��� ! ���� �� ������ � �� �� � 9 � �� ������� ����� �

6��� ���� ��� �� ���� ��� ������ �� ������� � � �� � ��� ����� ������ ��� � ������ ����� �� ��� ��� ����� ��� ��� �� ������� � ��� ������ ������ � � ����� �������� ���� � ��� �� ��� ����� � �� ��� �� ���� ��� ������� ��� ; ��� ��� ! �� � � �� ���������� ������� �� ����� �� � � � ��� � �� �������� ! �� �� � � ������ O����� ��� ���� ��� 4NO� 8 � O�� �"����� ! �� ���� ����� ��� � ��� ������ �� 4� 8 ! �� � � �P � �"� ��� �� ����� � ��� �� � ��� ����� ���� � � 9 � �� ���� �� ���� � � ����� ! ���� ! �� ������ ����� � � ����� � ��� NO� ��������� ! �� ����� ! ��� �� �� �� ������ ����� ��������� �� ��� �� ���� ��������� ���

? �? ������ �� �����������

�� �"����� � �� � ����� ���� � � "���� �� �� � ! � ������ �� ������ � ����� � � �������� ! � �� ���� ��� ������ �� � � ��� � ���� �� ���� ���� � � ������ � � � ��� ���� ����� �������� �� � ����� ���� � �����! �� � � �� � � ��� � ����� � ����9 ��� ������� � �������� � ��� ������ � �� ������ �� ��� � � ������ ������� � � ��� �������� � ������ 3

P� �� �� � � ��� � �� � �� � �� ����� � �������� !� � �� �� ����� � ���� � � �������� !� � �� �� ������ ��� ������� �� � ����� �<��� � ���� � ! � �� � �� �� � � ��� � � �� � ���� � � �������� !

? �� ����� ������ �����������

� �� �� 2/�# � +"� &!��0 �3� �'

��� ��� ���� �� �� � �� ��� ��� � �� ��� � ! � *&-G /'2#( 0-&#%- � %' %-&0/- 4���������� ! 0* % � %' %-&0/-8 � � *&-G /'2#( 0-&#%-( 4��������� ! 0-&#%-(8 � ��� �� ������ ������ � �� ����� � � �� ����� � ������ � ��� ������ ����� ��� ��� �� � �� �"����� �� ������ � O���� � �� ��� ��� �������� �� ���� ��� � � ��� ��� � �� �� � ��� "�� ���� �������� �

��

Page 29: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

+Addingsinusoids

Predictnext input

-

Another harmonics tracer

Harmonics tracer generator

Intensity & phase ofharmonics

Inputwaveform

Stream

Stream

F0

Harmonics tracer

Z -n

Z -n

Residue

Subtractsignal

O���� � �� 3 5�������� �� ��� ����

�� ���� ���������� ��� ��� ���� �� ����� ��������� �� �� ���� ��� � �� ���� �������� 3

P� =���� �������� ����� �� �� ����9 ��� ������ � !� � =���� �������� �� �� ����9 ��� �� ���� ��� ����� � � !� � N����� � � �� ����9 ��� ��� �� � ��� �� �� � �

���� ����� ��������� ��� ������ � � ����� ��� � ��� ��� ��� � � ��� ����� ���� �� � ����� �� �������� ��� �� ���� ������ �� ���� � � ���� ��� ��� � ����� � ���� �� ����� � ��� � �� ���

� �� �� 6�#��! "�

��� �� ������ ������ ��� � �� � �� ����� � �������� ������ ��� ��� �� �� � �� ����� � �� ������ ��� � � ;� �� � �� ��� � ������ ) 20#* �&0#* %-( 4O � � ��8 !���� �� ��� ��� ����� � �������� �� ���� ������ �� �� ������� � ��� ����� � �� �� ��� �� �� �� � 4� �P8 � ���� ���� ������� ����� � � �� ����� �� ���� ��������� ��! � � �������� � ��� ������ � �� ��� ��� ����� 3

P� ����� �� ���� � � ���� � � ����� � � �� ���� � �� ���� ������ ��� �� !� � ��� � �� ���� �� ��� �� ���� ��� ����� � � ������ ��� �� ! � �� � ����� � � ��9 ��� ��� � ���� � ������ �� ��� ��� �

��� ����� ���� ������� � �� ��� ������ ����� � �� �� �� ����� � �� ������ ! ��������� ��� �� ����� ���� �� ���� ��� ������ �� �� � 4� ��8 �

��

Page 30: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Inputsignal

Fre

qu

ency

Generate a stream tracer

Generator

Pitch watcher (active)

Pitch watcher

Pitch watcher

Pitch watcher

Pitch watcher

Pitch watcher (active)

O���� � �� 3 5�������� �� � ������ 3 ����� ���� ������� ������ � �� �

� �� �� ��!0��

���� ������ ������ ��� ��� �� ��� � ��� ������ �� � � �� ��� ���������� �� ��� ������� �� �� � �� ��� ���� �� ��� ���� � �� ��"� � � ��� ���� � � �� �� 4�� � 4� �P88 �� �� �� ������� � �� � 4� �P8 ! � � ���� � � ����� � � ���� � �� ���� �� ��� �� ������� � ��� ! ��� ������ ��������� ��� � �� ���� � � �� � � ��� ���� � � �� ������ ���� � � ����� � � �� � � �� � 4� ��8 � I �������� � �� �� 4� 8 �� ��� �������������� �� �� ���� � �� � � � ������ � ������ 3

�� 4� 8 ����� � 4� � �8 ��� � �� 44� � P8 �� � � � �� 8 � 4� ��8

����� � � ���� �� � ����� � ����� � � �������� �� � � �� ���� ! � � �����" � ����������� �� � � � P� � � � 4� 8 � 44� � P8 �� 8� �

��� ������ ���� ��� ����� ������� � � � �� ��� ������ � �� ��� ����� ���� � ���� �� � � 3

� ����� � ����� � ����� � � ���� � �� ���� ������ ��� �� ! ��� ��� � �� ���� �� ��� �� ���� ��� ����� � � �� ��� �� �

� �� �� �(%0�#/ �# ��+���#0� &� ���# �!0���

I ����� ����� �� �"������� %� #$+(2K %$1 �� � � ������ � O�� �� ������ ! ��� ��9 ���� ������ �� �� ���� ��� � �

Page 31: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

(a) No streams are detected.

(b) One stream is being traced.

(c) Two streams are being traced.

Input

Stream

Generator

Tracer

Tracer Stream

Input

Stream

Generator

Tracer

Input Generator

Generate Terminate

Generate Terminate

+

-

+

-

+

� ���� � �� � ����� ��������� ��� ���� ����� � � ����� ������

��

Page 32: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� � �P 3 D� ��� ��9 � "���� �� ��� �� �6� 5�� � � 5�� � �P C� ����� � ���������� 5� ������ �� � 4�� ���� ���

������ �� 3 ��� �8� C� ����� � ���������� 5� ������ �� � 4�� ���� ���

������ �� 3 P�� �8� C� ����� � ���������� ��� � ����� � ����������

������� ���� � I ��� O� � � �� ! � ������ ���� ��� ��� �� ��� �"� ���� �� � �� ����� � ����������� � �� 4������ & (+.0-&#0 (2�'&$8 ! ���� ��������� ������� ��� �� � � "���� � ��� �������� ! � ���� 4� 8 ! �� � � ��������� � ������ ������� � ��� ���� �� � ���� � � ����� � � �� ��� ���� �� ��� �"� ��� ���� � ������� 3

� ��� � 4� 8 ����� � 4� � 4� � � 88 ��� � �� 44� � P8 �� � � � �� 8 � 4� ��8��� ��� � � ��� 4������ 0* % -%(2,+&$ 2') +08 ��� � ���� �� ��� ��� ������ � � ����� �� ������ � ���� ������ ������ ��� �� � ���� ! 4�8 ! �� ��� � ��� ������ � �� ��� �� ������� � �� � �� � ���� � ��� ���� ��� �� ������ �� � �� �� ����� � �� ������ ��� �" � � ����� � � � � ������ �� �� ����� ��� �� � ����� � � ����� �

������� � � � ���� � ���������� �� ��� �� ���� ������ ����� ��� ����� ���� � ��� �� ��� ��� ���� ��� �� �� �� ��� ������ �� � ���� � � �� ����� ���� ���� �� ��� ��� ���� ����� ����� �� ���� ���� � � ����� � � ! � � ����� ������ �� �� ���� � ��� ������ � ������ �� ���� � � �� ���� �� � ! ���� ������������� ��� ����� ���� � � �� �� � ������ �� ���� ! ������� �� � ��� � �� ����� 4� � P8 � � ��� ������ �� �� ��� � ��� ���� � � ����� � � ! � �� ��� �� ��������� �� ��� ���� ������ �� ���� � ��� ����� ����� ��� ��� ���� � � ����� � � ��

������ �� � ��� ���� � ������ 3� 4 �8 � � �� � 4� � �8 �4�� � �� 44� � P8 � � � 88 � �"� 4�� ��8 ��

����� � � �� �� � � 5 �� ��� ������ �� �� ����������� ����� � ����� � � ����� ��� �� ��� �� ��� � ��� ������ �� ����� ��� ���� �� ����������� ����� � � ! ����������� ��� � ����������� ����� � � ����� �� ������ ���� � � ��� ���� � H� ����� ���! �� �� � 44� � P8 � 4 � � 4� � P8 8� 4� � P88 �� ����� ��� �� ��� �������� ������ ����� � ����� � � �� ������ �� � �

���� ������ ��� ������ ��� ������ ��������� �� ��� ����� ��� ���� � � �� ������ �� � ���� � ���� ���� �� ��� ����� ���� �� ��� ����� � �� ��� ; ��� ���� ��� � � �� �� ����� � ����� � � ! �� ����� �� ���� ����� ��� �� �

� P

Page 33: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

1

2

3

0 1 2

6����� �� ��� � �

4��8O ���� � �� 3 N� �� � �� ������ ��� � 4�"� � �� P8

4����� ����� �� �� ������ ��� � �8

� �� �� $3� �' &�-!9�"�

O���� � �� 4�8 ��� ��� ��� ���� �� ��� ���� � 6� �� � ��� �� ��� �� ������� � � ������ �� ������ � � �� � �� �� � � ��� ��� ���� ! ��� �� ������ ��������� � � �� ������ �� ������ 4O� � � �� 4� 88 � 5 �� ��� ������ �������� ! �� � ������ �� �� ��� �� ��� �� ������ ��� ����� ��� ������� � �� ��������� ���� ��� ��� � ������ ! ��� ������ ����� ��� �������� ����� ��������� ������ � �� ��� ����� ������ � � ! � �� � ���� � ��� ��� �� ����� �� ���������� ������ ������� ����� ����� � ��� �"� ����� �������� ����� ��� �� � ��� � ��� ��� �����4O� � � �� 4�88 � � �� ��� �� � ��� ������ ��� �� ������ ! ���� ������ � ��� ������ ������ � � ���� ��� �"������ ��� ��� �� ��� ����� ����� � I � ����� ! ���� ����� �"� ����� �� � � ���� ��������� �

� �� �� �9!*%! �"#

�� ���� �� ��������� �� � � ����� �� �� �� � � "���� � ��� ����� � �P ���� ��� � �� �� ��� �� ���� ��� �� � � ��� � ��9�� � � � ��� ��� � ��9������� � ��� ���� �� ����� ���������� ! � � � ���� ��� � ������ �� � � �� � �"�� � ����� ���� ��� � ���� �� �� ���� � � ����� � � �� �� � 9 � �

��� ��� �� � ���� ������ �� P� 9 � ! P��� � ��� ���� ! � � � ������ � �� ����� ��� � � ��� � ��� ���� � ��� � ���� �� � �� � �

��������� ��� O���� � �� ����� ��� �� �� � �� ����� � � ���� ��� �� ������ ��� � � �� ��� ��� �� �� ��� �� � 4����� P8 � ;� ��� ���� ����� ����������

��

Page 34: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

50

100

150

200

250

0 1 2

O� ��� � ��� ������ �� �

4��8O���� � �� 3 5��������� ����� 4�"� � �� P8

������ 4������ -%,+',&'0 0-&#%-(8 ������ � ����� �� �� �� � ����� ������ ! ��� ���� ������������� ��� ��������� ����� ��� ������� O� � � �� � D��� �� ��� �� � ���� ������ ���� ��� ��������� ����� ��� ���� � ��� �� ��� ��� �� �� � �P�� �I���� ����! ��� ���� � � �� ��� ��� �� ���� ��� �������� ��� ���� ������ ���� �

��������� ��� O���� � �� ����� ��� �� �� � �� ����� � � ���� ��� �� ������ ���� � �� ��� ��� � �� �� ��� �� � � ��� � �� ���� �� � ������ ���� ������������! ���� ����� ���������� ������ �� � �� �� �� ����� � �� � � ��� ��� ��� � ��� � � � �� ��� ����� ������ � ���� �� � ������ � ��� ��� � � ��� ����* /(0 0-&#%-( ���� ����� � ��" � � ����� � ��� ��������� ����� ��� ������� O� � � �� � ��� �� � ���� ������ ���� ��� ��������� ����� ������� � � �� ��� P��� � � ������ �� � �� ���� � ��� �� ��� ��� �� �� � ! ��� ��� � � : � ���� �� �� � ���� ! �� � � ���� �9� ����������� � C�� ���� � � �� ��� ��� �� ���� ������������ ��� ���� ������ ���� �

��������� �� ��� ���� ��� � �� ������� ��� �� ����� �� �� ������ ��� � !� � � �� ���� ���� ��������� � ��� O� � � � � ����� ���� � � � ���� �� � � ����� ������ � ������ ! � � �� ���� ��� � ������ ���� ��� � � : � � ���� : � ������ ��� �� � �� � ! � ��� O� � � �P� � ���� �� ��� �� � ���� ������ ���� ���������� � � ��������� ����� �� ���� ���� �������� � �� ��� ��� �� � I���� ����!� �� ��� �� ���� ����� � �� � �� ����� � ��������� ����� � 5�� � ���� � ��� ��� � � : � � ��� � : ��� �� ���� ���� �������� ��� ��� ����� ���� ���������� �

������� ��� ��� ���� ����� ���� �� ����� ���� �� � � � ���� ������ � I���� �� � ������ ����� �� �������� ������� � �� � � ���� ���� ��� ������� �

��

Page 35: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

1

2

3

4

5

0 1 2

6����� �� ��� � �

4��8O ���� � �� 3 N� �� � �� ������ ��� � 4�"� � ���8

4����� ����� �� �� ������ ��� � �8

0

50

100

150

200

250

0 1 2

O� ��� � ��� ������ �� �

4��8O���� � �� 3 5��������� ����� 4�"� � ���8

��

Page 36: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

1

2

3

4

5

6

7

8

0 1 2

6����� �� ��� � �

4��8O ���� � � 3 N� �� � �� ������ ��� � 4�"� � ���8

4����� ����� �� �� ������ ��� � ��8

0

50

100

150

200

250

300

0 1 2

O� ��� � ��� ������ �� �

4��8O���� � �P� 3 5��������� ����� 4�"� � ���8

��

Page 37: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

I ���� ������ ! � ��� ����� �� � ! ����� �� ����������� ! � ����� ��� ������ ������ � ����� ������� � �� �� �� ����� � I ��� �� ���� ������ ������ �������� ����� � �� ������ ���� �

5 �� ���� ������ �"����� � ����� ������ � �� ��� ����� � ��� �� ���� �� ��� ������� � ��� ����� � ������ � �� ! � � � ���� �� ������ � ���� ������ ���������� �; ��� �"� ���� ! ��� ��� ���� �"�� ��� �� ��� � � �� �� ������� �

D����� ����� ��� � ���� � �� ������� �� � � ��� �� ��� �������� 3 ( 2JG+$0&' %/+( 4() %#0-+G8 � � ( %�+%'02&$ ����� � �P� � ��� ���� �� �"����� �� � ����� ���� � � "���� �� �� � ! ���� ��� ������ ����� �������� �� � ����� ���� � ��� ��� ��� ��� ������ ����� � �"���� � � ��� � �� ��� ���� � "���� �� ��� �� � ����� P ��� ���� � ���� �� ���� �� �������� � � : � � ���� : � ���� �� ������ ��� ����� � �������� �� ���� ��� ����� � � ��� �"�� ��� ���� ������� � �������� � ������ � � ����� �� � � �<����� �

? �� ������� ������ �����������

I��� ��� ����� �������� ������� �� ���� � �� ��� ������� � ��� ����� �� ������ ���� �� � ��� ���� ��� ���� ��� ������ ��� � &-G /'2#J� &( %, F0-%&G F %� -%J�&02/' 4��FF8 ���� ��� ! �� �

� �� �� � "#� "��

I�� � ������ G /'20/-( ��� �������� �� ������ � � ��� ��� ���� �� � � � ���� ������� � I �� ��� �� ������ ����� ����� � �� � ������ ! ���� � �� ���� 4O� � � �PP8 ���� �� ��� ���� � ��� ��� � ������ ! � � �� � �� �������� ��� ������ � �

P� � �� ��� � ���� �� � ������ ! � �� � I���� ��� � �� ���� �� ���� � � ����� � � ������ � �� ��� ��� �� � �

� �� ����� ��������� ������ 7��� �� � ������ ����� �� ��� ���� ��� ������������� � � �� ��� �� ��� ���� � ���� ��� � �� ! ��� � � ��� ����� ���� � ������ ���� � ��� ��� ����� � ��� ����� ������ �

P� ��� ������ ���� � ����� �� ���� ��� ������ �� � �� ����� ��� � �� �� � � ������ �� � ! � �

� � ��� ������ ���� � ����� ���� � � ���� �� ���� � �� �� ��� ���� �������� �� ������ � ��� ����� ��� � 6��� ���� ��� ����� ��� ��� �� �� ���� � ����� �� ��� � ��� ������ �� �� ��� ��� ��� ������ ���� ��� ��� ���� � � ����� � � � � ����� ������� � �� ����� �� �� ��� �� ���� ���

��

Page 38: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

+-

+

Input Generator

Monitor

Monitor

Tracer

Stream

Stream Coordinate

Coordinate

Tracer

Feedforward signal

Feedforward signal

Com

mun

icat

e

O���� � �PP3 5�������� �� ���� ��� ���� 4 D558

������ �� �� � ����� ����� � O�� ��� ��� � �� ��� ! ��� *&-G /'2# .&$&' #% �� � ������ ��� �� ������ �� � ����� ����� � ��� ������ � !

� P� � �� 4� � � � � �� �� 8 � 4� ��8

����� 4� � � � � �� �� 8 ��� ��� � �� ���� �� ����� � ����� � � ���� ������� ���� � ����� ����� ��� ������ �� ��� � � ��� ����� ���� � #/GG /' *&-G /'2# .&$&' #%� ��� ������ � �� ��� � �� 3 ���� �

��� � P �� � � � 4� ��8

� �� � ���� �� � � �� � �� ��� � ��� � �� ������ � � ��� 4 � �� � � � � �� 8 � � 4� �� � � �� �� 8 ��� ��� ���� � � ���� �� �� ��� ����� � � � ��� �� � �

� �� � ����� �� �� ��� ������ ���� ���� ������ ��� ���� � ��� ��� ����� !���� ��� ��� ��� ���� ����� ! ��� � � �� ���� ������ ! �"���� ��� ��� �� ��� ���� ���� ������ ������ �� ����� ���� ����� �� ���� ��� ������ ���

��� ����� � � ������ 5 �� ��� ����������� � �� �� ��� ������ ��� ��������� ������� �������� ! �� � ����� � � �� ������ ��� ��� �� �� � � �� �� ������� ��������� �� � ��� �������� �� ��� ������� � �� � ��� �� ��� �� � ����� ��������� �� � ����� � � ��� ������ � ����

��

Page 39: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� � ���

�� � ��� �� �� �� � ����� � ����� � � ���� ������ �� ! � �� ����� �� �� �� ��� � "���� �� ��� ������ �� ���� �� ! ��� �"����� ! � � ������

O����� ��� ���� ��� ! � � � � � ���

��� �� � ;� ������� ��� ��� �� �� � � ��� ���

��� � ���� � ! ��� �� ��� ������� ��� ����� �� � ���

�� �� ��� ����� ��� ��

� ���

� � 4��� 4 ��8�� � P ��8 � � �� ������ � � �� �� � � ;� � P! ��� ��� �� � �

��

� � ��� � I � � ����� ������ ! � �

��

���������� �� �� �� �� �� $3� �' &�-!9�"�

��� ! ��� ���������� ������ �� �� ����� ��� �� � ����� �"��� �� � I ���� ��� ����� ������ � �� � � ��� ���� � ������ 3

� I ���� �� � ������ ���� ����� ��� �" � � ����� �� � ����� ������ � �� � � ����� ���� ! � �

� I ���� ������ ���� �� � �� ����� � �" � � ����� � �� � � ���� ����� �� ��������� � � �� � � � ��� !

���� ������ ��������� ���� � ���� ����� ��� �� ��� ���� �� ���� �� ��� � ������ �� ! �� ��� ����� ! ������ ���� � ���� ����� ���� ����� ��� ����� ����� ����� �� � ������ ��� ��� ���� � I �� ! � ������ ���� � � ������ ����� �� ������� ��� ��� �� ��� ������ � � �� � � � ��� �

� �� �� �9!*%! �"#

��� ������� � �� �� ��� ���� ��� ���� 4 D558 �� ��������� � � ��� ��� �� ��� � �����9 � �� � 5 �� ��� ��� � "���� �� ���� ��������� ��� �� ��� ��� ���� !��� ����� �� �� ���� ��� ���� �"���� � � �� ��������� �

��������� ��� O���� � �P� ��� ��� �� �� � �� ����� � � ���� ��� �� ������ ���� � �� ��� ��� � �� �� ��� �� � ! � � ��������� ����� ��� ������� O� � � �P� � ���� ����� ��� ���� ���� �� � � � ���� ������ ��� ���������� ��� ���� �D��� ��� �� � ���� ������ ���� ��� ������� � � ��������� ����� ��� ���� � ����� ��� ��� �� � I���� ����! ��� ���� � � �� ��� ��� �� ���� ��� ���� �������� ������� ������ ���� �

��������� ��� ��� ���� ��� � �� ����� � ����� �� �� �� ������ ��� � ! � �O� � � �P� ��� ���� ���� �� � � � ���� ������ �� ��� ���� � ��� ��������� ����� ��� ������� O� � � �P� � D��� ��� �� � ���� ������ ���� ��� ��������� ����� ��� ����� ���� � I���� ����! � ��� �� ���� ����� �� � ! � ����� ��� ���� :������ �� �� ���� ������ ���� � �� � � ����� � � ��� � � : ������ �� ���� �������� � ��� ���� � � �� ��� � � : � � ���� : ��� �� ���� ���� �������� ���������� � � ���� ������ ���� �

��

Page 40: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

1

2

3

4

5

0 1 2

6����� �� ��� � �

4��8O ���� � �P� 3 N� �� � �� ������ ��� � 4�"� � ��� 8

4����� ����� �� �� ������ ��� � �8

0

50

100

150

200

250

0 1 2

O� ��� � ��� ������ �� �

4��8O���� � �P� 3 5��������� ����� 4�"� � ��� 8

Page 41: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

1

2

3

4

5

6

7

8

0 1 2

6����� �� ��� � �

4��8O ���� � �P� 3 N� �� � �� ������ ��� � 4�"� � ���8

4����� ����� �� �� ������ ��� � ��8

0

50

100

150

200

250

300

1 2

O� ��� � ��� ������ �� �

4��8O���� � �P� 3 5��������� ����� 4�"� � ���8

��

Page 42: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

? �� ��� � �� ��� ����������

D�� � � ���� ��� ������ ��� ���� � � �� � ����� �������� � �� � �������� ����� ���� ����� �� � ��� ���� ��� ���� ! D55 ! �� � ���� � ��� � ���� � ����"����� � ��� ���� � � �������� �� ��� �� � ! ��� � ��� �� �� �������� � ���� ���������� � � � : � � � ���� : ���� � ��� D55 �� � �� �� ��� �� ���� � ���� ��� ���� ���� ������ �� �� � ����� ��� � ��� ���� ��� �� ���� ���� 9 �� ������� ��� ����� �� �� � ����� �� ��� ���� ��� ��� ��� �� � � "���� � � �� �� "���� �� �� � ������ � �� ����� � �� � � � � ��� �� �� � �� � ����� �� ��� � ��� ������ ��! D55 ���� �� �������� ��� �� � � �� ����� ������ � ������ � ����� � � ��� #/#?0&2$ ) &-01 ) -/.$%G �

�� ������� ������� �������� �� ������ ���� ������ � ���� ����� ��������� ��� ������ � ������� � 6�� ��� � ��� ��� �� ���� �"����� � ���� ���� ��� � � � �� � � ��� ���� ��� �"������� �� D55 � ��� ���������� ������������ 47NI 8 ���� ��� ��� �"� ������� ������ � �� ���� ���� ����9 ��� �"�� � � ��� D55 ! � � ��� ������� � �� � ����� ! �� � �� ����� � �� � ! ��� ��� ��� �������� �� ����� ���� � � ���� � �"�� ��� D55 � � � ��������� � �� � � �� �� ���� �� � � "���� ��� � � � "���� �� � ���� � � ���� �� � O�� �"����� ! ��� ��������� �� � ���� ���� ���� �� ���� � ��� ����� �� ��� ���� �� ����� � ��� � � ���� �� ����� ������ �� ��� �� � ������ ! � 9 �� ���� �� �� � ���� �� �� �� ������� �� � ������ �������� �PP � ��������� ! � �� ��� � ���� ���������� �� �� � �� ������� �� �� ������ � � ������ �������� � � ��� � � ��� ��� D55 �� � ����� ! � ��� ����� �� ��� �� �� � ���� ���� � ����� �� ���� ��� ������ ��

����� ! � � ���� � � ��� �� ���� �� �������� ��� �� � � �� ��� ��� ��� � ������ � ������� � ��������� ! ����� ���� � ! �� ��� � ! �� ��� � �� � �������"����� �� ��� ���9��� ����� ������� �P� � O�� �� ������ ! � �� ������� ����� � ��� �������� �� D55 ���� � 7NI ��� �"� ������� � �� � ���� � ��9���� �"�� ��� D55 ���� ������� �� �� �� � � � ��������� �� � ����� ������ ����� � � �� ���� ��� ������ ���

� P

Page 43: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��

Page 44: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������� �

� ��������� ���� ������������

� �� ;������� � � �������������� ������������

I �������� � �������� �� �� � ����� �������� ��� ! �� �� ���� ��� ��� ������������� � ��� � &-G /'2#J� &( %, F0-%&G F %� -%�&02/' 4��FF8 ���� �� � �� ��� �� � �������� �� ! ���� �� � �� ���� � � � � ���� �� �������� ! ���� � �� ���� ��� �� ��� ���� �� ���� � �� � ! � � �"����� �� � ����� ���� � ������ I ������� �� ���� � ���� ! � �� �������� ��� ����� ���� � � "���� �� � � � : � � ���� � : ����� � ���� � D55 �� �� �� �� �������� � � ����� �� ���� � � �� ����� ���� � �� ���� ��� ������ �� ����� � ������ ! � � � ���� �� ����� ������� �� D55 ������� � ����� � �"����� �� � ���� ���� � ������� � � ������� � � ��� ������� �� ��� �"� ��� � � � ����� � � ���� � ��� ����9 � ������� �� �� ����� � ���� ������� ��� � � �� ����� �� ��� ���� ���� � � �� ��� ��� ��� � � �������� ���� ��� ����� ��� ����� � 5����� ���� ��� � �� ��� � � ����� ��� � � �� ��� ������� � I ����� ����� ��� �� ���9���� � �� � ��� ��� �� �� �� ������� ! � ����� � �� ���� ����� � ���� �� �� � � ������ �� ����������� �� ����� �

�� ������� � �� �� ����� � L%(2,+ %JM -2K%' E -#* 20%#0+-% �LME� � � �� �������� ����9 �� �������� � ���� �� � ����� �������� ��� ! � � ��� ���� � ���� � ����� �������� � ����� ���� � 7NI �� ���� � �� ��� ������ � ������� �� D55 ��� ! �� ! �� 3

P � � ������� �"����� ���� ���� � � �������� � � ����� ���� ��� ����� � �� ������ � �

��� 7NI ���� ��� �� �� ����� � D55 ! � ���� ���� � ��� � ���� � ��� �"�������� ����9 � ��� �������� �� �� ���� �� � ����� � ��� 7NI ���� �� � �������� � �� � ����� �������� ������ ! � ����� � ������ � ���� ����9 � ���������� �� �������� � ����� ����� �� ����� � ��� � D55 ����� � � ������7NI ���� ���� ���� �� � �� ����� ���� � � ����� �������� ���� � ��� ������ �

��

Page 45: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� � ����� 7NI � � D55 � ��� �� ���� �� �CH;6� � � CH;6� �P� ! ���� !��� 7NI � ���� ���� �� � � � �� D55 �

I ����� ������� P�� ! ��� ������� �� �� � ����� �������� ���� ����� � ��� �� ������� � ����� �������� ���� ! ������� ! ��� �� ��� � ��������� ��� � ��� ��� ��� �� �� �� � �� � ��� ���� �� ��� �������� ���� ! � � ������� � �� ����� ���� ����� ���� ������� ��� ! P�� ! PP� � O��� ��� ����� ��� ���� ����������� ! � �� ���� ���� ���� ����9 ���� ��� �� ��� � � � �� �������� ������ � ��� �� ������� � ��� 7NI ��� �� �� ������ ��� � �� ���� �������� ���� �

� �? ����������� ������

5�� � ����� �������� ���� ��� 4P8 ������ � ���� ����� ��� ��� ! 4�8 ����� �������� ! 4�8 ������ � ���� ��� ����� ���� � ��� ! � � 4� 8 ������ ������� �� � ����� ����� ��� ����� � ��� 7NI 4O� � � �P8 �� � �� ������ ����� � ����� 9 ��� ��� � 3 � ��� ���������� ! � ��������� ������ ! � � ������ � I ������ �"����� ��� � ����� �� � � ����� �� � �������� ������ &' &� %' #1� I ��� �� ���� � ��� ���������� ����������� �"����� ����� � ������ 3

P� I ��� ���������� ������� � �� �� �������� ��� ���� ��� ��� � � � � �������� �� ��� ��������� ������ � � ������ �

� � ;� ��� ����� �"���� � ����� �������� ����� ! � ��������� ������ ������ ��� �������� �� �� � �������� � ;� � � � ���������� ����� �� ��� �������� ! � �� ������ � ������ �� ����� ��� �������� � ;� � ��� �� � � ��� ����� ! � �� ����� � ��������� �

� � ���� ������ �"����� � ����� ������ � �� ���� � ��� �������� �� ��� ����� � ;���� �� ����� � �������� �"� ��� �� ����� � ��� ��������� ����� ����� � ��� ��� �"� ��� � � � � �� �������� ��� �� ��� ��� ���������� �

� �� � ��������� ������ �� ����� � �� ������ ���� ���� �"����� � � ����� ! ������ �� ����� �� � ����� ���� � ����� ��� ����� � ����� ���� � �� � ��� �� �� � �� �� � � � �� � �� �� � � ��� ! ��� ����� � ����� � ���� � � � �� ������ �� ������ �� �"����� ��� �� �� � � � ��� ���� ����� �� � ����� ���� � ;� � ������������ ���� ��� �"� ��� � �� � � ���� � � ��� ������ ��� ���� ! ��� ������ ���� ����� ���� � ;� ��� ��������� ������ ��� �� � � � ���������� �������� ! � �� ��� ����� �� �� � ����� � 5 �� ��� ��� �� ����� � 9 �� �� � � �� ! ��� ��� �� �� �� ������� �� ���� ��� ��� ����� � �� � � ��� ���������� ! � � ��������� ������� � � � ��������� ! ��� ��� ����� �� ������ ��� �� ������ � �� ��� ��� �

I ������ �"����� ���� ��� � � �� ����� � (0-%&G � -&�G %'0� 5����� ������ ���� ������� �� � ����� � ��� ������ � �� ��� � ����� � %� #$+(2K % &$ $/#&02/'!���� ��� ���� ���� ��� ������ � ����� �� ���� ����� �� � �� � � �� � ����� �

; ������� � ����� ��� � �� �� ������ � ������� �� ������� � � ������� �� ������� � ; ������� �� ������� � ���� � ����� ��� � � �� ��� ���

��

Page 46: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Predicted next input

Input Residue

Streamfragment

Tracer

Eventdetector

Generator (a set of watchers)

Predictnext input

Extractinformation

Predicted next input

Streamfragment

Tracer

Predictnext input

Extractinformation

Predicted next input

Noisestream

Predictnext input

Extractinformation

Noise tracer

O���� � �P 3 ����������� �� ������

��� �� � � ��� � � ��� ���� 9 � �� ������� � ���� � � ��� �������� �"� ��� �5 �� ��� ��� � �� ������ ��� ��� ��� �� � ! ��� ��� � �� �������� �"� ��� ��� �� �� � � ��� �� ��������� � ����� �� � � ���� �������� �"� ��� � I ��������� !������� ! � <�� ���� ����� ������ � � ��� � �������� �"� ��� ����� �� ��� ������ ������ � � ��� ���������� � I ����� ��� ��� ��� � ������� �� ����� � � ������������ �

; ������� �� ������� � ���� ����� ��� ! � ��� �"����� �� ���� ��� ��� O� � � �� � � � ��� K2& &' 2') +0� /+0) +0 -%$&02/' � �� ����� � ����� ���� � ! ����"����� ! �� ��� � ���� � ��� �� ��� �� � ����� �9� � ��� �� ��� � � ���� ��� ���"����� ����� ������ � � �� ����� ���� ��� � 5��� ����� ������ � ��� ��� �� ������ � ��� ��! ���� �� ����� �� � ����� ������ � �� ����� ���� ��� � I ����� �� � ! ���� ����� ����� � ���� ����� ! ���� ���� ��� ������� ���� ��� �� �� � � � �"������� ����� �� �� ��� �� ��� ����� � ��� �� � ��� � I ����� ��� �� ������� ������� �� 0* % (+.(+G) 02/' &-#* 20%#0+-% �P� ! � � �"������� ����� ��� ����� �� �� � � -%) $&#%� (+)) -%(( �� ��� � I�� �� P O� � � �� �"����� ����� ������ ����� ��� ! � � ��� �� � �"����� �� � ����� ����� � � ���� � ����� ��� �I�� �� � �"����� ����� ���� ��� ��� � ��� ������ �� �� � ����� ���� � ����� ��� � ;� ��� �� ��� ���� ��� ���� ��� �� ��� �� � � I�� �� � � � � �� ���������� �� ����� � ����� ������ � �� ������ �� ��� �� P � � � � I�� �� � �"���������� � ���� ����� ����� � � �� � � ���� ��� �"������� �� ��� �� � � � � �

��

Page 47: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Input

Stream fragments

Spatialinformation

Voiced speech streams

Streams

Agency1monaural processing

Agency3spatial processing

Agency4speech stream segregation

Visual agency

Agency5grouping

Agency2binaural processing

Agency6grouping

Suppress/replace

Suppress/replace

Suppress/replace

O���� � �� 3 ����������� ���������

I�� �� � ��� ������� ��� ������ �� ��� �� � � �� � �� ������ �� ���� ����� ��������� � 5����� �"������� �� �� ����� ��� �� � � �� �� �������� �� ���� �"��������� � ����� ��� �� � � ��� ������ �� ��� �� � ��� �� �������� �� � � ��� ��� �� 4� �� �!� �������� ��� ����9 � ���� 8 � ��� ����� � ��� �� �������� ���� ��� �� P �� �

������ � �� � � ������� �� ��� ���������� ����������� �

� �� ����������� � � �������� ������ � ��� ������ �����

; ��� D55 ���� ����� ��� ������ ������� ! ���� �� � ������ ���� ����� ������ ������ ��� �� �������� ������� � �� ! �� �� ������ �"����� �� � ���� ���� � ; ����� ! ��� D55 ���� ��� � �� � ����� � ���� � �� ��� � ��� �� �� �� �� ��������� ���� � ��� �� ���� �� ���� ������� �� ������� �� � � ���� ���� ��� � ����9��� �� � � ��� ���� � �� � �� � � ; ��� ���� ��� ����� �� ������� ! ������ ���� � ����� ��� �� � � ������ ������ �() %#0-+G 2') +0� ��� ���� ��� �� ��� ���� �� � �� � !� � � � ���� � �������� �� ���� ��� D55 ���� : ������� � ��� � ������ ��� !NO� � 4 8 ���� ��� � ������ ! ��� �"����� ! � � ������ O����� ��� ���� ��� 3

NO� � 4 8 �� � 4� � �8 � 4� 8 � �"� 4�� � 8 � 4� �P8

����� 4� 8 ��� ��� � "���� � ��� ������� ���� �� ��� D55 ���� ���� � 7NI ������ %� 0%',%, ��FF! � � ��������� %���FF� 5��� ����� ����� ������ ���� ������ ��� � � ��� ������ ��� � ���� ���� ��� � �� ���� ��� � ������ ������� �� ��� ������ ��� � ���� ��� � �� ��� � ������ ��� �� ����9 ��� ���� ����� � �� �� �� ���� ��� � ������ ��� � ����� � � ��� ������ � �� �� �"������� � ������� � ���� ��� � � �� ��� ��� � ����� �� � � ��� � ������ ��� � �����9 �� �� �� ��� I� �� �� � ! ��� � ����� ���� � �� ���� ����� �� ���� ������ � ����� � � �� ��� ��� ���� ����� �"������� �� �� ���� ����� � ��� ! ������� � �"����� �� � ������� ���� ��� ������ ��� �� � � �� �� � �������� �

��

Page 48: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

DFT Watcher

tracer

Watcher

Watcher

Tracer

+ -

Stream

Stream

Input -nzGenerate

Generator

Subtract signal

Spectruminput

Residualinput

O���� � �� 3 ������� ������ �� ����� � � �� ����� ������ ! ���� ������ �"����� �������� � �� �� ����/#�#/ !/�#0���

O��� ��� � �� ��� � ��� ��� �� �� �������� ����� � �� � � � � ���9���� � ����� � I ���� ������� ������ � ���� � � ����� ��� � ����� � ���� ! � � � ���� � ������� �"����� � � ��� �� ������� ������ � ���� �� ! � � ��� �� ������ ��������� � ���� � �� � ��� ��������� �� ��� �� � �������� ���� � ���� �� ���������� �� ��� �� ������� � ������ �� ��� ���� ��� � ���� ������� � ���� � ��� �� �� �������� ���� ��� � � �� �� � ���� � � �� � �� � �� � ! �������� �������� � � ��� �� � � ������ � ���� � ���� ����� � � � ��� ���� �� �

5������ ���� ����� �� ��� �� �� �"��� ��� �" D55 ���� � O�� ! ��� *&-G /'2#2'0%'(201 �� 4 8 �� ��� �� � ���� � 4� 8 �� ���� � � ! ��� �� � �� � 4� �P8 ! � � 4� ��8 ������� � �P � �� ����9 ��� �� � �� �� ��! �� �� ��� ���� �� ��� � ! �� ���� &,G 2((2.$% #/G) /' %'0 ��� ��� ���� � � ����� � � � &,G 2((2.$% ) %-2/, ��� ��� ������� � ���� ���� ������� � � ����� � ������ �"����� ��� ������� �� ���� ��� ������� �� �� � ����� � ����� ���� � � ��� ��� � �� ����� � � � O�� �� ������ !&,G 2((2.$% *&-G /'2# 2'0%'(201! � �� 4 8 ��� �� � ������ 3

� �� 4 8 ���� � �� �

� � �� 4 8� � 4� ��8

� � �� 4 8 � � � �� 4 8 �� 4� ��8����� � � 4 8 � �� �� ��� ��� ����� � � ! � � � � �� ��� � �� ���� �� ��� � ������� � � ����� � � � ��� �� ���� ��� ������ �� �� �� ������� �"������� �� � � ���� � �" � �� � �� 4 8 � I�� � �� ����� � � ��� ������ � � �� � 4� ��8 ! � � 4� ��8� ����� �� ��� �"� ��������� ! ���� ��� ��� � �� � ���� ��� � �� �����

��

Page 49: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������ � � �� � ����� ��� �������� ����� ��� � ���9���� � �� � D� �� ���� ! ��� �� ������� ��������� �"����� ��� ������� � ������ ��� ���� �� ��� ���9���� � ����� � ��� ��� � �� � ���� �

I ����� � ����� � � ��� �� � &,G 2((2.$% � ��� � �� ���� �� ��� ����� � � ������ ��� � ��� �������� 4�� � 4� �� 88 ! � � � ��� �� ��� �� � ��� �� �� ��� �� ���� � � �����" � ���� � � ��� ���� 4�� � 4� ��88 � ��� ����� � ����� ��� � ��� ������ ���� ���� �

� � �� 4 8 � � � NO� � 44� � P8 8 �� 4� � �P�8 � 4� ��8� �� �� � � �� � �� � 4� � ���8 � 4� ��8

����� � �� �� � � � � �� ��� ��� ������ � ���������� ����� 3P� ���� ����� � ������ � � ���� ���� ������� ��� ��� � ������ �� �� ����� �� ���� ��� ��� ����� � ����� � � �� ���� � � 4 � � �� � � � � � � �� 4� � P8 � � 8 � � ���� ������ ��� ! NO� � 4 8 ! ���� �� �� � 4 P�8 ��� ���� � ! ���� �� � � ������ ��� ����� �� �� � � � O�� �� ��� ��� ! ���� ��� � � �� �"����� �� ���� ��������� �� �� ����9 � � ������ ���9 ��� NO�� 4 8 � � ����� � ����� � �� ������ 34�8 � � � �� ����� �� ��� � ��� ������ �� ���� � �"� �� ��� �� �� ��� � ���

���� � ��9 ��� �� ���� ����� � ����� � � � �� ��� �� ��� ���� ������ � ��� �� ���� ��� ������ �� �� ��� ������ ���� � � ;� ����� ��� ���� ���� ���9 ��� � ����� � ����� � � ! ���� ����� �� ��� ������� ���� �

4�8 � ��� �� � ��� ��� � ��9� ��� ��� � ��9 � � ����� � ����� � � ! ��� ��� ��������9 ��� � ��9 �"���� � ���� � ��9 ! �"���� ��� ��� ������ ���� ������� � � � ����� � ����� � � 4�� � ��98 �� ��� ������ ���� � �� � �� � ��� ���� ���� ����� �� ��� � �� ���� �� ���� � ��9 �

� � ��� ! �� �� ������ �� � ��� ������ �� �� ��� ����9�� � ��9 ��� ��� ��� ����� ������ � � � ����� � ����9�� � ��9 ��� ��� ��� ����� � ����� � � � � ����� � !�� �� ��� ���� � � ����� �� �� � ��� ���� �� ����� �� ���� ��� ������ ���� � O ����! � � �� ���������� � ��� � �� ����� �� � NO� � 4 �� �� 8 �! 4� � � � � � � � � � � � �4�� P8 � � 8 ! � � � �� �� ���������� � ��� ���� �� �� � NO��� � 4 ��� � �� 8�NO� � 4 �� �� 8 �!4� � � � � � � � � � � � � 4� � �8 � � 8 �

� � 0- �! 0-��

C� � ���� ������� ��� ������ ��� �� ������ � ���� ���� ������� �� � �� ������ �� ���� 4�� ��� �� � � ���8 � � ������ �� �� ������� � �� ����� ������ ! ���� �� ��� � ��� ������ �� ��� ���� ! ������ �� ���� ������ ��� �

�� ������� �������� ��� ��� ������ � �� ��� ��� ����� 3P� � �� 4 8��� 4 8 4 � �P8 ! � �

��

Page 50: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� � ����� � ����� � ��9 ��� ������ �� ��� ������ � �� !����� ��� ������ �� ���� � �"� �� � �� 4 8 � �� ��� ���� � � � ��� ��� ����� ����������� ! ��� ���� ������� ���� ��� ��� � �"��� � �� 4 8 �� ����� � �� ������ �

� "��� �! 0-��

��� �� ������� �� ����� � �� ������ ��� � ������ � �� � �� � 5� ��������! ��� ����� ��� �� ������ ��� ��� � ���� �� ��� ��� � �� �"���� � ��� ����������� � ��� ��� ��� � ���� � � � ���� ������� �������� � ; ��� ����� � ����� � ����� ! � � �" ��� �� � � �� ������ �� ������ �

� !�'"#�0� �!0��

��� ��� �� ����� � ������ ���� � ��� �� ���� ��� ���� �� ���� �"���� ��� ��������� � � �� ��� ��� ��� ����� � � � � ��� � ������ ������� � �� �� ��� ���� �� �I ����� � ������ ���� ��� ��� �� ���� ��� ������ �� ���� � ���� ������� ��� � �� ������ � I� ���� ������ ��� ! ���� ���� � � ������ �"����� ��� �� ���� ��������� �� ���� � �"� �� ��� ��� � �� ���� � � �� ��! � �� 4 8 � ;� ��� ��������� ���� �� ���� � � ��� ���� �� ���� ����� � ����� � � �� ������� � ��� ������� ������ � ��� ���� �� ���� 4 8 � ;� ������ ������� � �� � �������� �� ����� � ��� ������ � ����� � ����� � � �� ��� ���� �� ��� �"� ��� ���� � ! � � ������� � � ���� ��� � � ������� � �� �� ��� ������ � �� � ����� �������� � ��� �� ���� ��������� ��� ;� ����� ��� � �� ��� � � ��� � �� ����� � � ! �� � ��� � �� ���� �� ����� ��� � ��� ����� � � ���� � ���� � ����� �������� ����� ! � ���� ��� ���� �

� "��� �!0��

��� �� ������ �������� ��� ���� �� ����� �� � �� �� ��� ������� � ��������� ���� �PP � ;� ��������� ��� �� � ������� �� ��� � ������ ��� ���� ! �� 4 8 ! ��������� ��� ��� � ��� ��� ��� � ���� �

�� 4 8 P�� ����

NO�� 4 8 � 4� ��8

����� � � �� �� ���� � ��� � ��� ��� � ���� � � � ��� ����� �� ���� � � ��� �� ������ � � ������� � �� �� ����� ��� � �� ��� �� ��� � ������ ��� ���� �� �� � ������ ������ � � ������ ������� � �� ! � ��� ��� ��� � �� ���� �� ����� � � ����� � � �� ���� ������ �� �� ������� � ��� � �� ����� � ��� � �� ������ ���� ���� � � ����� � � ! �� ��� � � �� 4 8 �� � � �� ! � ����� � ������ 3

� � �� 4 8 � � � �� 4 8 � � �� 44� � P8 8 � 4� ��8��� ������� � �� �� ��� �� ������ ����� � ��� �� ������ ���� �� ���� � � ������������ � � � �9� ����� � ������ ����� � ������ � ������ � �� � ��� �������� ��������� ��� ������� � ������ ��� ���� ��� � �� � �� � ����� � � �������

Page 51: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

100

200

300

1 2

O� ��� � ��� ������ �� �

4��8O���� � �� 3 O� ���� ��� ������ �� ������ �� ��� � � ��� ��9 �� � 3 � � : ����������� �� 4����� �����8 � � ���� : ����� ������ �� 4����� �����8 �

����� � �P3 567 �� � � : ����� ������ �� �� ����� �� � � � ��� ��9 � "����D� �����9 C� : ���� : � ���� "���� ���� ���� ���� P � � P�� �D �

��� � � P�� �D P� �D��� � � P�� �D � �D��� � � P�� �D � �D��� � � P�� �D �� �� �D

� �� ! � � � ��� �"����� ��� ������� � ������ ��� ���� ��� � ���� �� � � ���� �������� � � ��� �� ��� �� ����� � ;� ���� ��� ���� ��� ��� ������� � �� ��������� � �� ���� ���� � ���� � ����� �������� �

� �� �� �9!*%! �"#

�9!*%! �"#� "+ -!�'"#�0�&!��( ��/��/! �"# !/�#03

��� ������� � �� �� ��� ���� ��������� �� � � � � "���� �� � � � : ����� ������� �� � � � ���� : ����� ������ �� ! ���� �� � ��� ���� �� ����� ���������� �O ���� � �� ��� ��� �� ��� � ��� ������ �� ������ �� ��� � ����� � ��� ����� ����� ���� �� ��� ��� � : ����� � ���� � � ��� ����� � � �� ��� � � : ����� � ���� ������ ��� ������ ����� �� ��� � ��� ������ �� ����� ��� �� ��� � ��� ������ �� ����� ���� : ���� ���� �� ���� �� ��� ��� � ����� � ����� � � �� ��� � � : ���� !� � ����� ��� � � � ����� ������ � � O��� ����� �� �� � "�� �� � ���� ��� ����� ��� � �<��� � � ���� ����� �� ���� �� 4�� ����� � �P8 � 5�� � ���� ��� ��

��

Page 52: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

50

100

150

200

250

300

1 2

O� ��� � ��� ������ �� �

4��84�8 �� ��� D55 ����

0

50

100

150

200

250

300

1 2

O� ��� � ��� ������ �� �

4��84� 8 �� ��� �" D55 ���� ���� � 7NI

O���� � �� 3 ��������� �� � H������ �� �� ���� ��� ������ �� ������ �� ����� ��������� ���� �� �� ���9 � "���� �� P�

��� ���� �� ���� ���� � �� � 4���� ���� � ����� ! � ���� ���� � ��� ! � �� � ��� �� ��� 8 �

�5)���' �# ���

��� � �� �"� ��� � � �������� ��� �" D55 ���� ���� � ��� ���������� ������������ � � ��� D55 ���� � O���� � �� ��� �� ���� ��� ������ �� ������ �� ����� ��������� ���� �� �����9 � "���� �� P �� ���� ���� � � �� ��� ���� � � ������ ������ ������ ��� ���� ��� ���� � � ��� � ����� � �� ����� � � ��� ����� �� � !�� ����� � ������ ���� �� ������ ��� D55 ���� � ; O� � � �� 4�8 ! � ���� : ����������� �� ��������� � � � ����� ! ���� � � � : ����� ������ �� ��������� � ����� ������ ����� � ��� �������� ���� ������� �� � � �������� ���� ��� ��� �" D55 ���� �

�P

Page 53: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

100

200

300

0 1 2 3 4

O� ��� � ��� ������ �� �

4��84�8 � ����� �� ������

0

100

200

300

0 1 2 3 4

O� ��� � ��� ������ �� �

4��84� 8 � �� �� ������

O���� � �� 3 ��������� �� � �� ��� � ��� ������ �� ������ �� ��������� �����

�5)���' �# ���

��� ��� � �"���� � � ��������� ��� �� ������ �� � � � � �����9 � "���� ��� ���� ��� ���� �� � ���� �� ��� ��� � ���� ��� � � : ������ �� ����� � C����������! ��� � � �����9 � �� �� �� �� � �� ���� �� � � ��� � ��� � ������ ��� ��9 ��� � � �� �� �������� �� � �� ���� � �� � ��9 � � ����� ��� �� ������ !� � � ������ ���� �� ������ ��� ��� � �� � � � ����� � �������� ��� ���� �� !� � ��� ���� : ����� ������ �� ����� �� � � ��������� ���� � ��� ������ �� ������������ ����� �� ��� � � : ����� ������ �� �� ��� ���� � � �� ��� �� ������ !��� � � : � � ��� ��� � : ����� ������ �� ���� ���� ��������� ! �������� ������ ��������� ���� ��� ��������� � O��� ����� � ������ ���� �� ������ ��� ���� �������������� ��� ����� ����� �� ���� � � ������ �� ������ � �� � � � ����� ��� �� ������ ���� ��� ������� P� � � �� ��� �" D55 ���� � ; ��� D55 ���� !

��

Page 54: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� � �� 3 ��������� � �� � � 5� ������ ������ ������� ��� �� �� ������ �� � ����� � �� � "�� �� � �� ��������� �� � � �� ���� �� ��� ��� �� �� � �

D� �����9 H������� � �� C� : ��� �� ���� ��� � : ��� �� ������ P C "�� �� � P� �� �D P� �� �D

5��������� �� � � �� �D � �� �D��� C"�� �� � �P�� �D �� � �D

� ����� �� ������ P� � �D P� �P �D� �� �� ������ PP�� �D P� �P �D

��� C"�� �� � � P�� �D �� �� �D� ����� �� ������ �� �� �D P� �� �D� �� �� ������ P� �� �D P� �� �D

��� C"�� �� � �� � �D �P�� �D� ����� �� ������ �� �� �D �� �� �D� �� �� ������ �� �� �D �� �� �D

��� ����� ����� �� ���� � � ������ �� ������ � �� � � � ����� ��� �� ������ ������� ������� �� � � ��� � ��� �" D55 ���� �<������� ������ ��� ����� �� ����� ������� �

�5)���' �# ���

��� ����� �� ��� ���� �"���� � � ! ������� � ��� ������ �� ��������� �� � ����� � �� ������ �� � ������ � ����� � � ���� ����� ! ��� ��� ����� � �� � � � �� � 5� ������� ����� ��� ����� ���� �� ��� ����� ��� �� � � ����� � � � ���������� ���� �� ��� ������� ��� �� ��P � D� �����9 � "���� �� P �� ��� ���� ��� ��� ������� ���� � ������ ������ � ��� � �� �� �� ���� 45678 �� ���� �� �� ��� � � :����� ������ �� �� ���� � � �����9 � "���� �� ��� ���� P� �� �� �� �D � � �� ��� �������� ! ��� � ������ ������ ��� ���� ��������� �� � �� ������� �� �� ��� ���� �

��� ���� ����� ! �� ����� �� �� ��� � ��� ������ ��! �� ��� ��������� �� � ������������� �� � � ��� ��� � � �����9 � "���� ����� � �P � � �� ����� �� ���� ��������� �� � � �� �� �����9 � "���� ��� ! ��� � � : ����� ������ �� ���� ������������ ������ ��� ���� ��������� ���� �� �����9 � "���� �� P 4� ����� ��8 � ������� ����� � ����� ��� �� ������ �� � ��� ��� ��� �� ����� �� ��� ! ��� ��� ����� ������ � ��� �� ����� ������ � ���� �"���� � ��� �������� ����� ���� ��� �� ������ �<����� ����� � ��� ������ �� ��������� ����� �

��

Page 55: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

1st speaker 2nd speakerAudio speaker

30 30

Prince Shotoku Computer

Speech stream segregation

Automatic speech recognition (ASR)ASR ASR

(Dummy-head microphone)

O���� � �� 3 �"����� �� ����� ���� � ������ � ������ � ����� �� � ����� �

��

Page 56: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� � �� 3 ��������� � �� � � H������ �� �� ��� � ��� ������ �� �� ���������� � ��� �� �� � �

D� �����9 H������� � �� C� : ���� ��� � : ������ P 5��������� �� � � ��P � � �� P ���� � ����� �� ������ � �� � � ��� �

� �� �� ������ � ��� � � �� P ���� � ����� �� ������ � ��� � � ��P �

� �� �� ������ � ��� � � ��� ���� � ����� �� ������ P��� � � � � �

� �� �� ������ P��� � � �� ���� � ����� �� ������ � ��� � P�� �

� �� �� ������ P��� � P��� �

� �� ����� ������ ����������� ����� �������� ���������� ��� ����� ������ � ���������

� �� �� 1��%�� �# -!�'"#�0 � ��!' ��/��/! �"# %��#/ *" 0!*��! �"#

�� ���� ����� � � 7NI ���� ������ ��� ������� � � ���� ����� ���� � � ������ �� � � "���� �� � � ��� ���� � � �������� � � ������ ���� ��� ��� ! �� �I � ����� �� � ������� �� ��� ��� � �� ���� ��� �������� �� � ����� ����� ������ � � ��� O� � � �� � D ����� �� � �� ��� � � �������� �� �� ����� ���� * %&, -%$&0%, 0-&'(� %- � +' #02/' 4�L�� 8 �� � ����� ���� �� � �� ����� � �� � ; ��������� ���� ��� � ����� ��� � �� ! 2'0%-&+-&$ 02G % ,2B %-%' #% 4� �M 8 � � 2'0%-&+-&$2'0%'(201 ,2B %-%' #% 4��M 8! ��� � ����� � 9�� �� �� ���� � �� � ����� ��� � ������� � ����� �������� �

��� � ����� ����� �������� ���� � �� ��� 7NI �� � �� ��� 9 � �� ��� �� !��� .2'&+-&$ ��FF 4� 2��FF 8 &� %' #1 ! � � ��� .2'&+-&$ �-/+) 2'� 4� 2J� -/+) 2'� 8 &� %' #14O� � � ��8 � ��� D D55 ��� �� �������� ����� ������ � ! � � ��� D������ � ��� ���������� ����� �� ����� � ���� ������ � � I ����� ������ � � ����� � �� ����� �� � �� ���� ��� � �� � � � ����� � ���� � 5��� �� � ����� ���������� � ��� ����� � ����� ���� ����� � ����� ������ � ����� ���� ��� ����O�� �"����� ! � ���� �� �� ����� � ���� ������ � ���� ��� � �� � ����� � ���������� ��� �� � ����� ! � ������ �� ����� ����� ������ � ���� ����������� � �� ��� �� �� � �������� �� ��� �� � ����� � ���� ���9 � ������ 3

� ��� D D55 ��� �� ������ � � ����� ��� � � ������ ����� ������ � � ������� ����9 ��� �� � ����� ��� � � �� � �������� �� � ���� � � �������� � � ����� � ����� ������ �� �"����� �� � ����� ������ � � ������ ������ ���������� ��� ���������� �� ���� ���� �� � ������ �� ����� �

� ��� D������ � ��� �� ������ ����� ����� � � ��������� �� ��� D D55 ��� ��� � ���� ����� ����� ���� �� �������� �� � ����� ������ � �� �� �� ��

��

Page 57: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Bi-HBSS Bi-Grouping

StreamfragmentsInput Streams

O���� � �� 3 � �� �� ����� ��� � ������ �� ������

��� �� ���� ��� ������ �� � � �� � ����� ������ � ������ ��� D ������ ���� �� �"������� ���� ���� ����� ����� � � �� ����� � ��� � ��� �� ������������ �� ��� D D55 ��� ���

��� ����� ��� ��� �� ��� ��� �� � ���� ���� �������� ����� ! �� ����� ����� � � ! ���� � ����� �� �� ������� ��� ��� ������� � ����� � � �� �� � ��� ���������� � ��� D D55 ��� �� �"����� ����� ����� � � ! ���� ��� D ������ � ��� ������� ��� �"������� ������ � �� ����� ���� ��� D D55 ��� �� ���� � �� ��� �� ����� �� �� �� ����� ����� � � ! ���� ��� D ������ � ��� �� ���� � �� ��� � ��� ������������ �� � ����� ���� � D����� ��� D������ � ��� �� �� ���� � ��� ������ ����� ��� ��� ��� D D55 ! ��� D ������ � ��� �� �� � � �"� ����� �� �"����� ��� ��������������� �� ����� ����� � � � ��� ����� ��� ��� D D55 � 5��� ���� ��� ��� ���� �� � ����� ������ �� � �� � ����� ��� ���9 ���� ��� D ������ � ��� �� ����� D D55 ��� �� �� ����� ���� ����� �������� �� � ���� � I � ����� ! ��� ������������� �������� �� ���� ����� ����� � � ���� ����� � � ����� � � �

� �� �� � !�'"#�0 +�!/'�# ��/��/! �"# &!��( "# �2

��� ��� ������ ��� ������� � � ���� � � ������ � �� � � �� ��� �� ���� ��� 3 P8� � � �� ���� ������ � ! �8 ����9 � ���� �� ���� ��� ������ �� ! �8 �"����� ����� �������� ! � � �8 ������ � ���� � � � ���� 9 � �� �������� ��� ���� � �� ��� � � � ����� ������ ����� �������� ������ �P ! �� ! �� ! � � � �� ����� ����� ��� ������ �� �������� ���� � ������� � ��� ����� � �� ��� �� ���� ��������� �� � ��� �������� ������� � �� ���� � �� � � ��� �� ���� ��� ������ ����� ������� �"������� ! ������ � � ������� ����������� � ������ ! ��� �� �� �� ��� ����� ��� ����9 � �� ���� ��� ������ �� ��� �� ����� ��� ��� �� � ��� ����� ������ ���� �� ��� � ��� ������ �� ���� �� ���� ����� � �� �� � �� � ���� ���������� ����� � ���� ������ � �������� �

; �� ���� ! �� ���� � �� ������� ! � � �� ������ ���� ��� �� ���� � ���� �� ���� ��� � ������ 3

��� �� ���� ��� ������ �� �� ���� ����� � ����� � � ���������� ���� �������� ��� � � � �� ���� � � ����� � � ��� � ���� ��� �� � ������ � ��� ������ � �

��� ��� �� ���� ��� ������ �� �� ��� ������ ���� � � ����� � � �� �� ���������� � ������ � � � ������� �<����� �� ����� �� � ���� ��� � ���� �<��� � ������ � I ������ ! ��� ���� �� �� ���� ��� ������ �� ������ � ��� ������� �

��

Page 58: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Bi-Harmonics tracer

GeneratorInput+

-

Stream

Stream

Subtract signal

Bi-Harmonics tracer

O���� � � 3 � �� �� ��������

� !�'"#�0��&!��( *" 0!*�� �#/ !/�#03

O�� ! �� �"��� ����� ��� ��� �� ����� D55 ��� �� �� � � �"�� ��� �� ��� � �����D D55 ��� ��� ��� ! � �� ���� ����� �� �������� �� ������ � ��� ��� ��� �� ��" ! �� ��� ��� ���� �� ���� ��� �� � ��� ������� �"��� ��� �� ��� � ����� �� ������ �������� ������ ����� ������� � �� �� �

O ���� � � ��� ��� �������� �� ��� D D55 ��� ��� ��� D D55 ��� �� ������������� ������ � ������ � �� ��� �� ���� ��� ������ ��! �� �� � � ���� ����� ������ � � ����� � � ! � � �� � ����� ������ � ����� ��� ��� 9 � �� ��� � ! � D ����� � � ��������� ������ � � D����� � � ������ � ��� D ����� � � ��������� ������� � �� ����� � � �� ����� D ������ � ������ � D ����� � � ������ ����9 �������� �

H������� � �� ��� D55 ��� ��! ��� D D55 ��� �� �"�� ��� �� ��� � � �� � ������ ��� � � �� ���� � D ����� � � ������ �� �"����� ����� ������ ���� ��� � � �� ������ �� �� �� ��� ������� � ����� ����� � � � ���� ��� � �� � ��� ��� �� ��� � ���� �"����� ��� ����� � �������� � � � ����� ��� � ���� ����� ��� �������� ���� ��� 4O� � � �P� � � � �PP8 � I ����� � �"����� � ��� � ���9 ��� ���� �� ��� � ��� � ��� �� ���� �� ��� D55 ��� ��! � � ��� ����� �� � ��� ��� ����� �������� ���� ��� ��� � ��� �� � ����� ������ �

� ��-!�'"#�0� �!0���/�#��! "�

��� D������ � ��������� ������ ��� �� � � �� �� D �������� ��� � � I D���������� � �� � ��� �� ����� � ������� ��� � � � � �������� ����� ��� ��� �4O� � � �P�8 � I ���� � � ������� ��� � � ��� �� � ���� ������� D55 � I����� ������ ��� ! � ������ � �� ���� � � ����� ���� �� ���� ��� ������ �� � �� ������ �� ���� 4����� �� � � ���8 � ��� �������� ����� ��� ��� ��"����� � �� ��� � ��� ������ �� � � � ����� ���� ����� � ������� ��� � �� ���� ����� � �� ��� � ��� ������ ��� I D�������� �������� ��� � ������ � �� ����� �

��

Page 59: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Harmonicsdetection

Fundamental frequencyextraction

Harmonicsdetection

Left input Right input

Interauralcoordination

O���� � �P� 3 � ���� �� ��������

Harmonicsextraction

Fundamental frequencyand direction extraction

Harmonicsextraction

- -

Left input Right input

Left stream Right stream

Subt

ract

sig

nal Subtract signal

Interauralcoordination

O���� � �PP3 � � ��� ��� ����� ��������

����� � � ���� � ��� � ��� �� ��� � ! � ����� ��� ������� � �� �� ! �� ���� � � �� ��� ��� 4���� �� ����8 ��� �� �

� ��-!�'"#�0� �!0��

I D������ � ������ �� � �� � ��� �� ����� � �"������ ��� � � � � ������������� ��� ��� � 4O� � � �PP8 � I ����� � �"������ ��� � � ��� �� � ���� � ������� D55 � ��� �������� ����� ��� ��� � ����� ���� ���� � � �"������ ��� ��� ���� ��� ��� �� ���� ��� ������ �� � � �� ����� ������ ���� ��� �

I D����� � � ������ ���� ��� ��� �� ��� � ��� ������ �� ���� � D����������� � �� ������ � I� ���� ������ ��� ! ���� D������ � ������ �"����� ��� �� ����� ��� ������ �� ���� � �" � �� ��� ��� � �� ����� � �� ��! 4�� �� �P�8 ���� D����� � � ������ ��� ��������� ��� �� �� � � ��� ���� �� ���� ���� � � ����� � � ���� ��� �� �� ������� � ��� ������� ����� � � ��� ���� �� �

��� �� 4 8 � D ������ ������� ������ ������� � �� � �������� �� ����� � ��� ���� �� � ����� � ��� ��� � � �� ��� ���� �� ��� �"� ��� ���� � � ;� ������� � � �� �� ��� � � �������� �� �� ��� ������ � �� � ����� �������� � ��� �� ��� � ��� ������ ��� ;� ����� ���

��

Page 60: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �� ��� ��� � �� ����� � � ! �� � ��� �� �� �� ��� �� ��� � ��� ����� � � ����� ���� � �������� ����� ! � ���� ��� ���� �

���� D����� � � ������ ��� �"����� ��� ������ ���� ��� ��� � �������������� ������ � ������ � �� �������� �� � �<��� �� 4;�N 8! � � ��� �������� �� ��� �<��� �� 4; ;N 8 �� �� ���� ���� � � ����� � � �� ���� ���� � �� � � �� ������������ ������ ! � D ����� � � ������ �� � ,2-%#02/' * 2(0/� -&G ��� � I ������ ������� � ������ ����� ! ���� ���� � � �� ���� ������ � � ������ �� ����� ! � 4� � � � �8 !�� ��� ����� ������ � ��� ���� � � �� �� � ��� � �"��� ����� ��� ������ �������� ������ � ��� ����� ������ �� ���� ���� � �� � � I D������ � ������ � ������9 ��� ;�N � � ;;N 4�� �� � 4� ��� 8 � � 4� ���88 ��� ���� ���� � � ����� � � � ;� ���������� ���� ��� ��� 9��� ����� � ����� � � � ������ � ������ �� ����� � ! ���D ����� � � ������ ��� ��� �� �� �� ��� ����� � ����� � � ���� ��� ��4� �� � �

��� �� 4 8 �8 �� ��� ���� � � �� ��� ������ ������� ������� � � �� � � C������ � � ��� � ���� ��� �� � ������ ��� ������ ����� �� ��� �� � ���� � � ����� ������ ������� ! � � ! � � ����� ! ��� ������ ���� � � �� ��� ����� ����� � �� ���� � ��� � �" ��� ����� �

��� ������ �� � �� � ����� �"������� ���� � �� � � "���� �� ����� ����� ���� ������ ���� � ��9� � ����� � D ������ � ������ �<����� �� ��� ������� � ����� ������ � � ��������� ! ��� �"������� ������ �� ����� ������� � � ����� ������ �� ����� ������ � � ����� ����� ! ����� � ������ �� � �� ����� ��� �� �� 4���� ! �� � 4� ��8 � � 4� �P�88 ��� ������ � ��� ��� ���� �� ����� ������ � � � � �� ��� �"������� ������ �� � ����� ������ � �� � �� ��� �� ��� � ������� �������� 4 � ���� ��8 ! ��� ������ ������ �� � � ����� � � ��� � � �� ������ �������� ���� � � �� ��� �"������� ������ ��� �� �� ����� ! � ��� ������� � � �� �� �� 4�� � 4� ��8 � � 4� �P�88 � � ��� ������ �� �� �� 4�� � 4� ���8� � 4� ���88 ��� ��� ������ � ��� ��� � ��� �� ���� � � ����� � � �

� �� �� �-�"�3 "+ &�#!%�!* -!�'"#�0 +�!/'�# ��/��/! �"#

��� �������� � ����� ����� �� ���� �� ��� ������ � ������ � ��� ����� �� ����� � � ������ � �� ���� � �� � � !

� ��� 4� 8 ���� ���� �� � 4� � �8 4 � �� � � � ��� �� 8 � 4� ��8

����� ��� 4� 8 ��� �������� �� ��� �� �� �� �� � � ! � � � ��� �� ! � �� ! � � � ��� �� ! ��� �������!��� ��� �������� ! ������ ��! � � ��� ���� �� ��� � ��� ���� � � ����� � � �� �������� � � � O�� � � ����� ��� ! �� ���� �� ���� 4� �� �8 � ; �� ����� ! ��� �������� ������ ����� � ����� ��������� �� �� ��� � ��������� �� ������ ��� �

; �� ���� ����9 ! ��� �� ��� � ��� ������ �� � �� �� � ����� � ����� � � �� �������� � �� � � ���������� �� ���� � � ��� ������ �� ���� � �"� �� ��� �� ���� 4 8 �� ��� ������ � 3

�� 4 8 ������� � �

��� �� 4 8 �� � 4� � 8

���� �� 4 8 �� � 4� � �8 �

�� 4� 8 � �"� 4�� 4� � P8 � 8 � 4� �P�8

Page 61: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

����� �� 4� 8 � ��� � �� � I ����� ��� ������ ���� ! ���� ������ ������� �� 4� 8 ���� ������ � �� � 4� 8 �� ��� � � ������� � �� � � 4� 8 � ������ 3 �� 4� 8 � 4� 8 � � � 4� 8 � 4� �PP8

���� ��� �� ������ �� � 4� 8 � � ��� � �� � ��� ������ �� ���� ��� � ��� � ��� ����� �� � ����� � ��������� ! ���� �<��� �� ������ �� �� � � �� ������ �

1# �/�! �"# '� -"(

��� �� ���� ��� ������ �� �"������� �� �� � 4� � 8 �� ��� � ����� � � � ����� ��� ��� �� ���� ��� ������ �� ��� ���� �� ���� ����� ! � � � �� �� ������� � �� �� � �� � ����� � � � ����� � ����� � � �� �<��� � ������ � ���� ������� � �� �� "���� ! � � ���� �������� �� ��� � ���� � ����� ��� �� � �� � 4� � 8 �

; ��� � ����� ����� �� ���� ! ��� ����� ��� ������ �� �"���� � ���� � � ������ � � ���� ��� ������� ��� ��� �� ��� ����� �� � ���� �� � 4� � 8 � O�� �� ������ !��� �� ���� �� &,G 2((2.$% #/G) /' %'0( �� � ����� � ������ � �������� � I ��� �� �� ����� � � � ����� � ����� � � ���� ������ �� � � ������ �������� �� �� �� � �� � �� ���� �� ��� ����� � ������ � � ��������� ! � �� �"������ �� � �������� �<����� �� ��� ����� ���� � � �� � ���� ���� �<��� � �������� � I�� � ������� � � ��� ��� �� �"����� ������� ���� ��� � �� ���� ����� � �� � �

��� ������ � �� ��� � ��� �������� �� �"�� � ��� ��� � ��� �� ���� ����� ������ � � �

P� ����� � �� ��� � !� � � ����� �� ��� � !� � � ����� �� ��� � ! � �� � �� �� � �� ��� � �

���� � ����� � � ���� ���� ��� ���� �� ��� � ��� ������ � ��� � �� � D���� ��� � �� ����� � � ! ��� �� ��� � ��� ������ �� �"������� � � �� � 4� �P�8 ������ �� � 4� � 8 � � �� 4 8 �

���

� ��� �� �� ��� � �� � ���� �� 4 8 �� � 4� �P�8

����� � ��� �� ��� �� �� ��� ��� ����� � � �� ��� ����� � � �� !�'"#�0 0"#� �!�#

I ����� � �� ��� � ��� �� ���� ���� ������ �� ���9 ���� ���� ����� � ������ ���� � ���� � � ������ � �

��

Page 62: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� � �� ��� � ��� ����� � �� �� ���� � � ������ � � 4� P � � 8 � � � ����9���� ���� � �� � � � ��� ! ���� ����� � ������ ����� ������ ����� � ����� � � �� ����� � � ������ � � ��� � �� � ���� ���� �� � 4� �P�8 �� ��� ������ ���� � �� � �

� ������ � �� 4 8 �� � � NO�

����� � 44� � P8 8 �� 4� � �P�8� � 4� �P�8 ��� NO� ����� � 44� � P8 8 ��� ������ O����� ��� ���� ��� �� ��� ��� �� � � "������ ������ �� 4� � P8 � �� �� ��� � �<����� ��� �"���� � �������� ����� ���� ����� ��� � ��� ������ �� �"������ � ��� ! ��� ��� � � ����� � � ��� ������ ���� � ��� ��� �� � � "���� ! �� ��� NO� ��

� 4 8 4� � � � � � � � � �� � � 4� � P8 � 8 � ��� � ������� � � ����� � � ��� �� � ��� � �� � �� ��� ��� �� ��� ����� � �� ��� ��� ���� � �� � � � ����� � ������ �� ���9 �� ��� ������ �� � �� �� ��� ����� � �4�� � 4� �P�88 ! � � � � �� ��� ��� � �� ��� �� ��� � ��� ������ �� � �� ����� ��� �� � ����� � 4�� � 4� �P�88 �

� NO���

� 4� �� 8 � � � NO���

� 4 8 � ��� � � �� �� � � � �� � 4� �P�84� � P8 4P � �

�8 � � �� � �� � 4� � P8 4P � �

�8 � 4�

� � ���8 � 4� �P�8

����� �� � � � � ����� ��� ������ �� ���� ������ � � 4 � P� �8�

� ���0 �"# 0"#� �!�#

I ������ �� ��� � �"�� � ������� ��� ����� � � ��� � ���� ��� ��� ������ � ��� ���� � � ����� � � � �� �� ��� � ����� ��� ��� � ��� ����9 �� ��������� ��� �� ���� ��� ������ �� �� ��� ���� � � ������ � ��� ���� �� ���� ����� �

I ����� � ����� � � �� � ����� � ������ � ��� �� � ��� � �� � �� ��� ����� ��� ������ �� ��� � �� ���� � � 4� � � � � � � � � �� � � 4� � P8 � 8 � � ���� ��������� � ��������

��� 4� � � 8 � � 4� � � 8 � � �� � 4� �P�8����� �� 4� � � 8 � � � 4� � � 8 ��� ��� ������ �� ��� ���� ����� � ����� � �� � ��� ����� � ����� � � �� ��� ������ ���� � �� � ! � � �� 4 � ��� � ! � ��� 8 ��������� ����� �

6*"&!* 0"#� �!�#

I ������ �� ��� � �"�� � ��� �"����� ���� ���� �� � ��� ��� ����� � � �� ����� � � ������ � � ��� �� ��� � ����� �� � ������ 3

� NO� ��

� 4� �� 8 � � ��� NO� ��

� 4� �� 8 � � ��� � � � 4� �P�8����� NO� ��

� 4� �� 8 � ������ �� ���9 ��� ��� � "���� ������ � � � �� ��� � ������� � � ����� � � �� ��� ����� � ����� � � � � � ! � � � ��� �� �� � � �� ����������� ��� ��� ����� � � �� ������ � � � � � ! ��� ��������

�6�� A�2��8 "� �����!��8�8 8��? !��8� �8�� "� !�� ������! "1�2�1 ��!�!"�� E

� P

Page 63: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�3#!' �0 0"#� �!�#

I �� �� � �� ��� � �������� �� �"�� � ��� � ������ �� � ��� �� ����� ������ � � � I ���� � � ������ � ��� �� � �� �� ����� ��� � �� � � ���� ��������� � �� ��� � �

� ��� ����� � � ������ � �������� ��� � �� ��� � � ����� � ���� �� �� � 4���8!

� ��� �� �� �� ��� ����� � � ���� � ������ ���������� ��� � ���� 4�� � � ��8 ���� ����� � �� ��� ��� �� ������ �"�� �� ����� �� �� ��� � ����� ������ � � � � ����� �� �� � 4�� ������� � �� ��� �����8 �

����,0! �"# "+ !(' ����& *� 0"')"#�# �

�� �"�� � ��� ��� ��� �� ��� � �� � ����� � ������ � �� ���� � �� � � ! � ������� � ��� �� ����9 ��� ������ � � �� � ���� � ����� �� ���� ���� � �� � � �� ����9 � ���� ������ ) -%0-&#?2'� � I � ���� � ����� ����� ������ ����� � ��� ��� � "���� ����� �� ����� ��� �� �� � ��� ���� �� ��� � �

O�� �������9 � ! ��� ����� � ! � ����� ! � � ������ �� ��� � ��� ��� �� �������9��� � �� ���� � � ����� � � � � ��� �� �� � �� ��� � ��� �� ����� ��� ��������9 � � ��� �������� ��������� � ������ 3

P� ��� �� ����� �� ���� ��� ������ ��! � �� ! �� ���� ����� � � � �� � ���� � � ����� �� �� ����� � ��� ���� � �"� �� ��� 4 8 ��� ������ �� ���� ������ ���� ��� � �� �� ��� ������ ���� � �� � ���� 4 8 ��� �

��� ��� �� � ��� � ��� �� � �NO� ��

� 4� 8 �� � 4� �P�8

����� ���� 4 8 � �� �� ���� � � ����� � � ���� ���� ����� � � � ������ �� ��� � � � ���� ��� �� � ��9�� � �������� ��� � �� � �� ��� ��� �� ���

������ � ��� ��� �� ���� ��� ������ �� ��� �� �� � � �� � ��� ������ �� ��� � ������ � ��� ��� ����� � � �� �� ���� � �� � � ���� �

����� � � �� �� ����� ���� �� �� ��� � ! ���� ! �� � ����� � � ��������� � ��� � �� ��� ��� �� ���� ���� � � ������ � � �� ��� ��� �� ��� ������ � � � ������ �� ��� � � 5��� ����� � � ��� �������� �� ���� � #/'� 2#02'�#/G)/' %'0( � � ��� ������ � #/'� 2#02'� � -&�G %'0(�

� � ;� ����� ��� � � �� � �� � ����� � � ! ���� � � � ��9�� � �������� ��� � ��� �� ��� ��� �� ��� ����� � � �"���� ��� ��� � � ���� � �� ���� �� ��� ���������� � �� � ��� ����� �� ��� � �� ���� �� �� ���� � ! � � ��� P � � � ����"������ ��� �� ��� �� � ���� � �� � � � ����� � ! ��� P � � � ��� �"������ ����� �"� ���� � �� � �

� � ��� ����� ����� ��� ��� ��� ����� ���� ���� � � � ��� ���� � �� � ���� �������� � � � �� � ���� � ����� � ��� ! ��� �� �� � �� ��� � ������ ��� ������� �� �������9 � �

��

Page 64: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �/�##�#/ !#( �#( "+ -!�'"#�0 +�!/'�# �

I� ���� ���� � �� � � ! ��� ��������� ������ ������ ��� � �� � �� � �� ������ � � ���� NO� �� ��� ������ � �� ��� 4� 8 ! ����� NO��

���� 4 8 �O �� ! ���� ���� ������� �� ��� ��������� ������ �"����� � ��� �� ���� ��� ����

��� �� �� ����� � ��� ��� ���� � �"� �� ��� ����� �� � ��� 4 8 �� ��� �� �� ����� ����� � ����� � � !� ��� 4 8 �

���

���� ���� �� � ��� ��� �� � �NO��

���� 4� 8 �� � 4� �P 8

����4� 8 �� � 4� �P 8 � �� �� ���� � � ����� � � ���� �� � �� �� � �� � �� ����� �

����� � � ������� � � � ����9�� �� ������ �� ���� � �� � � � ��� ! � �� ���� ���� ������ � �� ��� ������ � �� ��� �"������ ���� ��� �� ����� �� ���� ��� �������� ����� � � � ������� � � �� ������ � �

� ����� � ������ �� ���9 ���� � � �� NO������ 4 8 !

� � ��� 4 � �� 8 �� ��� � �������� �� ��� 4 � �� 8 � �� � 4�� � �� � � �� 4 � �� 88 � 4� ���8

����� � �� 4 � �� 8 ��� ����� �� �� ��� �� �� �� ��� ����� � ����� � � ����� � ��� �� � �� � ����� � � �� � 4� �P 8 �

��� ! ���� ���� ������� �������9 ��� ���� � � ������ � � ��� ������ �� ��� � �� �"�� �� ��� ����� � ��� � �� ����� � � �� � �� ����� � � � I ���� ������������ � ��9 � ���� � � ����� � � � ��� � �� � ��� ����� � � �� � �� � ������ � � ����� � � �� ����� �" � � ������ �

I ���� ������� � ����� ����� � ������ ��� ���� �� �������9 ��� � ���� ��������� � ��� �� ��� � �

P� � �� �� ���� � � �� �� ����� ��� � �� ����� � � !� � � ������ �� � ��9 �� � �� ��� � ��� �� ��� � ��� ������ �� ���������� ��� ����

����9 � !� � ��� ���� ������� ! ��� ���� ������� ���� ��� ��� � �"��� � ��� 4 � �� 8 �� ����� � �� ������ �

��� �� � �������� ��������� �"������ �� ������ ��� � � �� ��� ������ � � �������� � ������� � � ������ ����� ��� �� �� � �� ��� � � � ��� ����9 �� ��� �� ���� ��������� �� �� ���� ���� � �� � � � �� ����� �� ��� � P �� � � ����� ! ��� ������������ ��� � � �� ��� ������ � � � ��� ��� �������� �

2 ��&% �� "+ -!�'"#�0 +�!/'�# �

�� �"����� ��� � �� �� � ������ � �� � ��� ���� � �� � ! ���� ���� � ������� � � �������� � ��� ��� 4� 8 4 ��� 4� 8 � � ��� 4� 88 4�� ������� � �� ��8 � ���� ������ � �� �"�����

��

Page 65: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��� � �� ����� � � � ����� �� ���� ! � � ��� ��������� ��� �� ���� ��������� �� �� ���� � � ��� ���� � �" � �� � �� 4 8 �� � 4� �P�8 �

��� ���� � � ��� �� �� �� ���� ����� � ����� � � ��� ��� �"������� �� ��������� � ��� ���� � � ��� ������� ����� �� �

��� �� 4 � �� 8 �� � 4� �P�8 ! ��� �������� ��� !��� ������ �� ��� ���� � � ����� � � �� 4�8 � � ��� ������ �� ��� ������ � � 4�8��� ���������� �� � � ��� � ����� ����� �� ��� ������ � ���� �

��� ��������� ������ � ��� � ������ �� �������� � ��� � � �� � 4� ��8 �

� ���0 �"# "+ -!�'"#�0 0"')"#�# �

��� ������ �� ���� ����� � ����� � � ���������� � � � �������� �� ���<��� �� 4;;N 8 ! � � �������� �� � �<��� �� 4;�N 8� ��� ;�N ���� �� �� �������� ���� �������� ���� �<��� �� 4;=N 8 � � ��� �� ���� � � �� ��� ;�N � ��� ������ ��� ����� � � ������ �� �� ������ � � ; ;N � � ;�N � �� ��� ;;N � � ;�N ���������� � ���������� � ����� � ������ � ! ������ 0* % * %&,J-%$&0%, 0-&'(� %- � +' #02/' 4 7�O8 �

��� ;;N � � � � ��� ;=N �� �� ��� � ��� ����� � ����� � � �� � ������������� � � ����� ��� ���������� ���� � �������� � ������ 3

� � � � �� �� 4 � �� 8 �� � � � �� �� 4 � �� 8 �� � 4� ��P8 �� ��� 4� �� �� 4 � �� 88 � ��� 4� �� �� 4 � �� 88 � 4� ���8

����� � � � ! ��� �������! ����� ��� ���� � � ���� ��� �� ! � � ��� 4�8 ��� �� ��� �������� � ��� ���� �� ��� ����� � � � 6�"� ! � �� �� �� ����� �� ��� ;�N �� �� �������� ��� �� ��� � �� � 4� ���8 � � 4� ��� 8 ���� �� ���� ��� ;=N �� �

� �� �� �� �� � ��� � 4� � �� P � � � �8 � 4� ���8 ���� � �� �� � ���� � 4� ���8

4 ���� �� ��� � � ���� � ��� �8����� ���� � � ���� ��� ��� � ��� � � ��"��� ;�N ������ �� �� ��� ���� ������ ��� 7�O � ��� ! ���� ��� � � �� ����� � �� �� ���� �� � ����� ��� ���� � �������� ���� ��� �� � ���������� �� ���� ! � � ��� ����� �� �� ����� ������ � �� � ����� ����� �

��� ���� �� ;�N �� �� ��� ��� ����� �� ������ �� ����� �� �� �� � �� �� � ���� �� � �<��� �� ���� ���� � ���� 4�8 �� ��� 7�O �

�� �� 4�8 � ���� 4 �� �� � � �� 8 � 4� ���8

��� ;�N 4� 8 ��� � � � � �� �� � ����� ������ �� ��� ��� � �����! �� �!� �

��� �� � 4� ���8 � ����� � �� ��� �� ��� ���� ! ��� ������ �� �� 4�8 ������ � ��� ������ �� ��� ����� � ����� � � �

��� ������ �� ����� �� �� �� � �� � �� ���� ;;N � �� �! ���� 4 � �� � �� �� 4�88 � � � � ��� 4 � �� � �� �� 4�88 � 4� ���8

��

Page 66: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��� ��� � � ��� ��� �������� ����� ��� ��� ;;N � � �� � ������ �� ����� �� �� 4�8��� ������ �� �� � 4� ���8 ! ��� ����� � ����� � � �� ����� �� � � ��� � �� ���� ����� ! � � ��� ����� � � �� ��� ��� � �� ���� ��� ������ �� ��������� � � ��� � � �� ���� ������ �� � � ��� ;;N �������� �� ��� 7�O �

��� 4 � �8 � 4 � � � � 8 � � � � 4 � � � � 8 �� �� 4 � �8 � 4 � � � � 8 � � � � 4 � � � � 8 �

����� � 4 � �8 � � � 4 � �8 ��� ��� ������� � � ������ �� ��� ;;N �� ������ �� ! ������ � 4������8 � � 4 � �8 � � � 4 � �8 ��� ��� ����� ���� �� ��� � ���� � ���;;N �� ���� �� �� ������ � �� ��� 7�O � � 4 �8 � � � 4 P�� 8 ��� �� �� � �

�� � ����� ��� ������ ��������� ��� ��������� �� � ��� �� � � "���� �O�� �� ������ ! ;;N � � ;=N �� � 4� ��P8 � � 4� ���8 ��� ���������� �� ������ �NO� ��� 44� � P8 � �� 8 ��� �

��� �� 4 � �� 8 �; �� ������ ������ ��� ������ ! ��� ;=N ��� � � ���������� �� ����

� ����� ��� ;;N �� ��� � ! �� � 4� ���8 ! ���� ����� � �� ������ ���� ���� � � �������� �� � ! ��� ;;N ��� � � ���������� �� ���� � ����� ��� ������ ������������� ���� ��� ;=N �� ��� � ! �� � 4� ���8 ! ����� ���� ���� �

� ���0 �"# "+ -!�'"#�0 +�!/'�# �

��� ������ �� � ����� � � ���������� � � ��� �� �� �� ���� ����� � ����� � � � ��������� ��� ���� ��� �� �� ��� ���� � � ����� � � � �� ���� ��� ��� � �"�������� ������ �� � ��� ������ �� ��� ������ � � �� �� ������� ������ ��� ����� � � ����� � � �"� ����� �� � � �<����� ��� � �� � � "���� � ����� � � ���� ��� �������� �� ���� � � ����� � � �

�� ��������� ��� �� �� �� ����� � ����� � � ���� ������ ! �� ������� ��������� ������� � 4� 8 ! ���� �� �� ��� ������ �� �� � ����� ���� ���� �� ���� �� � ��� � � 4� �P8 ! ���� �� ���� �� ��� �� � ;�N � ��� 4 �� �� �P� �� � 8 ���� �� �� ��� �� �� ���������� ���� ������ ������ � ������ 3

� 4� 8 �� ��� �� �� � �� ��� �� �

��� � �

��� �� 4 � �� 8 �� 4� ���8

����� � 4� 8 � �� �� ����� � ����� � � ���� ������ ��� �� ����� ��� ������������ � � I � ����� ! ��� ������ ������ �� � � ���� ��� ��� � �" ��� ������ 4� 8 ��� � ����� ��� ��������� �� NO� � �� ���� �� ������ � NO� ��� 4 � �� 8 ���

���� �� 4 � �� 8 �� � � ��� ���� ������ �� � ������ � ��� �� � ����� ��� � � �� � �� ��� ����

4� �� �� �� ��8 ��� ���� ��� ��� ������ �������� 4�� �8� ��� ������ ���� ������� �� � ��������� � ��� �� ����� ������� � ����� � � ��� � � �<����� �� �� � ������� �� � � �� � ����� ������ ���� �� ��� � ����� � � ! ������� ! � ��������� ��� ������ �������� �� ���� ������ � � �� ����� �� ��������� ������ � �� ������� ��� ���� ! ��� ! ������ � � �� ������� ������ ���� ��� �

��

Page 67: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Generator+

-

Stream

StreamBi-Group tracer

Streamfragments

Bi-Group tracer

O���� � �P� 3 �������� � � � ������ �� ������ ��� D������ � ��� �� ���������� � ����� �� �� ���� �� � ����� �� ����� � ����� ������ � �

� �� �� �2 &!��( ��.%�# �!* /�"%)�#/ "+ �"%#( � ��!' �

5����� ������ � ��������� �� ��� D D55 ��� �� ��� ��� �� ��� D ������ � ��� ����� ��� �� � � ����� ! �"����� ����� �� ����� � ����� ����� � � ! � � �� ������ �� � �� �� ����� ����� � � ���� ���� �� ����� � � � ����� ! ���� ��9 ��� ��������� ��� 7NI � O���� � �P� ��� ��� �������� �� ��� D ������ � ��� ��� ;� �� � �� �D ������ �� ������ � � D������ ������ � � �� ��� D ������ �� ������ ������ � ���������� � � ! � ������ � �� �� � ����� � � �� ����� � �� D������ ������ � I D������ ������ ����� ������ ����� ����� � � ������ � �� ���� �������� � � �� ����� � ��� D������ ������ �� � �� � �� ���� ����� �� ��� �� � ��� ����� ������ � ! ���D ������ ������ ���� � ��� �� � ����� � �� ��� ����� �������� ������� �� ��9���� ������ � � ��� ������ ������ � � �� � � �� ��� D ������ �� ������ �

��� D ������ � ��� �� �� �� ��� � ��� ������ �� � � ������ ���� ��� �������� � ����� ����� � � � ������ ! ��� ������ ���� ��� ������ � ��� ���������� � � �� ����� �"������� ������������ �� ��� ��������� � ��� �� ��� D D55��� ��� ��� D������ � ��� �� ���� ���� ��� � ������� �� ����� ������ � �� ��� � ����� � ����� ������ �� �� ��� I � ��� ������ ������� �� ���� �� ������� ����� �� � ����� �� ��� ����� � � �

� ��/�"%) /�#��! "�

I���� � ����� ������ � ��� �� ��� D������ �� ������ ! ��� D ������ �� ����������9 �� �� � ��� ������ � �� ��� ��� ����� !

� ��� ������ � �" � �� ��� ��� � �� � �������� 4�� �� ���8 ! � �� � D������ ������ ����� ��� ������ � � � ����� � � �

;� ���� ��� ����� ! ��� D ������ �� ������ �� ����� � �� D������ ������ �

��

Page 68: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ��/�"%) �!0��

I D������ ������ ���� � ��� ����� ������ � ���� ��� D������ �� ������ ��� � �� ������ � ��� ������ ��� �"����� � �� � ����� �� ����� � ������ ���������� � � ��������� �� ��� D D55 � ��� �� ���� ��� ������ �� � � ������ ��� ������� ���� ��� �������� �� � � ����� ������ � ! ������ � #%'0-&$ � -&�G %'0! ��� � ���������� � � ����� � � �� � ����� � O�� ! ��� ��� ����� ������ � ������� ���� �� ���� ����� � � � � ��� �� ���� ��� ������ �� �� ��� ������ � ��� � ��� ����� ��� � ��� ������ ��� � �� ������ ���� ��� � � �� ���� ������ � � �� �� ����� �� ��� D D55 ! ��� ��� � ����� ���� � � ������ � � �� � � �� ��������� � � � � ! � ����� ����� � � ������� �� � � � �� �� ���� ����� � � ������ � �� ��������� �

��� ����� � ��������� �������� � ������ 3P� � �� � �� ������ � ������ ! ��� �" � � ����� ��� �"�� �� �� �� � ���� �� ������ � � � �� ����� � � �� ������ � ��� �� ���� ��� ������ �� � � �� ������ ������ 4���� ! �� �� � � ��� ����� ���� �� � 4� ���8 � � 4� �� 88 �

� � ;� ����� � ����� ���� �� ������ � � � �� ����� � � ! � �� ����� ���� �� �� ��� �� ����� � � �������� � � � ���� �� � � ����9�� �

� � ;� � �� � � ����� ��9 � ��� ������ � � � ����� � � ! � ����� �� ���� ����� �� � ;� ��� �� ���� ����� ������ ��� ������ � � � ����� � � ! ��� ����� � � �����

�� ��� ����� ���� �� ��� � ��� ������ �� � � ������ ���� ��� ��� ����� ������ �� ��� ������ � �

� �� �� �-�"�3 "+ ��.%�# �!* /�"%)�#/

���� � �� � ����� �������� � �����9� �� ���� ����� ����� � ��� ����� ������ � � ��������� �� ��� D D55 4O� � � ��8 � D��� ��� ������ � � �� ���� ��������� �� �� �� ���� ������ � ��� ��� �� ���� ����� ����� � ���� ����� � � ���� ������ ���� ��� � ����� ���� � �� ��� ����� � ������ � �� � � ������������� � � ��� ����� ��� ��� �� ��� � ��� ������ ��! �� ������ ��� ��� �� � ���� ���� �� ���� ��� ������ �� ������ �� ��� ����� ��� ������ �� ��� ���� ����������� � ������ ���� ����� � ��������� ! � �� ���� �� �� ��� ��� ��� �� ������ � ��� � � �� ���� �� ���� ��� ������ �� �

��� ��� ��� �� ���� � ������� � � ����� � ���� ���� � � ����� � � � �� � ���� �������� ��� ������� �������� � O�� �� ���� �� ! ��� �������� ����� ���� � �� �������� ! � � � � ! ��� ��� ��� �� � ����� ���� � � ����� � � � � � ���� � ��� �� ����� ��� ������ �� 4�� � 4� ���88 ! � � ��� ����� � ��� �� � ����� ������ 4�� � 4� �� 88 �I ����� � ����� � � � ������� �� � ����� � ����� �� � � ���� ��� ������ ���� �� ��� ��� � � � ���� �� �� � 4P�� �8 ���� ��� � ���� �

� � �� � ���4�8 � ��� 4�8 �� � � 4� ��������� �8 � 4� ���8

� � �� � � ��4�8 � � �� 4�8 �� � � 4� �� �� ��8 � 4� �� 8

��

Page 69: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

150

200

250

300

0 1 2 3

(Hz)

(sec)

150

200

250

300

0 1 2 3

(Hz)

(sec)

��1 �� � ��1 �� ������ �

��1 ��� ��1 ���

��� ����� �� � �� � ����� ���O���� � �P� 3 O� ��� � ��� ������ �� �� ��� �� �

����� ���4�8 � � ��� 4�8 ��� ��� �� ���� ��� ������ �� �� � � � �� �� ���� � � ! � �

�4�8

� � � �� 4�8 ��� ��� ������ �� � � � �� ! � � �� � � � � �� ������ ����� P��� �� ������ � ������ � ��� � �� �� �� ��� ������ �� �<��� �� �� ������� ������ � �� �������� �� ��� ����� � ����� 3 � ��� ����� ������� �� �� ������ � ��� ��� � ������ � � ! � � ����� ����� � 4��� �� � ! P�� ��� �8 ��� ! ������ � � ������ � � 4��� �� � !P�� ��� �8 ��� �

��� �� ���� ��� ������ �� � � ������ �������� �� � ����� � ����� �� ��� ������� �� ���� � ���� �� ��� ���� � � ������ � ������ �� � � �� �� ���� �� � ���������� ! � �� � � ������ � ������ � ! � � � �������� ������ � ���� �� ��� �� ��� ����� � � � � � ��� ! � ����� ������ � ���� �� �������� ����� �� ���� ���� �� ��� ���� � �� � ������ � ��� �������� �� ��� ����� � � � �� ��� ������ � � � �;� ����� ��� � ����� � � � � � ����9�� �� �� �� � ! ��� �"� ������ � ���� ��������� � �� ����� � � �� ��� ����� ������ ������ � ��� �������� � �� �"������ ����� ����� � � �������� ��� ����� ��� ��� ��� � �� ��� � � �� ��� ������ � ! ���� ! � �� � ����� � � ��� ���� ����� �� ��� ����� ��� � � ���� �� �� � 4P��� �8�

� �� � ����� � ������ � �� �������� ���� � ���� ���� �� ���� ��� � � ����� ������ ! ��� ����� � � ���� ����� �� ��� ����� ���� �� �������� ����� �� ���� �� �������� � � � �� �� �� ! � �� � ����� � �������� � ��� ����� � � ���� ����� �� �������� ���� �� ��� � ��� � 3

� � � � ���

� 4P � � 8 � � ���

� 4� � ���8 � 4� ���8

����� � 4��� �� �8 � � � 4� �P�� �8 ��� ��� �������� ����� �� � 4� ���8 � � 4� �� 8 !� � ��� ���� ��� �<��� �� ��� ������ �� � � ������ �

� �� �� �9!*%! �"#

�� �� � �� � ����� �������� ������ �� ��������� ���� �� ��� � ������������ � � �� ��� � ��� ������ �� ����� �� ��������� �� � ����� � O�� ��� ��������� ! ��� ��� � ������ �� ��� ����� � ����� �������� � �� �� ������� �� �"��� �� � � ��� � � �����9 �� � �� � ��� �

��

Page 70: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

150

200

250

300

0 1 2 3

(Hz)

(sec)

150

200

250

300

0 1 2 3

(Hz)

(sec)

��1 �� � �������!�� �

�������!���

��1 ���

��� � �� ��� ��� �� ����� ����� �� �

�� � � �� ��� ��� �� ����� ����� ���

O���� � �P� 3 O� ���� ��� ������ �� �� ����� ��������� �� D55

; ��� �"� ��� � � ! ���� �� � ������ ��� ��� � "���� �� � �������� ������ ������ �� �� ����� � � ��� �� �� ����� �� � � �� � ������������ ��� ����� ��� 4� ������ � �� � ����� ���� � � ����� ���� 8 ! � � ��� �� � ���� � "���� � ��� ��� � ���� �������� � ��� ��� �� � �� � ������ � ��� �� ��� �� P��9 � ���� � ! P���� ��� ����� ! � ���� � � � ��� ! � � ���� � ��� ��� ! � ��P� NO� �� � � ��� =H ������� ��� �� 4=H ���� �� � 3 P� ! ������� ���� �� � 3��8 �� ��� �� � ����� ��� � ������ � ����� �� ��������� ����� �� P � �� � ����� ���� ��� ����� � ����� ��� � ���� ����� �� ���� � ��������� ! � ��� � ���� ����� �� ��� ����� �� � ����� ������ � �� ��� ����� �� ���� � ��� ����� ��� ����� ����� �� �D � �� ���� � �� �� � ������ � � ������ �

�5)���' �# � �� !�*�( 0"')!���"# "+ -��� !*/"�� -' �

�� �"�� � ��� �<��� �� ������ ���� ��� � ����� � �"������ 4�"� ��� � � ��� !��� ! � � ���8 ! �� � ��� �� ������ � ��� D D55 � �� ��� �� ����� ���� � � ������������� ���� 4%���FF8� 6�"� ! �� �������� ��� D D55 � �� ��� ,2-%#02/'J.&( %,(0-%&G (%� -%�&02/' (1(0%G 4M�FF8 ����� �� ����� ������� � �� ����� �� ��� ����<��� �� ��� ���� � � �������� � ���� �������� 4�"� � ���8 � � �� ��� ND55 ! ����"��� ������ �� ��� � ; ���� �"� ��� � � ! �� ��� ����� �� � �� ! �� ����� P!�� ������ 4O� � � �P�8 ! �� ������ ! � � �� ������ :� 5�� ����� P �� � � "�� �� � ����� ��� � : ���� 4��� � � P � � ���� �� ! � ��� ����� � ��� ���� �� ����� ���������� 8 � 5�� ������ �� � � "�� �� � �� ��� �� � ���� : ���� � �� ����� P � � �� ������ �� � � �� � �� ���� ��� ������ �� �� ��� � 4�� �� P8 � 5�� ������ � ��� ������ : ���� � ��� �� �� ����� P! � � ������� �� ��� ���� ���� ���� ��� �� ����� �� ���� � P ���� � �� �<��� � �� � � 5�� � ����� �������� ���� �� ������ � � �� ������ : ���� ���� �� ���� ��� ���� �� ����� P � ����� ��� ��� �� ���� ��� ���� � ��� �������� � ��� ���� �� ���� � P �� �� ����� � ��� ���� �� 4���������8 � � ���� �� ��� � �� � ��� ���� �� 4�� ������8 �� ����� P! � � �� ������ � 5�� �� P �� �� ����� ������ ����� 4� ������8 �� ������ � ��� ���� �� ���� �P���� �� ����� � ��� ���� �� 4�� ������8 � � � ��� ���� �� 4��� ������8 ��� ������� �� ������ ! � � ���� � ��� ������� ������ ����� 4� ������8 �� ������ :� ���

Page 71: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

150

200

250

300

0 1 2 3

(Hz)

(sec)

-90

0

90

0 1 2 3

(R d

irec

tion

L)

(sec)

��1 �� ���1 ���

��1 ��� ��1 �� �

���� �� � �� �� �� ��� �� �� ��

��� � �� ��� ��� �� � ���� ����� �� �

150

200

250

300

0 1 2 3

(Hz)

(sec)

-90

0

90

0 1 2 3

(R d

irec

tion

L)

(sec)

��1 �� ������ �

��1 ���

��1 ���

����� �

��1 �� �

���� �� � �� �� �� ��� �� �� ��

�� � � �� ��� ��� �� � ���� ����� ���

O���� � �P� 3 O� ���� ��� ������ �� � � �� � ������ �� ����� ��������� �� D D55

� ������ �� � ��� ����� � ����� � � �� �� � 9 � ���������� �� � 5�� ����� P �� ��������� �� � � �" D55 � � ��� D D55 � �������� ����� ��������� �������� ��� ����� 4O� � � �P� 4�8 � � � �P� 4�88 � ������ ! ����� ��� � ��� ������ �� ����� � � ��� � ������ � ����� �� ��� ����� ��������� �� � ��" D55 ���� ������ ��� ���� �� ��� ����� ��������� �� � � D D55 �� ������ ��� ��� �� ���� ��� ������ �� �� ��� ����� ������ ���� ����� 4O � � � �P� � � � �P 8 �O ���� � ��� 4�8 � � 4�8 ��� ���� ��� ����� �� � ������ ! D D55 ��� ������� ���������� � ������ ������ � � ��� ������� ����� ����� �� ��� �� ���� ��� ������ �������� ��� �" D55 ���������� �� � 5�� ������ �� ��� ��������� �� � � �" D55 � � D D55 ! ��� �� ��� �" D55 ����� �� �������� ����� ������ � ���������! � � ��� ��� �� ��� ��������� �� ��� � �� � ����� � 4O � � � �P� 4� 88 � ������ ! D D55 ����� ������������ �������� ����� ����� �� ��� �� � �� � 4O� � � �P� 4�88 �

��

Page 72: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��������� �� �

� ����� �� �� ������ � � �� ������ : ���� ��� �� D D55 � 5�� � ����� ��������� ���� �� ������ : � � ���� �"������� ������ ��� ��� O� � � �P� � ������� �� ���� ! 4���8 ! �� ��� ��� � ������ �� � � ��� ������ ���� ! 4���� 8 ! �� ��� ������ ����� ��������� � ��� �� � ����� ������ � ! ������� � ��� ����� ���� �� ��� ������ ����� ������� �������� �� ������ P� ��� ������ �� ��� ��� ����� ���� ��������� ��������� � � � � � ������ � 5 �� ��� �� � ���� ��� �� � ������ ���� ��� ! �������� �� � �� ��� � ��� ������ �� � � ����� ! � ���� �� ���� �� �������� ���� �� ������ � 6��������� ! ��� ���� � � �������� �� ��� ����� ���� ��������� �������������! � � ���� ������ ���� �"������� ���������� ������ ! ��� ���� ��� ����� � ����� ����� � ����� �� �� ������� � ���� ������ �� �� �� ��������� � � ������ � �� �������� � ���� �� �<��� � ����� �� ��� ����� �� � ! �� � ����� ��������� ���� �� ������ � � ���� �"������� ��

����� ��� ��� O� � � �P� � ��� ! ���� ������ �� �� ��������� � � ����� ������ � ����� ����� �� ����� ��������� �������� �� �� ������ �� ��� ������ � I �� ! ����� ����� � ����� ���� ���� �� ��� ��� ������ �� ���� ���� � � � � � ������ �

���� ����� ��� ���� ��� ���� ������ � �������� � ������ � �� �� � ������� ���� ��� ���������� �� � D��� �� ����� P � � �� ������ ���� ��������� �� � � D D55� � ND55 � O���� � ��P4�8 � � 4�8 ����� ���� D D55 �� � ����� �� ����� � ���������� � ������ � ����� ��� ND55 �

� �� ������� ��� ��������

�� ������� ����� �� ��� ���������� ����������� ��� ������� � �� � ����� ��������� �� ������� �� � � ��� � ��� D55 ���� �� ������ ������� �� ��� ��������� �"����� ���� ���� ! ��� ���� �� �������� � � ����� ���� ��� ! � � �������� � � � ��� ���������� ����������� �� ���� ��������� � ���� � �� ����� �� ���� ������� � �� ����������� ��� �� ��� � � ��� �� ���� �������� �� ������ �� ���� � �� � �������� � ����� ��� �� ! �" D55 ! D D55 ! � � D������ ���� �� ! ���� ���� ��� � ���� ��� �� � �� ��� �� ������ � � � ������ � ��� �������� ��� ������ �� �������� �

C � � �� ��� � ! �� �� � ����� �������� � ��� ��� �� ��� ��� ���������� �� ������� �� � � ��� � �9� � %0 &$� ����� �� ��� �� ��� ������� � � ! P 3

P � 0* % #/#?0&2$J) &-01 %B %#0 � ��������� ���� � � �� � � �� ������ �� �� � ������ � ��� ��� � � ��� �� �� �� ���� �� �� � �����

� � 0* % @ -2' #% F* /0/?+ %B %#0 � ��� � �� ������ �� � �� ��� �� � �� � ��� � ���<��� �� �� ��� =� �� 5����9� 4�������8 �� ���� ! ��� �� �� ���� � �� ������ ��� �� ��� ������ � ���� � �� �� ��� ��� �� � �

���� ������� ������ � ���� ����� �������� ! ����� ��� � � �� ��� �� �� ��� � � � � ����� � �� � � �� � ���� � ���� ����� �������� ! ��� � ��� ��������

�P

Page 73: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

150

250

350

0 1 2 3

(Hz)

(sec)

150

250

350

0 1 2 3

(Hz)

(sec)

5������ P 5�������

O� ��� � ��� ������ �� ������ �

-90

0

90

0 1 2 3

(R d

irec

tion

L)

(sec)

-90

0

90

0 1 2 3

(Dir

ectio

n)

(sec)

N����� ��� �� ������ �4�8 ����� P 4�8 ����� �

O���� � �P� 3 5�� � ����� ��������� ���� � "�� ������ �� �� �� ������ :� D��������� �� ���� ���� � ������ �

��

Page 74: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

150

250

350

0 1 2 3

(Hz)

(sec)

150

250

350

0 1 2 3

(Hz)

(sec)

O� ��� � ��� ������ �� ������ �

-90

0

90

0 1 2 3

(R d

irec

tion

L)

(sec)

-90

0

90

0 1 2 3

(R d

irec

tion

L)

(sec)

N����� ��� �� ������ 4�8 5����� �P 4�8 5�������

O���� � �P� 3 5�� � ����� ��������� ���� � "�� ������ �� �� �� ������ � ��� � �������� �� ��� � ���� �� ������ � � ��� ��� � ���� P�� ������ �

��

Page 75: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

0

10

20

30

0 1 2 3(sec)

0

10

20

30

0 1 2 3(sec)��� ��� � � �� �� �� �� � ��� �� �� �� ��

O���� � �P� 3 5����� ����� �� �� ��� � ��� ������ �� �� ����� ��������� ���� �� ����� P 4�" D55 3 �� � � ! � �� �� � � � ��� 8

0

20

40

60

0 1 2 3

(dB

)

(sec)

0

20

40

60

0 1 2 3

(dB

)

(sec)��� ��� � � �� �� �� �� � ��� �� �� �� ��

O���� � �P 3 5� ������ ������ �� ����� ��������� ���� �� ����� P 4�" D55 3 �� � � ! � �� �� � � � ��� 8

�������� ! � ������ �������� ! ����� �������� � � �������� �� ����� � ���� � O������ ����� � �� I ; ������� ! ��� ������ ���� �� ����� � ���� ���� � ����� � ��� � � � �� ��� ! ��� � ��� � �� 9 �� ! � ��� ������ ���� �� � �� ���� ��� ��� ��� ���� � � � �� ���� � ��� �� �� �"����� � ���� ����� ���� � ����� ��� ���� ���9��������� �<��� ����� ������� ��� � � ��� ������� �� ���� � � ����� !� � �� � ����� ��� ����� �� �� ����� � �� � ����� ������� � 5� ���� ������������� �� � � � ���� ��� �������� � � �� � ����� ���� HI5I � �� �� ������ ������� �� ��� �� � ��� ��� �

��

Page 76: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Source direction

1.0

0.0

3.0

2.0

Fund

amen

tal fr

eque

ncy e

rrors

4.0

+- 60+- 30 +- 90 *

2Hz

4�8 5����� ����� �� �� ���� ��� ������� ��

5.0

10.0

15.0

0.0

dB

*Source direction

Spec

tral d

istor

tion

+- 60+- 30 +- 90

4� 8 5������� ������

O���� � ��� 3 ������ �� �� � ��������� ���� �� ����� P

Source direction

10.0

0.0

dB

30.0

20.0

Spec

tral d

istor

tion

+- 60+- 30 +- 90

4�8 5� ������ � �����

DBSS

HBSS

BiHBSS

* directionnot available

O���� � ��P3 ������ �� �� � ��������� ���� �� ������

��

Page 77: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��

Page 78: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������� �

�� ���� ����� �������� � � ���� �� ���� ���� �� ��

���� ������� ��������� ��� ����� �� ������ ��!��!���� �� "� ���� �� ��!��!��� � � �������� ������ �� � �� � ������ # ����� �� "� ����! �$�� "% �������� & ��� ���"'�� � ������� �� (�''�� � )

* � +����� �� �� � � � �����'���� � �� +����� �� ���� ������ � ��!��!���� "% ,�-.,// #� �

* ��������� �( �� ���� �� " � ����! �$�� "% �� ���� ������ ��!��!���� �������� ! &

0 12 3�4�5� 6�6768 �6859: ;78 �6

.���� �� ������ ��!��!���� �� "� ���� �� ��!��!��� � � ���� ��� � ������ �� � �������� � # ��''�� <= >>?@ <AB>CD< �� � � ��� �� � ������� E&F &G HI �! & E&G J & K ������ �( +�������!�� �� �( � �� ���� ������ �� " � ������� �� � ����� �� ������ � � ��!��!���� (���� � �L���� �( �� ���� & /� ���� ������ ��!��!���� ��M����� ��� � ���� �'���� �( � +������� �� � �� � ���� ! (��� ��� ������ �( !���� �� +����� ��!�� �� &

��� B><NOP > �( ��� , �.,// �%���� �� ���� �� � �����'��� ����� � +����� �� �� � ��" ������ � +����� �� �� � �� ��� '�Q�'% �� " � � �'���� � ��� ������� & ��� ������� �� �����+�(��� ��! �' �"��� �� "% ��"������ ! �'' ��� +����� ��!�� � ��+�(��� � (��� ��� � ���� �L���� & .��� # ��� � ������ ��� � �������� ���� ��� ��� ������� �� � ���� �'��� � +������� �� � �� HI�! & G &EJ ) I�'���- E ������ �'' ��� ������� � ��� ���� �( ��� �''-������� � �����HKR J# ���'� �� ������ � '% ������� ��� � ! (��� ��� ��� � �������� �� ��� ������ � ������� �( ��� �� -������� � ����� HSR J& I �'���-T ������ ��� ���'� ��! �' � '% ��� �������� � ����� �� (��!� � �� &UVW X YYZ�[\]^_[ ` K '' ��� ������� �� � �����'���� � �� ��� � +����� ��!� � �� �( � �� ����

������ HXa J# � �UbW cdeZ�[\]^_[ ` /�� � � ��� ���� �������� �� ��� !������ +����� ��!�� �� �� �L-

������� (��� ��� ������� � � � ���� �'���� � �� ��� � +����� ��!� � �� Hca J#ff

Page 79: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

On-Off

Harmonicstream

Residue

Sourcedirection

Filter-1

+ Speechstream

Filter-2

I�!��� G &E) �e�� ]�[^ ��e\�e�e� ]e�[��� Y�� ]�e

����� ��� � +����� ��!�� �� �( � �� ���� ������ ��� ��� ��!�� �� ���� ! ����� � ���-�� �� ������ ��� ���� � ��� ������ & ��� KR ������ �� ��� ����'��� � ����� � � �� �'��" � ���'��� �� � �� ����' ��!��!���� �%���� # ���'� ��� SR ������ ��M����� ������� �'��!��!���� ��� ! �������� � (��� ���� &

,��� ��� KR � � SR ������� ��+� ��+� ��!�� � � �����+� ��!�� � ��� KR ������� �����'���� �'' ��� ������� �( ��� ���!�� �� ���� ������ �� ��'' �� ���� �( ����� ������ �� �'���� � ��� ������� # ���'� ��� SR ������ �� �L�'��� � ��� �( ��� ������� ��� � !(��� ������ � �������� � �� ��'' �� ��� � �( ��� ������� ��� � ! (��� ��� ���!�� �������� &� ���� ������ �� " ����� ��� � �� � ��� ���'������ &

����� (�''�� � � "���( �L�'� ���� �( ��� ��� SR ������ �L������ ��� �� � � !�+� �������� (��� ��� ������� &

0 1 �95�8 � 6 �7�5� �8957� �5�95�78 � 6

/�+���' ��� � ������ ��!��!���� ������� ��� �������� ���� ��� ��� � �������' ��� � ��(-(��� �� H��� J � � � �������' � �� ���% ������ �� H� �� J & � ��� �( ����� � ������ ��� � '���"� Q� ���� ���'��� ��� ��� � �������% �%���� # � � ��!��!��� ��� � ������ � "% !����-� ! ��� �����-�����'���� � ��Q� " ����� "� ����' HT��J � ��� ��! �'� �E� # �F� & .���+�� # ���� �'�� � ����� ���� ���� I������ ��� �(��� ���� � ����� �( ���� �������% � '��� "� Q��� ���� ���� & ���� �� " ������ ���� ����'� � ����� �� �'�� �� �� !��� '�+�'� �( � ��(��� � ��� ���� � �( ��� � � � �� "���� ��� � ������ ��!��!���� ��� & ��� ��������� �� �L�������� � ����� � �� �� �� (�''�� � )

* ��� � ��� ��! �' �� �� +����� � �� � (��M�� �% ����� ��! �' ��� ! I������ ��� �(��-� ���� � "��� ��� '�(� � � ��!�� ��� �'� #

* ��� � �� � � ��� (�� ���� (��M�� �% "� �� ��'��'���� #* ��� �������� (�� ���� "� �� ������ � �� ��� ! ��� ��� � � ��� �������'�� # � � ��� * ��� ������� �( ��� "� � (��� ��� ���!�� �������� ��� ��'����� �� �"��� ��� ���!��

��! �' &

f�

Page 80: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ��� �L����� � � # � ������� I������ ��� �(��� ���� H�I� J ��� ���� (�� ��� (��M�� �%� �'%��� � "��� ��� �'� ��� # ����� ��� �I� ��� � ��� ��� ��� � �� ���� �( , �.,// & ��� #�� # � �� # � � �� ��� ��'��'���� �� ���� (��M�� �% "� � # � � ��� ��� �������� �( ��� "� �� �L������� � ��� ���� ��% �� ���� �( ��� ���� � �� ����� � � H������� � &G &�J & /�� ������ ��� �% �����$�� "% ���'%� ! � +���� �I� �� ��� (��M�� �% ����� � �� ��� � ! (������ ���!�� �������� &

���� ONB>?AN����C< >O <�P�O�< > B>CAN�� <<A>D H�� J �� ���� (�� ��� �������� � ���������� ) ��� �L������� �( � +����� ��!�� �� (��� ��� ������� HSR J � � � � �L����� � ��� ������� ��� ����� � ��!��!���� � ����� � ��� �L� ������ &

0 1� � ��5��� 568 � �6��56�5 � �:55�� �8957� �5�95��78 � 6 6 7�8 � 78 �� �:55�� 95� �6 �8 � 6

��� ����� ���� �� ���� ����! ���� �%���� ���� � ���� ��� �� �� .�� -�R # � ����� � ��Q�+����' H��� J "���� �%���� ��+�'�� �� �� K�R ��T� & ��� .�� -�R �� �������$�� ��(�''�� � &

* = >>?@ <N�C � C�C �<N< � K ��+�(��� �� ����'�� �� ET Q.$ � � �� +����� � �� T�F��������� +������ ��� ! � � �� .��� � ! � � ��� & ��� # ��� ���������� ��� � �-'%$�� "% ET�� ����� '� ��� ��������+� ���� ! H��� J � � �� +����� � �� � ��M�� ���( �� ����� "% ��� ! �� �R ����� �� � ������ �( ��� EF�� ����� & ��� ��$� �( ����������� �� !'� ����" ��Q �� T�F &

* � >?�� NAN�� D �O>�� .�� -�R ���� � '�(�-��-��!�� �������� .�� � ��� (��� ������� � ����� '���� (�� ��� ��� � ��� ���� # � � � � � ��� ��� ������ � � � � '��� (�����"'� ��� ���� &

��� ����" ��Q �� !� ������ "% � ��� �( ��� ���� ��� �� � ���� ��+�'�� �� "% K�R & ���.�� -�R ���������� ��� ���� �� "% � ��� �( �TG� ����� ������� "% �+� �� ��Q��� & ����TG� ����� ��� ��+ ���� � �� �+� ����� ���+� ���� �( E��� ����� � � � ����� ��� �( TG������ & � ����� ����� # ���� �� ��Q�� ������ ETG� ����� &

.�� -�R ���� �R !������ �� �� ���� �� �� ���� �� ���� ����! ���� & /� �� ��� ��BOB>?�� NAN�� �( � ���'���� ���� ������ �� �� � +����!���� � ���� ��� �� # �+��% ��'� (�� �R!������ !� ������ � ���� � �' �%�"�' # � &� &# � ���� # ��� ������'% (��� ��� ����� �%�"�' &

��� ��� �( ����� ���� (�� ����� ! �� ��'����� (��� ��� G��� ����� �� ���� (�� ���� � ! &���� ����� ! �� ��''�� � ���� ���� # " ������ ��� ���� (�� ���� � ! � � ����� ! ��� ���! �� � &

K .�� ����''% ���� ����� ��������������� � �� ���� ����! ���� )E& C <= >?ABC � >�">��= >#T & C =CAA>B� �$ $ P�OCD >� AC � $ B>%P >� ?N><# � �� & C = >BN�O �� � ���� �� ����� ! �( ��� � ��� � � �� ��� �( �� ���� &

f&

Page 81: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

/� �� ��� � ��� �� � � �L���� �( ��� �� # ����� ��������������� # � �������'�� ��� �� �����'� +�'�� � # ��� �������''% ������� & �����(��� # ��� ����! ���� � ��(��� � �� � ��� � � �L�����( ��� �� �� ��+���'% ��!����� "% �� �����' � �������� ������ "% � ���(��� ! � � ������� !��� �� &

/� ���� ������ ��!��!���� �� � �� ��� �� ������ ��� ��!������� # � � �� �� �������������+� � ����+��� ! �� �����' � �������� (��� � � �L���� �( ��� �� & .���+�� # �� � ���-����� � ����� Q� � �( �� �����' � �������� �� ��!��!���� ������ � & ��� �� ����� �( �� ���������� � ��!��!���� "% ��� ���� ���� �%���� ��� ��������� ��+���'% ��� �������� � �������� ���!� �' �� ����' � -� �L�� ��� � & ���� �� �����' ��������� �� ������ "%

E& �L������ ! ��� ���� � �� ��������� #T & ��� ����-��'���� ��� �(�� (� ���� �( ��� ����%-���� � ������� � # �� � "� ����'

� ��� # � �� & ��� !����� ! � � ������� ��"�������� &

����� ������ ��� �������� � ��� (�''�� � ! ������ � &��� � ��� �( � ��!��!���� ������ �� �������� ��'�'% (��� ��� ����� �� ���������� �

.,// & /� �� ��� " �!� � ! � � � � �( �� ���� ����''% �� ���� �( � -����� �� ���������� #��� � ��� � � �� ��� ��� �� ��� �L�� ��� "% G� �� (�� ��� �� ��!��!���� "% .,// & .���+�� #��� � ��� � � �� ��� �� � ��� �������'% ������ � �� "% ,�.,// # �� �� , �.,// �� ��������� � '���� ! ��� � � ��� �������� ������ � � ��� � ����'� ! ��� � � ��� �������� � �� &

� �� �� � �������� � ����������

��� Q� �� �( � ������� � � ��� ������� (�� � ��(��� � �� �+�'����� � ���� ����! ���� )E& �PDP �CAN"> C??PBC? �$ B>?�� NAN��# � �T & � BB�B B>OP?AN�� BCA> �$ ���><A� ����><A ��BO B>?�� NAN�� �

��� ����'���+� �������% �( ����! ���� �� ����� ��� �+�'���� ! ��������� �� ��������! ���� # " ������ ����� ���� �� ���� ����! ���� ����''% !� ������ ��+���' �� �������� � ���� ��� �( �� ������� �� � +����!���� "% ��������+� ����� �� ���� �� ��� � ��� �������� !�� ���'�! ��� ����� ! & ��� ����'���+� �������% �( ��� ����! ���� �( ��!��!���� ��� �� ���� ��� E��� �� ������ �� ���� &

��� ����� �������� ���� �( E-" ����E�-" ��� ���� ����! ���� �� ���� �� �+�'���� ���� ��(��� � �� �( �� ���� ������ ��!��!���� & I ���� # ��� >BB�B BCA> ?CP< >O � N� A>B$ >BN�<�P�O< �� ��� �� &

��� ��� �-" ��� ����! ���� ���� �( ���!� �' ���� " � ���! # � � ��� �-" ��� ����! ���� ���� �( H � -"� ����'J � �L�� ��� �� " � ���L & ��� ����� ���� ������ "% � ���(��� ! ��� �� #� # �� ��'��'���� �� � � ���! � �� �L ��� ��� � -" ��� ����! ���� ���� �( ��!��!���� ��� ��

��

Page 82: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

"� � ��! & ��� ����� �������� ���� # ��� # �� ��'��'���� �� (�''�� � )

��� � � ��! � �� �L���! � ���L � E��

� � ��! � ���L� � E��

� �� �� �������� � ������ ���� ��������

/������' � �������� ������ "% ��� ���� ���� �� ���� ������ ��!��!���� �� �������� & K ��� ��� �� ���'��� # �� �� ������ "% ���� � �� ��������� �L������� # .R�I �� +�'���� (��"� ����' � ��� # � � ����� �� !����� ! � � ������� ��"�������� & K �� � ���� �( ��������! ���� � ��� E��� ������ ��� �( � ���'���� ���� ���+�� ���� ��� ��!������� �( ����!- ���� ���(��� � �� �� ��� '��!��� HT�-G& ��� � �� ! � ��� �������� �( ��� � ������J "%.R�I � � �!'�!�" '% �� �'' H'��� ��� E� J "% ��� ����� ������ ��� # &T� &

��� ������� ��� � +����!���� "% ����� �� ����+�� (��� ��� ����! ���� ��!������� ������ "% .R�I )

E& B>�ABCN� N� A@ > ��� =CBCD >A>B# � �T & ?�D=>�<CAN� A@ > $ B>%P >� ?�?@CBC?A>BN<AN?< �$ < > B>CA>O <AB>CD< �

��� � ��� � ����� � +�'+�� ������ � ! ��� .�� ����� ����� "% ��� ! "� ����'�$�� ���� &��� ��� �( �TG� ������ ��� �( � ���'���� ���� (�� ���� � ! �� "� ����'�$�� � �'%����''% "%��� ! .R�I (�� (��� �������� � H�� # ��� # F�� # &�� J & ��� # ��� ���������� �( .�� -�R ��������� �� � ��� ��� "� ����'�$�� ���� � ! ���� & /� �� ������ � ! �� � ��(��� �� � ��� T� #&F�����'�� H�TG� ������ ��� � GJ # ��� ��"��� ��� �( .�� -�R �� ��!���� �� �����' � �������� �� � ������� &

��� ���� � ������ � +�'+�� ���'%� ! ��� � +���� (� ���� �( ��� .R�I �( ��� �������� �( ��� ��� � ������ �� � ��!��!���� ���� � �� ������ �� ����+�� ��� ���!� �' (��M�� �%��������������� & S( ������ # ��� ������� �������� �( ��� ��� � ������ �� ����� (�� ����� ����� &

��� ���� � ����� ������� ��� ��!������� �( ��� ����! ���� ���(��� � �� �� �� � # "����� � ��(��� � �� ���'' ��� � �� � ��� �������� �( ��� ��� � ������ & ��� ���� � � ���������'+�� ��� �� ���� �( ��� �������� �( ��� ��� � ������ # "�� ��� �� ���+��� � �� '��� ��� � ��� ��� � ��� � ����� ��� # &T� & �����(��� # ��� � ��� � ����� # ��-���� � ! .�� ����� ������� ������� � ���� ������ &

0 10 �47;�78 � 6 � �:55�� �8957� �5�95�78 � 6 �7;�8�

��� M��'��% �( ��!��!���� �� ���� ������ � �� �+�'����� � ���� � �( " ��� �� �����' � �������� � ������� G &G &E � � � �L�� �� ���� ����! ���� � ������� G &G &T &

� E

Page 83: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H�J S��!� �' � ���- E ������ ! ������-Q� Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H" J S��!� �' � ���- E ������ ! ��-Q�-���

Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H�J � ��� � �L���� Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H�J /�!��!���� ���� � �� ������- E

Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H�J /�!��!���� ����� �� ������-T Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H( J R������

Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H!J /�!��!���� �� ���� ������ -E Time (ms)

Freq

uenc

y (H

z)

0 100 200 300 400 500 600 700 800 9000

500

1000

1500

2000

2500

3000

3500

4000

4500

5000

H� J /�!��!���� �� ���� ������-TI�!��� G &T ) /� �����!��� �L���'� �( �� ���� ������ ��!��!���� &

�T

Page 84: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �� �� ��� �� ���� �� �� ����� � �������� � ������� �� ����

��� ����� �( ������ ��� ���� ��� � �'���� � ��� ������ �� ����"��� (�� ���� ��� ��������+���� "% K�R ��� ���� � ���� �L� ���� � � & ��� ������ ��� "% ��� ���� HI/� � �I�� J ���� "� ����'�$�� � ��� ��� .R�I � ��� �������� �( �� ��!���� '�(� HI/� J � ��� ��!���� ��!�� HI�� J (��� �����!�� ����� # � � ���� � �L�� �� ���� I�� �� ������ ��������� E�� �� �(��� I/� �� & �� �L�� � �� ����� ��!��!���� � ������ ) ��� � ��� � �������!��!���� !����� �( ����� �� ������ � ��� ! " ��� ��� � ������ �������� � � ����� ����������� # ��� � �����'���� ��� ������� "% ��� �''-������� � ����� H� N�� ��� J & ������� � � ����� ��� ��� ��� � # �L���� ���� �� � �����'���� ��� ������� "% ��� �� -������������� H� N�� ��� J & ��� ����� ������ ��� ��� �,// ������" �� � ������� G &T ��� !!�+� �������� � (��� ���� & �� ��� �������% �� ����� !���� ��� �%� �� �( �� ���� ��!�� �� �� +����� ��!�� � # � +����� ��!�� � # � � ����� �� �+�'���� ��� ��!��!���� M��'��%��������'% " ������ ��� M��'��% ������ !����'% ��� � �� ! � ��� �%� � & ����� '�" �'� ����� �������� �� ����� !���� ���� ) � (�� +����� ��!� � �� # _ (�� � +����� ��!�� �� # � � � (�������� & � ����+�� # ���"� ���� '�" �'� ���� �� � U� W ���� ���� # �� ������" � �%� �� �( �� ������!�� �� �( � ��� � � �L���� � ��� � (���� � � � �������'�� ��� � & � � ���"� ���� '�" �' # ��� �%� � �( ��� � (� ����� � � � � �L���� �� ���� � ��� '�(� H� &! &# � � � U� WJ #� � ���� �( ��� "��Q!��� � ��� � �� ���� � ��� ��!�� � ���� ������ H� &! &# � � � U� WJ &

I �!��� G &� H�J � � H"J ���� ��� �+���!� �� �����' � �������� �( ������ ��� "% I/� # � �I�� ��!��!���� (��� ����� � �L���� & /�M�� ���' !����� ! ��������� � ��!��!��� ! ��������� � (��� G�� �( ��� ��� � �L���� ����� # � � ��� ���� � I�! & G &� ��� ��'��'���� ��� !����� G�� ����� & I �!��� G &� H�J ���� � ��� �+���!� ����� �( ��� ����� ������� � �����!��!���� ������ � & ��� (�''�� � ! �� � ������% �( ��� �L����� � ��' � �� !� )

E& , �.,// �� ������ �� �����' � �������� "����� ��� �,// ��� ��� +����� ��!� � ������� ����'�� ����'% H� U� WJ &

T & �,// ������� ��� �� �����' ��������� �( � +����� ��!� � � " ����� ��� ,�.,// � '%��� � +����� ��!�� � ������ � ������ � % ����� ��� � H� U� WJ &

� & KR ��� �� "��� ������ ��� �� �����' � �������� �( � +����� ��!� � �� &G & ������ ��!��!���� ��� ! ��� KR ��+� ��� ��!���� �+���!� ����� &

����� ����'�� ���� ���� ��+�(��� ��"������� ��Q� ! ����� � �( ��� ����� �� ������������� � ��� , �.,//-KR � � ,�.,//-SR �� "� �� ����+�'% ���� (�� ��� ��!��!���� �(���� � �� ������ � # �L���� ��� ��� ��!��!���� �� � �������% � � &� &# � ����� ��� � ��-���� �� ��� ��� � ��� � & � ����+�� # ��� KR ������ �� � " ����� ��% �� � �����'��� � +�������!�� �� ��� ��� SR ������ � ���� � �( ��� �������� ��������� # � � ���� # ��� KR������ �� �L� ����� �� ���Q " ����� (�� ����� ���� �� ���� ����! ���� "���� � ��� � �'-%��� & ,% �� ����� # ��� KR ������ ��� � �����+� ��!� � ���� � �( ����� ��!��!���� "������ �� �''� ����� �'' ��� ������� �+� ��� � ����� � +����� �� �� � � ������ �� ������ � ��� � & K �%"��� ������ "���� � �������� � (��� ���� �� ��M����� �� ����� ����(�� ���� �����+� ��!� &

��

Page 85: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

5.0

10.0

15.0

0.0

dB

Spec

tral d

istor

tion

v(v) v(u) v(p)H�J K+���!� ��������� �( +����� ��!�� ��

10.0

0.0

dB

Spec

tral d

istor

tion

u(v) u(u) u(p)

30.0

20.0

40.0

H" J K+���!� ��������� �( � +����� ��!-� � ��

10.0

0.0

dB

Soun

d po

wer

p(v) p(u)

30.0

20.0

40.0

H�J K+���!� � ���� �( ����� �������

DBSS

BiHBSS-OR

BiHBSS-AR

I�!��� G &� ) ���'��% �( ��� �� ��!��!���� (��� � �L���� �( ��� ����� �( ��� ��� � �� �����-� ���

� �� �� ��� �� ���� �� �������� �� � ����� �����

����� ���� �( ��� " � �����Q ��� �� ��� ��'����� (��� ��� �TG� ���� +���"�'��% � � ����(�� �� � ����� # � &� &# ���� � ! � � " � �����Q H����� !J ���� ��� ���! �� � & S � ��� �� ������( ��� ���-��� � � �L����� # � � ��� ���� �� ���� �( ��� �����-��� � � �L����� H��"'� G &EJ &��� � ��� ��� � �� ������� "% ��� � ��� �� ��Q�� �� ��� �� ��� '�(� �( �� ��� # � � ��� ���� ���� � �� ������� �(��� E�� �� "% ��� ���� � �� ��Q�� �� ��� �� ��� ��!�� �( �� ��� HI �! & � &fJ &��� ����� �� (��� ��� ����% ���� �� ���� �� ��Q�� �� T &� � & �� � �"'� ��� � ��� ������ ��� ��� � �L�� ��� � �� " � ����! �$�� ������'% "% .�� -�R # ��� ���� � �� ��Q�� ������ ���� ��'�%�� "% E�� ��&

��� ����� ��� � �� � � ���� ���� � ����� �� ��� � (��� ��� �� ��� � ��� � (� ���� ��'(��M�� �% �( T�� .$ & �� ������ " �(��� ��� ���� �� ��Q�� � � �� ��� ����� �� �� ��''% (�� E��� � ��� �� ���� �( ����� & ��� �+���!� ����� ������ �( ��� � ��� � � ���� � ��� �� �� �������� ��� � � " � �����Q� ����'� � � ����'� � ��� E&f � � - E&� �, # ���� ����+�'%& ����� ���

�G

Page 86: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��"'� G &E) ����� ���� �( " � ��� ��Q ��� ��� >� ?@D CB� = >C� >B�� = >C� >B�� � PON� <= >C� >B� �P��> ��DC��� ��DC��� ��BN= �> ��DC��� ��DC��� <�P�O���BN= �> � ��DC��� ��DC��� <�P�O��

��"'� G &T ) � ���� ����� �( ��� E�-" ��� ���� ����! ���� �L���'�� ������ "% � � ���(��� !�� ��Q�� � �������� ��� ����� ��� �

,� �����Q /���Q��- E /���Q��-T���"'� fF &E& &� &�� ����'� &G &&& &� &f� ����'� � &G &&& &� &&�

"� �����Q� ��� ���� �� ��� ��(% ��� ��'���� ���� " ����� ��� ��! �' �� ���� ����� H/�RJ� � ����� ���� &

��� ���!� �' ����'���+� ���������� (�� ��� ����! ���� �( ����� ������� "% � �� !'��� ��Q�� # ���� E �� ���� T # ��� &G &&& � � &F &E� # ���� ����+�'%& ��� ����! ���� ���� �( ��� ���-�� Q�� HE-" ���J ���� ����! ���� (�� ���� E � � ��� � T �� f� &&f � �F& &Tf # ���� ����+�'%& ��� ����� ���� ������ "% � ���(��� ! ��� �� �� ���� � ��"'� G &T &

��� ����'���+� �������% �( ����! ���� �� �� ��� E��� �� Q (�� ���� "� ��� ��Q ������ � I�! & G &G & ��� � ��(��� � �� ��!������� � ��� �+���!� ����'���+� ���������� �(E-" ��� ���� (��� ��� ���!� �' ���� �� �"��� ET # T� # GF � � G� (�� �O>C �# � �P��>#�BN= �># C�O �BN= �> �# ���� ����+�'%& ��� ���(��� � �� ��!������� � ��� �+���!� ����'�-��+� �������% �� �"��� F # TT # G� # � � G& (�� ����' # ���"'� # ����'� # � � ����'� �#���� ����+�'%&

��� ����� �������� ����� �( ��� E-" ����E�-" ��� ���� ����! ���� �L���'�� "% �� ���������� ��!��!���� (�� ��� ����� " � ��� ��Q ���� ��� ���� � I�! & G &� & ��� ����' ���� ���� ����� '�� ��� �( ����� �������� # ����� ��� ��'��'���� (�� � ���� � ����� ��� ������ ����( � �� !'� �� ��Q�� ��� ����! �$�� �(��� �� ���� ������ ��!��!���� & I�� ���"'� # ff �(������ �( ��� E�-" ��� ���� ����! ���� ������ "% � � ���(��� ! �� ��Q�� ���� ������� "%�� ���� ������ ��!��!���� & ,% ������� �' ���� # ��� /�R �( ���� ������ �� �� ���������(������ H"% �"��� E � � T �, (�� ����'� � � ����'� �# ���� ����+�'% J # "�� �� � � G& �(��� ������ ��� ������� # ���� ����+�'%&

��� ������ �( �� ���� ������ ��!��!���� "% ,�.,// � � "% .,// ��� �'�� �+�'����� &��� ����'�� ��� ���� � I�!� & G &F�G &� (�� ���"'� # ���� '� # � � ����'� �# ���� ����+�'%&�� ��� ���� � ������� ����'�� �"��� �� "% ��� ���� ���� � ����� # �� ������ /�!��!���� � ������� ����'�� �"��� �� "% ����! �$� ! ��� � �L���� �( ��� �� � ������ ��!��!���� # � ��� ������ � ������� � ������� ����'�� �"��� �� "% .,// (��� � �� ����' � ��� # � �!������ "% ��� ���L �� ��% �( (� ��� � ��' (��M�� �% � ��� ������� ��"�������� & ���������'�� ���+� ���� ��� ���� ���� �� ���� ������ ��!��!���� �� �� ����+� (�� �� ���� � �� ��-� � � &

��

Page 87: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� Average performance�� Woman 1�� Woman 2�� Average for Triple’�� Woman 1 for Triple’�� Woman 2 for Triple’

|0

|1

|2

|3

|4

|5

|6

|7

|8

|9

|10

|15.0

|20.0

|25.0

|30.0

|35.0|40.0

|45.0

|50.0

|55.0

|60.0

|65.0

|70.0

|75.0

|80.0

|85.0

|90.0

|95.0 | | | | | | | | | | |

||

||

||

||

||

||

||

||

|

Cu

mu

lati

ve A

ccu

racy

(%

)

Rank

Ideal

Double

Triple

Triple’

��

��

��

���

��

���

���

��

���

I�!��� G &G ) ����'���+� �������% �( ����! ���� �� �� ��� E��� �� Q &

�F

Page 88: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

1-best 10-best

||0.0

|10.0

|20.0

|30.0

|40.0

|50.0

|60.0

|70.0

|80.0

|90.0

|100.0

Err

or

Red

uct

ion

Rat

e (%

)

Ideal

Ave

rag

e

Wo

man

1

Wo

man

2

Double

Ave

rag

e

Wo

man

1

Wo

man

2

TripleA

vera

ge

Wo

man

1

Wo

man

2

Triple’

Ave

rag

e

Wo

man

1

Wo

man

2

I�!��� G &� ) � ���� �������� ����� (�� ��� E-" ����E�-" ��� ����! ���� �L���'�� �( ������ ���� &

||0.0

|10.0

|20.0

|30.0

|40.0

|50.0

|60.0|70.0

|80.0

Cu

mm

ula

tive

Acc

ura

cy (

%)

Proposed

aver

age

Wo

man

1

Wo

man

2

Without Direction

aver

age

Wo

man

1

Wo

man

2

Without Segregation

aver

age

Wo

man

1

Wo

man

2

I�!��� G &F ) ����'���+� �������% �( ����! ���� �� �� ��� E��� �� ������ (�� ��� " � ��-� ��Q ���"'� &

�f

Page 89: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

||0.0

|10.0

|20.0

|30.0

|40.0

|50.0

|60.0

Cu

mm

ula

tive

Acc

ura

cy (

%)

Proposed

Ave

rag

e

Wo

man

1

Wo

man

2

Without DirectionA

vera

ge

Wo

man

1

Wo

man

2

Without Segregation

Ave

rag

e

Wo

man

1

Wo

man

2

I�!��� G &f ) ����'���+� �������% �( ����! ���� �� �� ��� E��� �� ������ (�� ��� " � ��-� ��Q ����'� &

||0.0

|10.0

|20.0

|30.0

|40.0|50.0

Cu

mm

ula

tive

Acc

ura

cy (

%)

Proposed

Ave

rag

e

Wo

man

1

Wo

man

2

Without Direction

Ave

rag

e

Wo

man

1

Wo

man

2

Without Segregation

Ave

rag

e

Wo

man

1

Wo

man

2

I�!��� G &� ) ����'���+� �������% �( ����! ���� �� �� ��� E��� �� ������ (�� ��� " � ��-� ��Q ����'� �&

��

Page 90: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �� �� ���� ��� � ���������

���� ������� ��� ����� ��� ���'�� � ��% ����'�� �( �L� ���� � �� � '���� � ! �� ��+���' ��� ���� � �� & /� ���� ������ ��!��!���� �� ���� ���� "% �L������ ! � � !����� ! ����� �������� (��!�� �� ���'� ��"������� ! ��� ������� (�� � -���� � �� ����� � �� & /� ����� ��!��!���� �%���� ���� � "� ����' � ��� # �� �� � ���(��� � ��� ����� � ��Q�+ ����'H.�� J "���� �� ���� ����! ���� �%���� � "% �� +���� ! ��� ���� � ! ���� �� "� ����' ���� &�L� ���� � �� � ��� ��� ��L����� �( ��� ��� � �� ������ ��� �( � ���'���� ���� ���������� ���� ��!��!���� ������ �����+�� ��� M��'��% �( ��� ��!��!���� ������ � �+�� " ��� ����L ���� ! � � ����' �%���� � � ��� �������� -"���� ������ ��!��!���� �%���� & �� �� �'��(�� � ���� ����� ����'�� ���� ��� �� �� "� ��!��!���� �����������'% ��� ��� ! � '%��� � ������� �� & � ����+�� # ��� ����! ���� �L� ���� � �� ������ ���� ��� ����� �������� ���� (�� ��� E-" ����E�-" ��� ���� ����! ���� �( ���� ���� �� ������ �� �� # � �+���!� #FG � � f� # ���� ����+�'%& ���� � ��(��� � �� ��� ����� �� � ������ ��� ! � % (��������� ����� �� ���� +����� &

���� �� ��� � ��� ���� ������� ��� � �� �� /����Q� �������� # �� '���� � ! �� ��+���'��� �� ����'�� ����'%& �� ����'� '�Q� �� � �Q� ��� (�''�� � ! �"���+���� � &

E& � ��� �( ��� ��� � ������ ��!��!���� �%���� � ��+�'�� �� �� (�� �E� # E� # T� # && # E�F���� � % ������ �( ��� � ��� ���� � � ���� �� � � "���� & .���+�� # .,// � �,�.,// �%���� � ��� ��� ���� �+��'�"'� �� ���� ��� � � � ���� �� � ���� � ��''%&���� � ���� � ��' ��� ����� ! �� �L� ����� �� � �Q� ���� ������ �� �� � ���' ��� � &

T & � ������� �' � (��� ���� � �% "� �L������� "% ��� ! � "� ����' � ��� �E� # ��� �� "% � �-������ � ����%� ��& # E��� & ��� ����� � ����'�� ���+� ��� �� ����+� ��� �( '� ��'�$���� ���� �� "� �����+�� "% ��� ! � "� ����' � ��� & .���+�� # �� �� ��!����� ��� ����!- ���� ���� ��� �� �� �����' � �������� � � ���� ��� �� %�� " �� �������� & �����(��� #�� ��� ����� �'% � !�!�� � ����! � ! � ������������� ����� ��� (�� � ��!���� !.,// � � ,�.,// �� �+����� � ��� ����"��Q� ������ "% � "� ����' � ��� &

� & ��� ������ ���� (�� �L������ ! � ������ �� � ��� �� �� � �� �� "���� � ��%-�����%����' �"���+���� � �( � ��Q� ! �� ���'���� # �� ��� ��� ���������� �EE�� & ����� ����� �� �� ������� �� " � ��� � ��� �����L �� ���� (�� �� ���� ������ ��!��!���� #" ������ �� �� �� �� ��� � % ��������������� �� ����� �� ��� � +����� # � &! &# (��� � �� &� ������� # �� ����'� ������� �� � ��������� � � ���� ��� �( ��� ��!��!���� � �!����� ! ��� �� � � �( ��%������������ ���� �� ����� � ��� # �� ��� # K� � � I�����'���� � # (��� � �� # � � '���'�$���� ���� �� �'�+���� � � �$����� &

G & I�� � '�(�-��!�� H(������J ������ �'!������ ���"� �� � ��� .�� -"���� �� ���� ����!- ���� �%���� � # ��� '���� ! ���� �( � ��� � �� +��% ������� � �� ��!���� (� ���� !��� ������ � � �( ��� '���� ! ����� ��� � ���� ! # ��� ����! ���� (��'� & �L�� � ���� �( ��� ����! ���� ������ � ���� � ���� ��� '����� ���� �( � ���� �� � ����� � � �( �����'�L ���� �� �(�� �'���'% ����! �$�� # "�� ���� �� ���'' ������� �� (��'��� & �����-(��� # � ������������� ������ �'!������ �� ��M����� ���� ���� �� � ��� ��� � � �'�% �(� �������� � ��� ����! ���� �� ��� &

� & /� �� � (��!�� � �( � ���� �� ���� ��������'% ��!��!���� ��� ��� ���'� ���� # ���-��� ��� ����� ! �� �L� ����� �� �'�% � ������� � ��'� � ��� ����! ���� & �������

�&

Page 91: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������� ��+�'�� �� (�� �� ���� � ������ �� ! �%���� � ����'� "� � ���������� �������+� "��� ����! ���� � � � ������ �� ! &

F & � ���� ������ # � ��� ���� ��������-�%� � .�� � ��� ���� (�� ��� � ����' ������� � � &.���+�� # .�� ���� �'�!��� ��+� " �� �����+�� � ���� � %���� # ��� ����''% � ���� ��( ����� ��"��� ��� ��& # �� # E�&� & K �+�'����� �( ��� �������� �� ���� ��������!��!���� ������ "% ������������� .�� (��� ����Q� ��� �� � �� (����� ���Q &

&�

Page 92: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ������ �

��� ��� �� ��� ����� �� ��� ������������� �� ������ � ���

� ���� ������� # ��� � � ��'�!% �� � �������� �� � �� (��� ����Q (�� � ��!���� ! ���-��� � � "����� -�� �������� ! # �L ���� ! ��� � ������ ��!��!���� �%���� � # � � (�� � ���(��� !��� � ������ ��!��!���� �%���� � � ��� ���'������ � & .��� # ��� � � ��'�!% �� ���� ���� ���(% � ����� ������� ����� �( "��� ��� �� � � � ����� ����������� �( ��� ���� ����� ! �� ���"� � � ��+ ����' ��� � ������ ��!��!���� �%���� � & I ���� # ��� � � ��'�!%�� ��� �� � ������� � &E # ��� # � � ��!����� ������������ ��� ! ��� � � ��'�!% "���� � R�K �� �������� � ������� � &T # � � ��� � � ��'�!% "���� �%���� � ��!����� �( � �� ���������� ��!��!���� �%���� � � � ����� � ������ �� ! �%���� �� ����� ��� � ������� � &�

� 12 �6� 68 ; ��

/�� � � ��'�!% �� �������� �( <�P�O ?�C<< ><# O>� � NAN��< �$ N�ON"NOPC � <�P�O CAABN�PA><#� � A@ >NB B>�CAN��<@ N= <& �� �� ��� �� �����������''% "% ��� ! ��� (�''�� � ! ��� �����"���� )

* ����Z�� � ][������ � � ��������% "���� � ��� � �'���� ��'���� � ��� �* �\Z� � ][������ � � ��������% "���� � ��� �"�������� '�+�' � ��� �

������ ��� ���� �( ��� � � ��'�!% ��'���� �� �� ���� � � ����� ��� ���� � I�! & E&� &S���� ��� ���� � �% " � ��� �� ��� �� �� �������% �� ��!��!��� ������� � �� ! ��� �� &���� ������ (� ����� � �� ���� � � ������' ������ ��!��!���� &

K "�L ������� � ����-�( ��������% �( "���� ��� � �'����� (�� �� ���� � � ����� # ������� �������� �( (��� '�%��� �( ��� � �'����� & K ����� ������ � ��� �!��� �� � �������'��M�� �� �( ��� �� !� ������ "% � �� !'� ��� � ������ & K ����� ������ ���� �� � ����( ��� � ������� ���� ����� ��� � ����� ��������������� ���� �� ����� & K �!��"� #�� ��� � �� �� ���� ��� � � ������ � % ������ # � � �� ��� ��� � '��-'�+�' �����"���� ���� ������ � �� ��������� & � ���� '�%�� # � ����� �'��� �� �������� �( '���� �'����� ����� �������� � �� ���� ����� ������ ����� ��������������� & I�� �L���'� # � ����� �� �������� �������� �( (��M�� �% ����� � �� ���� ��+� ����� �� ��'���� ����� &

& E

Page 93: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��� ��-� ��������% �� " � �� �������� ��� ! � % �"�������� '�+�' & I�� �L���'� # +���� #(�� �'� +���� # ��� +���� �( � �������'�� ���� # �� � ��� � �� ���' +���� (��� � ��-���������% & H��� �� ������ � I�! & E&� &J

� ��� ��� � � ��'�!%# ���� �'��� ��� ������ �����"���� # ���� �� (� ��� � ��' (��M�� �%#��%��� # � � ���"�� & K '���� �'��� � ��� ��-� ��������% � ������ ��� �����"���� �( ��� ��� ���'����� "% ��(��'� � '��� � ����� �� ����' �� ��������� �� !�+� & � ����� ����� # � �"��������� � �'��� ��� �����"���� ���� ��� ����� �� ���� �� ����� ��� � �'����� & � ������� #� �����''% !� ������ ��� � # ���� �� ������� �� ���� # �� ������� �� � � ��� �� �( � ��� ��'��� & � ���� ������� ����� # ��!��!��� ! � ��� � ������ ��� � !� ����� ! � � ��� �� �(� ��� � �'��� � � �L������ ! ��� �����"���� (��� � � ��� ��� � � �L���� &

� 1 � 9 : �5� ��7�5 � � �6� 68 ; ��

� �� �� ������������� ������ ���

/�� � ������ ��!��!���� ����'� �� � ���� � ��''%# �� � � "���� # " ������ �� �� ����''%���"� �� � ��� ���'������ � � � �� �� � ��� �-�'� � �%���� & I�� � ���� � ��' ��� ����� ! #�� �L�'��� �� � '% � (��� ���� ����� ! "�� �'�� �������� ! ����� ! & �����(��� # � ����� ��� ��!���� �L ���� ! ��!��!���� �%���� � ���% ��� � ��� ���������� � �� ��� ����� ! ����'��"% ��� ! ��� � � ��'�!% �� � ����� ����������� &

���� ������ ���� � �L���'� �( � ��!���� ! �� ���� � � ������' ������ ��!��!���� & �������'���$���� ��������� �� " � ���'� �� �� (�''�� � & I ���� # �L ���� ! ��!��!���� �%���� ���� ��+ ���� � �� �������� ! ����'�� # ���� �( ����� ��!��!���� � �'��� �( ��� � � ��� �� ��'�!%# ���� �� # ����� �� ��������� # +����� ��!�� � # � � ������' ��� & ��� # ���������'�� ��� ���"� �� � �� ��!��!��� ! ������ � ������� ! �� ����� ��� ����� ��� � �%��� &

S"+����'%# ���� � ��!����� ��M����� � ��������� �( � �������� "����� ��� ��� � Q� ���( ����'�� & �� �� ���(% ��� ��'���� ����� " ����� ��� �� # � B>�CAN�� ?�C<< �� ��� �� "����� ��� ��� � �'����� & �� �� ������� ��� "% � ���� �( ��� � �'����� # ���� �� ���� ���� # ������' ���� & K ��'���� �'��� ��� ��� ��� � ��� �����������' ���������� �� ��� � �'����� ��� ���� (�''�� � ) �( � � � '% �( " ��� �'����� �( � ��'���� �'��� ��� �� � '�+�' � �!��� ��� ������( � ����� ��'���� �'��� � ��� ��-� ��������% H�� � ��� ����-�( � �������%J # ��� (��� �� ���� � ��!��� '�+�' & � ��� ��-� ��������% # ��� ����� ! � ���'�� � � � �������� ����'�� ���� ������� "% � '���� '�+�' (��� � ����� '�+�' � '��� ����� � ���'�� ��� �� ������ �� ��� �'���� �'��� &

S ��'�!%-"���� ��� � ������ ��!��!���� �� �L������ "% !� ����� ! � ��� ��� �( ��� ��'����� � � �L������ ! ����� �����"���� & ���� ������� �� " � ��+ ���� � �� (��� ���Q� )

E& � � �� ��� � ������ � � � ��� � � �L���� #T & ��� ��(% �'����� �( � ��+ ����' ��� � ������ � #� & �L����� �����"���� �( ������ � ������� ! �� ����� ��� � �'����� # � �G & �L����� ��� � �������� " ����� ������ � ������� ! �� ����� ��'���� �'����� &

&T

Page 94: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

/� �� �'����� �( ��� � ������ � ��� �� ����''% !�+� � ��+� �� # ��� � ������ � ��� �������� ����''% �� � ��� ��� �( �"������ �'����� & ����� ������ � ��� ��� �� � �� ���� �� ������'����� �� ���� �����'�� �����"���� ��� �L������� & K� ��� ��� � ��� � # ����� ������ � ������ ����� �� ����� � �� �( ������ !����� �� � ��!��� '�+�' �( ��� ����-�( � �������% # ������ ��� ������' ������ & K� � ����'� # ��� �����"���� �( ����� ������ � ��� �L������� �����������'% "% ��� ! �� ������ � �� ����� �� �� ����� �'����� � � "% ��� ! �����"���� �L�������(�� !���� ������ � &

� �� �� ����� ������� ����� ���� �� ��

��� �K/K ���''� !� ��M����� �� ���� ������ ��!��!���� �%���� � �� � ���(��� � ��� ����-� ���� �� ���� ����! ���� �%���� � & I ���� # � �� ���� ������ ��!��!���� �%���� �L������ ������ ���� ������ (��� � � �L���� �( ��� �� & ��� ���� �L������� �� ���� ������ �� ����! �$��"% � �� +� ��� �' ����� ���� �� ���� ����! ���� �%���� &

, � ����' ����� �� ������ ��!��!���� H, �.,//J �� � � ���� �������� ���� ��� " �� ���� (�� �� ���� ������ ��!��!���� ���� & ,% ��Q� ! ��� ��������� �( �+���' H� J � �� �� � �H� J � +���' H� J �( �� ���� � �� �� ��������� # � �� ���� ������ ��� �L������� "% ���(�''�� � ! ����� ��������+� ��"��� ������ )

E& ����� �� ������ (��!�� � �L������� #T & ����� �� !����� ! # � �� & ������� ��"�������� &

��� � ��� ��� ��"��������� ���� ������ ��� ���� � �� ����� �( �� ���� � � ��'��'��� ���������� "% ��"������ ! �'' ��� �L������� ���� � �� ����� (��� ��� � ��� & /� �� � ��! �������"���� (�� �L������ ! � -���� � �� ����� ��+� " �� Q �� %�� # �� �� ����� �"'� ����"������� ��� ������� (�� � -���� � �� ����� & /� �� , �.,// ���� "� ����' ��� �� H����� �( ��� �� �������� "% � ����% ���� � ������� �J �� � ���� # �� ���� ��� �������� �(��� ��� � ������ (�� ��!��!���� & �� ��� ��� ����� ���� ��� ����! ���� ���(��� � �� � ������ ����� � ��Q�+ ����' "���� ����� ���� �� ���� ����! ���� �%���� ��''�� .�� -�R��T� �� " ����� ��� ��� ������� �( �'' � ������� � �� ��"�������� # � &� &# ��� ��� ! , �.,//-KR # ��� ��� ��� ������� �( ��� ��� � ������ �������� �� ��"�������� # � &� &# ��� ��� !, �.,//-SR ���� &

.���+�� # �� �� � ���(��� �� �� �'��%� ��� ������� (�� � ����� ����� ���� �� ���� ����!- ���� �%���� & S�� �L� ���� � � � ��� � � ���'%-���� ���������' ����� ���� �� ���� ����! �-��� �%���� � # .�� �EE�� # ���� � ���� ��� ����! ���� � ��(��� � �� �� �����+�� "����� "%,�.,//-SR ��� "% ,�.,//-KR & ���� �� " ������ ��� ����! ���� ���� ���� "% .�� -�R� � .�� ��� ��� & � !� ���' # ��� �������� ���� ��� �� ���� � .�� -�R �� �� ����+� �� �'' � �� �� � �� �����' � +�'�� � & � �+�����'��� # ��+���' � -�L ���� � �'' � �� �� ��� �������� � +����� �� �� � �� "% ,�.,//-SR & �����(��� # , �.,//-SR ���� �� ��'' �����+���� .�� -�R "���� � �L�� �� ���� ����! ���� & ,% �� ����� # .�� ���� � �'-(��M�� �%�������� ���� ��� �� H�I�� J �� ����! ���� (������� � � ���% ��� ��'���+�'% � �� ����+��� �'' � �� �� & � ����+�� # ��� � ����� � �� �( �L��� ���� ��� �� ��� �L�'���� (��� � -+����� �� �� � �� "% ��� ! , �.,//-SR & K� � ����'� # , �.,//-SR �� � " ����� (�� �-� ��%���� (�� .�� "���� � �L�� �� ���� ����! ���� ��� ,�.,//-KR &

&�

Page 95: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Music

Part-of hierarchy

Is-a hierarchy

Harmonicstructure

Non-harmonicstructure

Sound ofinstrumentSpeech

Frequencycomponent

Non-harmoniccomponent

(Sound class in inner circle is a kind of sound class in outer circle)

Sound source group

Single sound

Sound source

Component ofsingle sound

I�!��� � &E ) . ����������' ��������� �( ��� � � ��'�!%&

���� # �� ���� ������ ��!��!���� �%���� � ����'� !� ����� � ������ ����������� ����������+� ��� ����� ! & /� �� ��� �%���� ������������ �( ��� � ������ ��!��!���� �� �� -�������� � ��� "���� �( ��� � � ��'�!%# ������+� ������ !� ������ �� �'�� ���'�$�� "% ������ � ������������ &

� �� �� ������ ��� � ����� ��� ��� �������� ��������

��� ������� ����� �( �� !'� �� � ����� � �� �'�� � +�'+�� � �'%��� �� ����� � � ��� �������� �%���� �L������ ��� �����"���� �( � ��+ ����' ����� � �� & ���� �� " ������ ��� M�� ��-����+� � �� � ! �( ��� � �����"���� � �% ����� ��� � �� ! � ��� � �'%����' � ����� ���� �����'�%�� # (�� �L���'� # II� # �������% � '��� "� Q # � � ��� � �'%��� # � � �'�� ��� � �� !� ��� � �'%��� ���������� &

I�� �L���'� # � ���(��� �!� �� ��� � ����� �"������ ���� � �'�!% ����� � �� �����-���� ��� �L��� !� ! � (��� ���� � +����� ��!� � �� � � � ������' ���� " ������+����� ��!�� �� � � ������' ���� ��� "��� Q� �� �( ���� � �� ��������� "���� � ��� �� ��'�!%& S( ������ # +����� ��!�� �� � � ������' ���� �� �� ��+� � ����'% ��� ��� �

&G

Page 96: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�����"���� & � (��� # ��� ��� � ������ � �( +����� ��!� � �� ��� !����'% ������ � (��� ����� �(������' ���� # ����� ��� � # (�� �L���'� # ���� ��� � ����� �� ����� � �� ��� ��� � ������������� ������� ! �� ����� ��� ��� ��� ����� � # ���'� ��� ��� � �L��"��� M���� � ��Q����+ ����� � (��� ���� � ����% ���� ! ��� �����Q ������ & � ����+�� # � � % (��M�� �% �����- � �� �( � ������' ��� ��� �(�� �������" '� �� ����� !���� (��� ����� �( ����� ���� � ����� ��� ������� �� � ��� �( ���� � �� ��� �� # " ������ ���% �+��'�� ���� ����� �� �� �-���'% � � ����� & ����� �����"���� ����'� " � �� �'�� �������� ������ �'% � ���� �%���� &�����(��� # ��� �� ����� ��� � �'����� �( � ����� �� ��������� H� &� &# � +����� ��!� � � �� �������' ���J �'�� ��+� �����"���� �� ����� �� ��� �'����� &

���� # ��� � � ��'�!% � �"'�� ��!��!���� �%���� � �� ����� � (��� ���� � �L���������� � ������ � "% ���+ ��� ! � ����� ������� ����� �( ��� �� � � �������� �� �� " �-���� ������ � � �'%��� �� ����� � &

� 1� �68 ; ����7�5� �:55�� 76� �����7; �8957� �5��95�78 � 6

&� �� �� ����� �������� �������� ������

/����� � � ������' ������ ��!��!���� �%���� � ��� � ��!����� � ��� "���� �( ��� �� ��'�!%& K� �� ��� �� ���'��� # ��� �%���� � # , �.,// � � S�� ��K �Gf� ��� ����������� �� ���� ���+� ��� ����� ! ����'�� �� (�''�� � )

* � �� ����� ! � ���'�� (�� �� ���� ������ ��!��!���� )E& +���� ��!��!���� #T & � +����� �� �� � � H�������' ��! �' �(��� �'' ����� �� ��� �� ��+� " �� ��"-

������� (��� � ��� ��! �'J �L������� #� & ��M�� ���' !����� ! �( +���� # � �G & � +����� �� �� � � � �����'���� &

* � �� ����� ! � ���'�� (�� ������' ������ ��!��!���� )E& ��� �L������� #T & ��� �������� �( ��� � ������� H� ������ ��J #� & ��%��� �L������� #G & ���� �L������� # � �� & Q �� '��!� ������� ���� ����� ������' � (��� ���� ���������� &

��� ��'���� ���� " ����� ��� ����� ! � ���'�� �� ���� � I�! & � &T & /�� � ��� ����� #���'� ������ ��� �� ����� �� �� ���� �� ������' ������ ��!��!���� &

����� � ���(��� ! ����'�� ��� ����! �� �� � ��!���� ��� � ���'�� � � +���� � � ������' ��� ������� � ���� # � ���� ���+� (� ���� ��' (��M�� �% ������ # � � � �� !'� �� � ������� ������� &

&�

Page 97: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Harmonicssegregation

Musicsegregation

Speechsegregation

Instrumentsegregation

Residueextraction

Residualcomponent

Frequencycomopnent

Voicesegregation

Processing specificto speech segregation

Processing specificto music segregation

Commonprocessing

I�!��� � &T ) ����� � � �� ����� ��� ����� ! � ���'�� (�� �� ���� � � ������' ��������!��!���� &� �� �� ����� ��� ������ ���� � ���� �����

� � % ��! �' �������� ! �'!������ � ��+� "�� ����� ��� ���� ��� ����! �� �� ����� !������� � �'����� & ����� �'!������ � � �'��� ������� � � � � �'%��� � � ��� ��"����� � ������Gf� & I�� ����'����%# � ��������� �������� �� ������� (�� ��� (� ���� ��' (��M�� �% ���-��� �( � ���� � �� ������ & K ���� � �� ��� � �� ����! �$�� �� � ������' ��� �( ������ ���� ��+����� �( ��� (� ���� ��' (��M�� �%# �� ���� �� ��� # (�� � ��''����� �� (������ "�!� � ! �( ��� ������ # �������� ��� (�''�� � ! � �M��'��% )

��� � ��� � � #����� � � � � ��� �� ��� �� # � � ��� �� ��� �+���!� (� ��� � ��' (��M�� �%& S����� ��� #��� ��� � �� ������� �� � ���� �( �� ���� &

� �� �� � ����� ��������� ������ ����

K ���� ���+� (� ���� ��' (��M�� �% ������ �� ������! �� # �'����!� ���� � ������ �� ���'����'%��"����� � ,�.,// �� S�� ��K & ��� ���� ���+� (� ��� � ��' (��M�� �% ������ �L������� ���� � �� ��������� �� ���� (��� � ��� � �� (�''�� � )

E& ��� (� ��� � ��' (��M�� �% �� ��� �L� (��� � ��� � �� ��������� "% '� ���'% �L�� �� !��� ��� ����� ������ # � �

&F

Page 98: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

T & � ����� �� ��������� ����� (� ��� � ��' (��M�� �% �� � ��� ��!�� ��!�"��� ! ������������ � � � ��� �L� (��� � �� ����Q�� �� ��� (� ��� � ��' (��M�� �%&

/� �� ������' ���� ��+� � �� ����� (� ��� � ��' (��M�� �% ������ # ���� �� # ������'���'� # �� �� "� ���� �� � �� ����� � � � ������' ������ & �( � ��� � " �� ! ������ ����� ����� �� � ������' ������ # ��� ���� ���+� (� ���� ��' (��M�� �% ������ �� ���'���� "%� ������' (� ���� ��' (��M�� �% ������ & I���� # ��� (� ���� ��' (��M�� �% �� ��������� "%��'��'��� ! ��� �+���!� (� ���� ��' (��M�� �%# � � ��� ������ ��!�� (�� ��� (� ���� ��'(��M�� �% �� ���������� �� � ������� ��!�� ��� ��� ��(��'� & K � � ����'� �( ��� ! ���������� ����� �� # ���� ������� � � '��� ��"�!���� (� ���� ��' (��M�� ���� �( ������' ������ "� �L������� &

� �� �� � �� �� ����� ���� �� ����

��� �%��� �( � �������� ����'� ��+� " �� ����! �� (�� ��� " ����� �� !'� ��� � ������� � ����� �� ����! � ��+ ����' ����� �� ����� � �� �� � ������' �� �� ���� ������ ��!��!���� �%���� ) � � ����'� � ��� ��'���� �'��� ������ � �� ��������� # ����� �� ���������� # � �� ����� � ��� ��'���� �'��� ��������' ��� # ������' ���� &

��� � �������� ����'� � ��� ��'���� �'��� ������ � �� ��������� # ���� � �� �����-����� ��� �� ��(��'� � �������� # " ������ ������� �� ��������� # ���� � �� ���������� ����� ���� � ��'���� �'��� �( ��������' ��� # ������' ���� � � �� � & ���� � �������� ����'� ���������� �+��'���� ! (��M�� �% ����� � �� � �� ������ � � ��� ���� ��% ��, �.,// �fG � &

��� ����� � ���'� � ��� ��'���� �'��� ��������' ��� # ������' ���� '��+�� �+��'���� !(��M�� �% ����� � �� ������ "����� �� !'� ��� � ������� # " ������ ���� ������������ �� +��% ��� ��'� �Gf� &

��� ����� ��'���� �'����� ���� �� ���� ���� # �� ���� � ��� �� �L�'����'% �� ������ # "��� ����� ��� � �������� ����'�� �( ��� ��(��'� ��'���� �'��� ������ � �� ��������� # ����� ������������ &

� �� �� � ������ � �� ���� ��� ������ ��������

K �+�'����� ��� � ��(��� �� � ��� � �� ����' � �L���� �� ����� ! �( ��� ������' ������K�'� �� ! /% � �'�%�� � ���� � � ��� � H��� � �% �����$�� "% � ����'��J � � � ������� "% � ���� ������ ! � ���� ��� �� �� �� & ��� �� �����!��� � �( ��� � ��� � ��L������� ����� �� ������ � ��� ���� � I�! & � &� & ���� �!��� ���� � ���� ��� ������%� ��%���� �� ��!��!��� ��� �� ���� � � ����� ������ � �'���� �������'% �'����!� �� ������ ����' ��� �� ������ ��� "� ����' ��� �� �� ��� � ��� & �� �� � �� ��'� (�� , �.,// ����!��!��� ����� ������ � �������'% (��� �� ����' � ��� " ������ (� ���� ��' (��M�� ���� � ��� � �L���� � ������� ��+���' ��� �� & K '�� # S�� ��K �� �� �L����� (� ��� � ��' (��M�� �%�( �� ���� �����������'%# �� (��'� � ����Q� ! �� � '% ��� �� ���� ������ "�� �'�� ����� ������������ �( ��� "��Q!��� � ����� &

S( ������ # ��� ��� (� ��� � ��' (��M�� ���� �( ��� +���� � � ��� ����� ����� ��������� # ��� ��� � ������ � ��� �� �'��%� ��!��!���� �������'% �+� ��� ! ��� � ��!�����

&f

Page 99: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

Time (ms)

Frequenc

y (Hz)

0 1000 2000 3000 4000 5000 6000 7000 80000

100

200

300

400

500

600

700

800

900

1000

H�J � ��� � �L���� �( ����� HK�'� �� ! /% �J � � ������� H(�� �'� +����J

Time (ms)

Frequenc

y (Hz)

0 1000 2000 3000 4000 5000 6000 7000 80000

100

200

300

400

500

600

700

800

900

1000

H" J /�!��!���� ���� � �� ������ ������� � �� ! �� ������� H(�� �'� +����J

Time (ms)

Frequenc

y (Hz)

0 1000 2000 3000 4000 5000 6000 7000 80000

100

200

300

400

500

600

700

800

900

1000

H�J /�!��!���� ���� � �� ������ �������� �� ! �� ����� HK�'� �� ! /% �JI�!��� � &� ) /� �����!��� � �( � ��� � �L���� � � ��!��!���� ����� �� ������ � &

&�

Page 100: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�%���� & ���� ���"'�� �� � �+����"'� �( ����� ��� �� ��� � '% �'�� (�� ��!��!���� & K ��� ��� �� "�(��� # '� ��'�$���� � (��� ���� �� � Q�% �� �+������ ���� ���"'�� & , �.,// ���L� ����� �� �����+� ��� ��!��!���� � ��(��� � �� �( ��� � ��� ��! �'� ��� �������� ��� ! ���� �( "� ����' � ������� � & ���-��� ��� ����� ! "���� � � (��� ���� ���� �� �� �� �� �(������ ��� � � ���������� �( ������' ������� � �% �'�� " � � ���� ��� ! ��% �� � �����'��� !��� � �����"���� ����� ��+���' ��� � ������ � �+��'�� � ��� ���� ����� &

/��� ������� �' ����'�� ���� �� � � +����� �� �� � � � �����'���� ����'� � ���%��� � � ����� �L������� ����'�� ��� � ��� ��+�'��� � � �� �����+� ��� ��!��!���� ���(��� � �� (�� �'' +���� � � ����� ����� &

� 10 ��� 79� 76� �������� 6

/�� � � ��'�!% �� ����� ��� �� � �� (��� ����Q (�� � ��!���� ! �L ���� ! ��� � ��������!��!���� �%���� � # � ���(��� ! ��� � ������ ��!��!���� �%���� � � ��� ���'������ � # � ���� � ��!����� �( ���-��� � � "����� -�� ��� ����� ! & ���� �� # ��� � � ��'�!% �� ������� ����� ������� ����� �( ��� �� � � � ����� ����������� �( ��� � �������� ! �����"� � � ��+ ����' ��� � ������ ��!��!���� �%���� � & �� " �'��+� ���� ��� � � ��'�!%�� � Q�% �� ���'�$� ! � �L�� ��" '� �K/K �%���� "������ �� ���+���� � �%���� ���� � ��������� ��+� ��� ��� '� � ��� ��!��� �� � ��!���� ! ��!��!���� ���� �'�!��� &

I����� ���Q � �'���� ��� ����! �( � ��� � �+����' ��� � � ��'�!%# ��� (�''-���'� �� -�'�� � ����� �( �� ���� � � ������' ��!��!���� �%���� � # � � � ������� �� ���' � ��� ����K/K ���''� !� & ���� "�� �� '���� # � �� ! � ��% �� �� ���' " ����� -�� ��� ����� ! � ������-��� �������� ! �'� ! � ��� � ��� � � ��'�!% �� ������� � � � �L���� ! (����� ���Q &

&&

Page 101: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

E��

Page 102: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� ������ �

�� ��� � � � �����

���� ������ ��� ����� �������� ����'�� � ���������� �' �������% ��� � � �'%��� �� ������"% ��� ������ & K �������% ����� ��� ��� � +����!���� ���� � �"'�� � �������� �� � -������ � ��� �� � � ���'-���'� � +��� �� � ����� ���� ��� � � ��� � � �!�� ���������'�� ����'%& K R�K "���� ��� � ������ ��!��!���� (��� ����Q ��� �������� "����� � ��'��-�!� � ������!� & R�K ����� � (��� ����Q ���� �� �� �'� � +�����% �( # � �� Q �� ��"�� �( ��� � ������ � � � ��� � � �L���� & � �� ������ ��!��!���� �������"���� � R�K ���� ����� ��� ��� ! ���� � �� ��������� # ��� � ������ '� ��'�$���� # � ��� �����' ��"������� & ����� � ������ ���� ���+� �� " � ����"'� �( ��!��!��� ! ����� ����'-�� ���� ����� �� ������ � (��� � "� ����' ��� � � �L���� # � � �'�� ����"'� �( ���'������ �� ��� �� ���� ������ ��!��!���� �( ��� ����'�� ���� �� ��Q��� � ������ ��� � �'��� ! � -+����� �� �� � �� & K �L� ���� � � � � �L�� �� ���� ����! ���� ���� ������� ���� ������� ���� � ����� (�� ��!��!��� ! �� ���� ������ � (��� � �L�� �� ���� �����+�� ��� ����!- ���� �������% �( ��� �L ���� ! ��������� �� ���� ����! ���� �%���� & /�� � � ��'�!% ���'�� ����� ��� �� � ��!���� +�������� �( ��� � ������ ��!��!���� ������� ��� ! R�K &��� � ��!����� �( � �� ���� ������ ��!��!���� �%���� � � � ����� � ������ �� ! �%������ ����� ��� "���� � ��� � � ��'�!%# � � ��� � ��!����� �%���� �� ���� �� " � �"'� ���������� � � �L���� �( ������� � � "��Q!��� � ����� � �� ��� ����� � � ����� &

������� E ��� ����� �� +� ��� �' ���������� �� ���������� �' �������% ��� � � �'%-��� & � � % ��� � ������ ��!��!���� ���� �'�!��� ��+� " �� � +����!���� � ��� � �� �'%#"�� � ��� �� +� ��� �' ���������� ���� � '% � (�� �( ��� ��!��!���� �'��� & � ��+ ����'� ������ ��� ������ � ���� � ���"'�� � ������ "% ��� ��!��!���� �'��� ���% ���� # � ���� ���� '�� ���� � ���� � �( ��!��!��� ! ��� � ������ � ��� ���� ! � ���'-���������' � +�-�� � � �� & /�+���' � ��!����� ������� (�� ��� � ������ ��!��!���� "���� � "'��Q"���������������� ��+� �'�� " �� ������� � ��� ��!��� �� ���������� �' �������% ��� � � �'%-��� & .���+�� # ����� � ������ ���� �� ����������� �� ��� (�� �-� � (�� +�������� �( ��� ���� ����� ! �%���� � "������ ����� �������� ! ��� � ���� �� � ���� � ��' # "�� "���� ��%'� &� ����+�� # �� ���' � ���� ��� � "����� ��� ��� � Q� �� �( Q �� '��!� ������� # ���� �� ���-�'���� �( �� � ��� # � � �� +��!� �� �( � �������� # ���� �� ��'' �� �������� # �����(��� #���% ��+� ���"'�� � � ���� � �( � ������ ! ����� ���'� �� ���' � ��� ���� ����'�L ���"-'�� � # ���� �� ����� �-"���� ��� � ������ ��!��!���� & K � ��!���� �� ���� ����! ���� ���������� # � �+�' �� ���� ����! ���� � ����� "���� � ��� � ���� ! (������ �����% ������� �'% ���� ���� (�� ���'� ! � ��� � -������ ��% "��Q!��� � ���� & ���� �������� ���-

E� E

Page 103: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

������ � �����+ � ! ���% �� ���� ����! ���� # "�� � '% � ��� '�� ���� "��Q!��� � ���� #���� �� ��'���+�'% ������ ��% "��Q!��� � ���� �� ��������''% � ������ ���'���� & I�������������� �� ��M����� �� ���' � ��� ���� ���'����� � -������ ��% "��Q!��� � ���� �������� &I�� ���� ���� ��� # ��� � ������ ��!��!���� �� �'�� �L������ �� �'�% � ������� � ��'� � �L������ ! ��'��"'� � (��� ���� (��� � ���% ��� � � �L���� &

������� T ������" �� ��� "���� ���� �( ��� ��'��-�!� � "���� ��� � ������ ��!��!�-��� & ��� .,// �%���� ��!��!���� ����� �� ��� �� (��� ����� � �L���� "% �% �� ���''%�''� ���� ! �!� �� ���� ����Q ����� �� ��� �� # ��''�� ������� # � � ����'+ � ! � ���(��� ��" ����� ���� � �� ��� �� �����!� ��� � �������� "����� ������� & � ����� �� ���������� �� � � ���� !���� ������� # �� ��� (�� � �� "� �� ����+� �� � ������� � � ���� �!� ������ +���(% ��� �� ����� � �����"���� �( ��� ��� � ������ � ���� ��� ������� ����� & .��� #��� �� ����� � �����"���� ���� �L�� � �� � ���� � �( ��� ��'���� ����� " ����� �L������������� � � � ��� � ��� ��� � � �L���� & �L����� � ��' ����'�� ������ ���� .,// ���������� ��!��!��� ! � �� �� � � � ���� �� +����� ������ � (��� � � �L���� �( ��� ��� &

��� .,// �%���� �� �L�� ��� � ��� ��� �������-���+� ������������ HR�K J � ����-��� � & K �� (��� ����Q �� ����� ��� (�� � ��!���� ! +�������� �( ��!��!���� �'��� (�� ��� ������� ��!��!���� & � R�K # ��� !� ������ �� ���' �( ������� �� ����'�� � ��� �'�� ��%�� ���� �( ��� .,// �%���� # ���� �� # "% ��� �L�'���+� �''� ����� �( ��� � �"! ���� �� ��� ������� � "���� � ��� ������� � ��������� � # � � "% !� ����� ! �� ������� ��� ����� ����������' ��� � �"! ���� ���� ��� �� �''� ����� �� � % �L ���� ! ������� & K '�� # ��� �� ����� ������"���� �( ��� � ������ � ��� +������ "���� � ��� ����" �'��% �� ����� �� & K�� ����" �'��%�� ����� �� ��� ��� �� ���� �� ! � ��� �� ����� � �����"���� (� ����� � "% ��� ������� #� � ���� �� ����'+� �����������'% ��� � ���(��� �� " ����� ��� � ������ � & ����� ���� �(��� � ������ ��!��!���� �%���� � # ��� �L.,// �!� �%# ��� , �.,// �!� �%# � � ��� , �-!����� ! �!� �%# ��� ����! �� "���� � R�K & ��� �L.,// �%���� �� ���' � ��� �������'� (��� ���� � ����� �� ������ � �� ��'' �� ������ "��Q!��� � ���� # � � �� ��������-���'% ��!��!��� ���� � �� ������ � � ��� "��Q!��� � ����� ���� & ��� , �.,// �%���� ������ ����� � �����"���� � ��� � ������ '� ����� �L������� (��� "� ����' � ��� ��� � # � ����� �� �� ���"'% ��!��!��� ��� ����� �� (��!�� �� �+� ��� ���% ��+� (� ���� ��'(��M�� ���� �'��� �� ���� ����� & ��� , �-!����� ! �!� �% ���� ��� � ������ '� ����� ��-���"���� �� !���� ��� � (��!� � �� ��M�� ���''% � �� ��� � ������ � & �� ��M�� �'%# ���� ��!����� �%���� �� �����+� � ��� ����'�L ��� � ������ ��!��!���� ��� ��� .,//�%���� "% � ������� ! ��+���' Q� �� �( �� ��!��!���� �'��� � �� R�K & ,��� ��� (� ��-� � ��' (��M�� �% �L������� ����� � � ��� �� �����' ��������� �( ��!��!���� ������ � ��������+�� � ��� �� � ������ "��Q!��� � ����� ���� & � ������� # ����� ����'�� ���� ���-�� �� ��� �� �� " � ��!��!���� (��� � T-�� � ��� ��! �' "% ��� , �.,// �!� �%# �'����!����� �� �� �����" '� "% ��� .,// �%���� # �� � ��� "% �L ���� ! ��'�� � ������� � "������� � ��������� �%���� � &

� ������� G # ��� , �.,// � � ,�-!����� ! �!� ���� ��� ���'��� �� �� ���� ������ ��!��-!���� � � � �+�'����� �( � �L�� �� ���� ����! ���� �� �������� & /�+���' ���� �'�!��� (�����+��� ! � � ���(��� " ����� �� ���� ������ ��!��!���� �%���� � � ��� �L ���� ! ����-� ���� �� ���� ����! ���� �%���� ��� ����� ��� � � �+�'����� & �� ����� ���� (�� �� �����'� �������� ������ "% ��� "� ����'�$���� �( ��� � ��� ��� � # ��-���� � ! �( ��� ����! �$����� ! ��� "� ����'�$�� ��� �� ��� ��� ���� �� ����+� � ��� �L� ���� � � & ��� � +������� �� � � � �����'���� ������� # �''-������� HKRJ � � �� -������� HSRJ ������� # ���� +����!���� & ,��� �� ���� ������ ��!��!���� � ������ ��� ���� �� �����+� ��� � ��(��-

E�T

Page 104: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�� �� �( � �L�� �� ���� ����! ���� "% ��� �L ���� ! ����� ���� �� ���� ����! ���� �%���� &��� �� �����' � �������� �( ��!��!���� �� ���� ������ � �� �'�� �+�'����� � � ��� �� ���������� ��!��!���� ������ ����� ��� � ���� ������ �� ���+� �� " � ������+� # ��� ����''% � ������ ! ��� ��������� ������ "% "��Q!��� � ���� � �� ��� �� &

������� � ������" �� ��� ��� � � ��'�!% "���� � ��!����� �( ��� ��� � Q� �� �( ��� ������� ��!��!���� �%���� � & /�� � � ��'�!% ������� �� ����� �"������ ��� � �� ����� #� � �� � �������� �� �� ��� � ��+ ����' ��� � ������� ����� � �L������� "% ������ � ��� ������� ��!��!���� �%���� � & /�� � � ��'�!% �� �������� �( <�P�O ?�C<< ><# O>� � NAN��< �$N�ON"NOPC � <�P�O CAABN�PA><# � � A@ >NB B>�CAN��<@ N= <& ��� ��'���� ����� ��� ��� �� ������-�����''% "% ��� �����"���� # � CBA��$ @N>BCB?@ � � �<�C @N>BCB?@ & S ��'�!%-"���� �� ����� � ����� ������ ��!��!���� �� � �������� � � � ��!����� �L ���� ! ��� ��� � �������� !�%���� � # ��� , �.,// �%���� � � S�� ��K �Gf� & ��� � ��!����� �%���� ���� ����������� �� �� �������(� ''% ��!��!��� ������� (��� "��Q!��� � ����� & ���� �� ��� � ��� ����������� �� ������� ! � ���������� �' �������% ��� � � �'%��� �%���� ���� �� �� �'�+�������� �( ��� � ������ � ���� � �!�� ������ � ��� ���' ���'� &

� 12 �9�� �67; � 689���8 � 6

��� ���!� �' �� ���"���� ����� ��� � ���� ������ �� �������$�� �� (�''�� � )

�e�[����[^ ���� ]�[��_�[ ��� �X �X* K �� � ��!����� ������������ # ��''�� B><NOP >�OBN">� CB?@ NA>?APB># ��� ����� ���

"���� � � ��'��-�!� � ������!� & ��� �L�� ��" �'��% � � ����"�'��% �( R�K ������� ������� "% �����''% ���'%� ! �� �� ��+���' ��!��!���� ���"'�� � &

* ��� !� ������ �� ���' �( ������� ��� ����� ��� # ����� � �"'�� � �%���� �� ��!��-!��� ������ � �+� ��� ��� ��"�� �( ��� �� ��� �� Q �� � ��+� �� & K '�� #��� ����" '� �� ����� �� "���� ����� ��� ���� �� ���'� ��� " ���+��� �( �!� �� ���� �������� �� ����'+� ��� ���"'�� �( � ���(��� �� " ����� ������ � &

��_e^ \��[�� \[��[��� ]�e � [���^\* K �� ��!��!���� ������ ���� �� � ��� ���'� ��!��!��� � % ��"�� �( ����� ��

��� � ������ � ��� ����� ��� &* K ����� �� ������ ��!��!���� ������ ��� ! �� ������ ��"������� ��� �������� & ��

��� �� � �� �� "% �L� ���� � �� �� " � ������+� � �� ���+ � ! ��� M��'��% �( ��!��!���������� � # ���� �� # (� ���� ��' (��M�� �% ����� � � �� �����' � �������� # (��� � �L��+����� � ��� "��Q!��� � ����� ���� &

* K �� ��!��!���� ������ ��� ! " ��� ����� �� ��������� � � ��� � ������ '� ����� ��� ����� ��� (�� "� ����' � ��� & ��� �� � ����� ��� ������+� � ��!��!��� ! �������� �� ��� �� ���� ��+� �'��� (� ���� ��' (��M�� ���� �� ��'' �� � ��!��!��� !����� ����'�� ���� ��� � ������� & � ����+�� # ��� M��'��% �( ��!��!���� ������ � ���" ����� ��� � ��� � �� ����' ��!��!���� �%���� &

E��

Page 105: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

a[���e]� ]�e �� e� ]\� \� [[��* K � BN� ?> @ �A��P ��D= PA>B ��� �� �������� �� ����! �$� ��� �� � ��� ������ ���

����'�� ����'%& I�� ���� ������� # � �� ������ ��� ����� ��� (�� � ���(��� ! ���-�� �� ��� � ������ ��!��!���� � � ��������� �� ���� ����! ���� &

* ��� ����'� �( � �L� ���� � � � +�'+ � ! ��� ����! ���� �( ��� ����� � � �L�� �� ���������� ��� �� ���� ������ ��!��!���� �����+�� ��� �������% � ��� ����� � �L���� ���� ���'� "� ����! �$�� &

a [��[\[e��� ]�e �� \�_e^* /�� � � ��'�!% ��� ����� ��� �� � ��!���� ������ � Q� �� �( ��� � ������ ��!��-

!���� �%���� � & I�� ���������� �� �K/K ��+� " �� � +����!���� ��� ! � � �������� � �'�!% (�� ��� �� # � � ���� # ���� ��� � ���'�� � ��% ������� �� ��+�'�� � �%�-��� � ��!����� ������ &

* K � ��!����� �%���� �� ����� ! �( �� ���� ������ ��!��!���� �%���� � � ������ ������ �� ! �%���� ��� ��!� �$�� "���� � ��� � � ��'�!%# � � �� ��� ���� ���� ��� � ��!����� �%���� ��� ������+� � �������� ! ������� � � "��Q!��� ������ &

� 1 ��8�95 95�579�� ��95�8 � 6�

��� (����� �������� �������� � ����� ! (��� ���� ������ ��� �������$�� �� (�''�� � )

��_e^ \��[�� \[��[��� ]�e � [���^\* � ��+����' ��! �' �������� ! ���� �'�!��� ����! �� �� �L����� ��� � �����"���� (���

� ��� � � �L���� ����'� "� �'�" ������ �� �����+� � ��� ��"��� � � �������� ��� ������� ��!��!���� & I�� �L���'� # � �� ��'��"'� (� ���� ��' (��M�� �% ����� ���� ������ �� �� "�� ! � +����!���� ��G # �E# � E� � � � �'' " � � ���������� � �� ��� ��� ������� ��!��!���� ������ �� �����+� ��� � ��(��� � �� &

* � � ��+��" ��� � � +��� �� � # �� " ���� �� ��� ��'� �� ����� ��� ��� � '������ ��-���"���� (��� � ��� ��� � # �����(��� # ��� � ������ ��!��!���� ��� ! '� ��'�$���� "���� �� � ��'��"'� & ���� �� �'�� ��� ���� � ��� ,�.,// �%���� ����� ��� � ���������� & .���+�� # ��� (� ���� ��' (��M�� �% �� ���'' ��'��"'� � (��� ���� � ���� � � +��� �� � & S�� ���'�� � ��% �L� ���� � � ���� � ���� ��� , �.,// �%���� �� �� -��� �� ���Q ��'' � � ������ �� �� �( �� '���� ��� ����'���� � ��� ����� �� �L������������� � (��� ���� �E�f� &

* �� ������+� � ������ (�� � -������ ��% � � � -����� �� ��� � ������ ��!��!���� ��+� %�� " �� ����� ��� �� (�� "���� � ��� � ������ �����"���� & � +����� �� ��- � � �L������� (��� � ��� � � �L���� �� � �������'��'% �� ����� � ��"! ��� & K '�� #��'��-��'Q�� ���� �� � !��� ���'���� �( ��� ���Q���' ����% ���"'�� # "�� �� �� �

E�G

Page 106: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

+��% ��� ��'� ���� ���� ������������ ��� � ������ ��!��!���� ���(��� � �� & ���� ��" ������ � ��+ ����' ��� � ������� � ��� ���� �� �� �� ������ # �'����!� ��� '�+�' �(��� ���� ��� !�� �% �� ���''% � '�Q� ������ "��Q!��� � ���� & I������ � +����!���� �� ��M����� �� ���' � ��� ����� Q� �� �( ���� & ��� ��� �( ��� ��� Q �� '��!� ������ ��� � ������ �����"���� � ���� � � �� ���� � �!�� " � � ���� ��� ! ��% �( ���'� !� ��� ���� &

a[���e]� ]�e �� e� ]\� \� [[��* /������' � �������� � ���� �'% ������ "% ��� � ������ ��!��!���� ��� � ������ � ��'

�� ��� � ��� �������% � ��� ����� ��!��!���� �� ���� �� " � ����! �$�� & ���� Q� ��( ��������� �� �� �� ������� � ���� ������ & R��� �'%# ��� M��'��% �( ��� ��� ���� �( ��� ��!��!���� ����� �� ���� � ���� ������ ��� ��-�+�'����� "% ��� '�����+����� �( ��� ����� ���� �� ���� ����! ���� �%���� # ���'% ��� � � ���� ������'���������� �%���� H���/J ��+�'�� �� �� K�R �&� & ���� ��� � # ��� �"�+� �%���( �� �����' � �������� ��� �'�� �������� ��� ��-���� � ! ��� .�� ���������� &�� ��M�� �'%# ���� ����! ���� �������% ��� ���� �����+�� "% ��� �%���� & �������'� �� �� �� !��� �� ��� ���� (�� �'�� �� ���� ����! ���� # "�� �������"'� �� ������� (�� � �L�� �� ���� ����! ���� & I������ ��������� � � ���� � �'' " � ��� ����� � ����� �����'�� &

* ��� � ��!����� �( �� ���� ������ ��!��!���� � � ����� ���� �� ���� ����! ���� ����- �'�!% "���� � � ���� ! (������� ����'� " � � +����!���� �� �"��� (������ �� ���+�-� � � � � �L�� �� ���� ����! ���� & I�� ���� ������� # �� ���� � ��� � +����!��� � ��%�( �+�'���� ! ��� ��'��"�'��% �( �����"���� � ��!��!���� �� ���� &

* S �� � ��!��!���� �� ���� �� �������'% ����! �$�� # ��� �% �����$�� ��� � ������ �� �!�� " � (������ �� �'������� ��� ! � .�� "���� �� ���� �% �����$�� �GG # �� # �&� &� ���� ! (������� � ��!��!���� �� ���� ���'� "� �������� "% ��� ! �������'% ��� �����.�� ���������� & ���� � �!�� " � ��� Q�% �� ��� ��� ���������� (�� ��� ���� �������% �%���� &

�� \�[� ]e�[���� ]�e* ��� �������� � ���� ������ �� "����� -�� ���� ���'% " ������ � � !��' �( ���� ��������

��� �� ��� ��(% ��� ����"�'��% � � '�� ������ � �( ��� " �����-�� �������� & �����-(��� # ��� �L� ���� � +�'+�� ��� � ���� ������ �( ���� �������� � ��� ��� ���-��� �������� # " ������ � ��� � '���� �� �� Q �� '��!� � � �L� ���� �� �'�% � ���� ���'��'� � '���� � ! � � � ������ �� ! ���� &

* K ����������� �%���� ������������ �� ���� ���' �� � ��!���� " �����-�� � � ���-��� ��� ������ & ��� �L.,// � � ,�.,// �%���� � ��� ����'�� � �������-���+� ������������ � ��� ��'��-�!� � �%���� � & ����� �%���� � �� "� �L�� ��� (�� ����� ��!����� "% ��� ! ��"������� ������������ �fE� & K ����� �%���� ������������(�� ���� � ��!����� �� "'��Q"���� ������������ �T� # T� # �� # �T� & ��� ����'� ! �(�K/K �� � ������� � ���� (�� (����� ���Q &

E��

Page 107: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

* /%���� � ��!����� � ��� ����� ����'����� # ���� �� +���� # �� �'�� � ������� � ���"-'�� (�� ���������� �' �������% ��� � � �'%��� & /�� � ����������� ��+� � �����Q� ���� Q� � �( � ��!����� � ���� � �( �� ���% � ��!����� "% ��" ��� �F�� &

� 1� � 6� ;��� 6

���� ������� �������$�� ��� �������� ����'�� ����� ��� � ���� ������ � � (����� �������� ��( ��� �������� ���� ��!!����� & ���� ������ ���'� � ��� +������ ����� �( ���"'�� � � �����-����� �' �������% ��� � � �'%��� H�K/K J (��� ��� � ������ ��!��!���� "���� � '�� '�+�'��������������� �( ��� �� �� � �L�� �� ���� ����! ���� # � � �� � �+����' ������� ����� �(��� � & K '�� # � (��� ����Q �� � ��!���� +�������� �( ��!��!���� �'��� ��� � �������� � ��+�'����� & ��� � ��� ���� �� ���������� �' �������% ��� � � �'%��� �� ����� ��� � � � '���( ������+� ����'�� ���� �"��� �� # � �'��� ! � ������%� � �( � BN� ?> @ �A��P ��D= PA>B ��-� ! � ����� ��� '���� � ! �� ��+���' ��� !� �� � �� # � � �%���� � ��!����� ������ "����� ��� � � ��'�!%& .���+�� # � '�� �( (����� ���Q� ���'' ��� �� & ���� �'�!��� ������" ������ ��� ���'' � ��� ��� � �� �����+� �������� ������� ���� �� ����! �$� � % Q� �� �(��� �� ���� � �!�� ��� ��� � ��� ���' ���������' � +��� �� � & � �� ����''%# ��� ���!� �(���-��� Q �� '��!� �� �� ���'�$�� �� �'' & /��� (����� �������� �������� � ���� ������" ���� �����+� � �L�� �� ���� ����! ���� � ��� ���' ���'� & I�� ���� ������� # ��� � ��!����� �( ��� � ������ ��!��!���� � � � ���� ! (������ �����% �� �� ������� �� ���� ���' &

E�F

Page 108: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

� �� ������ ��

�E� K���� # / &# � ���� �Q� # K &# � � �� ! # . & . &# �K �� '��� � ! �'!������ (�� "'� ���������� & �O"C� ?>< N� � >PBC � ��$ �BD CAN�� � B�?><<N� <A>D< � # ��� � ���� # E&&F &

�T� K"� # � &# ��"�%���� # � &# � � ���� # / &# �.���� ��� ����Q� ! � � ����� �L������� "���� � � ��� �� ���� (��M�� �%# � B�?� ��� � ���# �� & f�F� f�& # E&&� &

��� K"� # � &# � � K �� # / &# �K��'������ �( '��� �������������"�� ������������ ����-����� �� �������% ��� � � �'%��� & � B�?� �$ ��� � ���# ��' & � # �� & TFGF� TFG& # E&&F &

�G � K��Q� # � &# ��� � # � &# � ������� # . &# �� # � &# � �Q����� # / &# � � /��Q� � # � &# �R�-"��� (� ���� ��' (��M�� �% ����� ���� ��� ! � ��� �� ���� (��M�� ���� �( ����� ������� � �� # � B�?� �� �� # +�' & �� # �� & &�f�& E� # T��� &

��� K�Q� # � &# K�Q� # / &# � � SQ����� # � &# �/�� � ������ ��!��!���� ��� ! ��� � ���-��� �' ����� � � � �� ���% ������ ��� # � � ?�P<A� �?� = � � �� T� # T # �� & EGf� EG& #E&&& &

�F� K��Q� # / &# � �Q� � # / &# ��Q�� # R &# � � /��������� # . &# ��M��+�'� �� " ����� (��-M�� �% ����� "'� � ������ ��������� � � (��M�� �% ����� ������+� �'' " ��� -(��� ��� # � B�?� �PB�<= >>?@ �����# +�' & G # �� & T�&�� T�&� # T�� E&

�f� ,��Q�� # � &# ����(�+�Q� # � # ���Q� # � &# � � � ��� # � &# �/�(� ������� � � � ���� ! �������� �M��� (�� ��"��� ����� ���� �� ���� ����! ���� # � B�?� �� �� �����# T��� &

��� ,�'' # K & � &# � � /�! �� �Q� # � & � &# �K � (��� ���� -� �L�� �$���� �������� �� "'� ���������� � � "'� � ���� +�'���� & � >PBC � ��D= PACAN�� # f # F # �� & EET&� EE�& # E&&� &

�&� ,��� # K &# � ���!��� # / &# � � � �� ��� ��� # � &# �� � ���� ����� �'���������� �%����H���/J (�� �� ���� ����! ���� # �@ > ��� � �� �C��BCA�BN><# �R-.-� EE# K�R .�-� � � (��� ���� � �� ����� ! R������� ��"��������� # T�� E&

�E�� ,���� # � # �� ���'� ! ���� ��� �-������ '� ��'�$���� � � ��� �� �Q���'-����%-����� & � ?AC � ?P<AN?C E# �� & G�� �� # E&&� &

�EE� ,�'' # / & I &# �K �� �����' ��"������� �'!������ (�� ���������� �( �������� ���� � �� ���� # � B�?� �$ �� A�� ���$ � � � # ���� # �� & T��-T�� # E&f& &

�ET� ,'����� # � &# =CANC � � >CBN� A@ > � <?@ �= @<N?< �$ � PD C� �P�O ��?C �N�CAN�� # ���� ���� # E&�� &

E�f

Page 109: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�E�� ,��!�� # K & / &# � PONA�B ?>� > ��C �<N< � A@ > = >B?>= APC � �BC� N�CAN�� �$ <�P�O# ���� ���� # E&&� &

�EG � ,���Q� # R & K &# �K ��"��� '�%���� �� ���' �%���� (�� � � �"�'� ��" �� & ���� � ����AN?<C�O � PA�DCAN�� # ��' & T # �� & E# �� & EG� T� # E&�F &

�E�� ,��� # � &# ��D= PACAN��C � CPONA�B < ?>� > C�C �<N< � B>= B>< >� ACAN��C � C== B�C?@ #��� ������ # � ��� �( �������� /��� �� # � �+�����% �( /��� �'� # E&&T &

�EF� ,��� # � & � & � � ���Q� # � & �&# �K ���������� �' � ���' �( �������% ��� � � �'%��� #� B�?� �� A�� ���$ � = �� >� �C� � � B�?�# �� & �T�� �TF # E&&T &

�Ef� ,���� � # , & � &# � � /����'��� # � & . &# �P �>��C< >O >�= >BA <<A>D< A@ > � ���� >�= >B�ND >� A< �$ A@ > <AC�$ �BO @ >PBN<AN? = B� BCDD N� = B�� >?A# R���� ! # �K ) K����� -���'�%#E&�G &

�E�� �����%# � & � &# �/��� �L����� � �� � ��� ����! ���� �( �� ���� # � ��� � � � � � ������ ���� # � � ?�P<A � �?� �D >B �# ��' & T� # �� & &f��&f& # E&�� &

�E&� ���+��! � # K & � &# �/�������� �( �� ����� � ���� � �� ��� � ) I� ���� ��' (��M�� �%����� ���� � � � ��� �-����� �� ��''���� ����' �( �������% ��� ����� ! & � � ?�P<A� �?� �D �# &� HFJ # �� & �TfE��T&� # E&&� &

�T�� ���+��! � # K & � &# � � � ������� # . &# ����������+� �+�'����� �( � � �L������� �'-!������ � # � B�?� � ��� ��� ��# +�' & G # �� & TG�E� TG�G # /�� &# T�� E&

�TE� ���� # � &# �� ���� �� � ����� � � � �'%��� # � �� �� ����� N�C � = B�?><<N� #�F # �� & T�f�� EG # E&&G &

�TT� ���Q� # � & � &# �K �L�'���� ��� �-(��M�� �% ����������$���� �( �% ���� % � � ����-���% ����' & ��D= PA>B = >>?@ C�O �C�PC > ��' & F # �� & E��� Ef� # E&&T &

�T�� ���Q� # � & � # ,��� # � &� &# � ��� (��� # � &# � � � ��� # � &# ����������� �' �������%��� � � �'%��� ) '���� � ! �� ��+���' ��� !� �� � �� & ��O>C"�PB# Ef )G # E&&� &

�TG � ���Q� # � & � &# � ��� # � &# ����(�+�Q� # � &# � � � �$� �� # K &# �R�"��� ����� ���� �� ��������! ���� � ��� � ���� ! � � � ��'��"'� �������� ���� # = >>?@ ��DDP� N?CAN��# �G #�� & TFf� T�� # T��E&

�T�� ������ # � & � &# �R������' /�! �' K �'%����K /����� � � � �����% K������� �� /������'K �'%��� & � B�?� �$ �<A � � ��B�<@ �= �� = >?ABC � � <AND CAN��# E&�E&

�TF� ���� # R & S &# �%� # R & I &# � � /'� �%# � &# ������'�!��� � � � ��� ��������� �(��� �� # � B�?� ���� ���$ � N�C �<# <A>D< C�O ��D= PA>B<# E&&� &

�Tf� � ''�� # � & �& � &# �K ���������' ������� ����� �( ����� # � / ������ # � ������ � � �(� '�������' � !� ���� ! � � �������� /��� �� # ��� # E&&T &

�T�� � ''�� # � & � & � &# �� �������� -���+� ���������� �' �������% ��� � � �'%��� # �� &� &������ # � ��� & �( � '�� & � ! � ���� & /�� &# � &� &� &# �� � # E&&F &

E��

Page 110: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�T&� � ''�� # � & � & � &# �� �� '�+�' ������� ����� � (�� ���������� �' �������% ��� � � �'%��� )��� ��(� �'�� � � # ��D= PACAN��C � � PONA�B ?>� > ��C �<N< # �� & T�f�TfT # ����� ��� �'"��� K��� ������ # E&&� &

���� � �� � # � &# . �%��-R��� # I &# ������ # � &# � � R���%# R &# ���� .�����%-� � �� ���� � ���-��� �� ! �%���� ) � ��!���� ! Q �� '��!� �� ����'+� � ������ �%# ��D= PAN� PB"><#ET )T E��T�� # K�� # E&�� &

�� E� I���� # / # � � /� ��� # � & � &# �O"C� ?>< N� = >>?@ N�C � � B�?><<N�# � ����' � �QQ�� #� � &# E&&T &

��T� ���� # � &# � � �����Q� # � &# �,��� ����Q� ! "���� � ��'��� '�-�!� � ������������ �� ���'-��� � "��� ����Q� ! �%���� (�� ����� ��! �'� � # � B�?� ���� ���# �� & E��� EE� #E&&F &

���� ���� # � &# � � �����Q� # � &# �R��'-��� � " ��� ����Q� ! (�� ���� '��� ����� ��! �'� )����� ��� !� �������� (�� ������' ������� � # = >>?@ ��DDP� N?CAN�� # ��' &Tf # ��� & �-G # �� & � EE-��� # E&&& &

��G � ���� # � &# �K ������ � � �-I� ����� ���� ������ (�� �� ������� !� ) �K� ����� �-��� ��� ! �� �'!������ (�� ������+� �� � ����'� # � B�?� ��� � �����# �� & ��F����F� # T��E&

���� � ��"Q� # � & � &# � � ,'����� # � &# ����Q���'-����% ���������� "���� � "� ����'� ���'� & � B�?� �$ ��� � ��� ��B�<@ �= �� ���D= PACAN��C � CPONA�B < ?>� > C�C �<N<�� �� �# �� & E��� E�& # E&&� &

��F� � ��� # � & � &# ���Q� # � & �&# � � � ��� (��� # � & � &# �K������% ��� � � �'%��� � ������ � ��Q�+ ����' ����! ���� �( �� ���� � ���� & � B�?� �$ ��� � ���# �� & G�E�G�G # E&&� &

��f� .�QQ� � # � &# � � .�+��� � # . &# �S ��� ��� �( � ���� ! (������ �����% � ��� �������'(������� # � B�?� ��� ������# T�� E&

���� .� ��' # / &# � N<A>� N� � �� �� AB�OP?AN�� A� A@ > � >B?>= AN�� �$ � PONA�B � ">� A< & ���� ���� # E&�& &

��&� .� �� # � & . & � &# � ���� � # R & � &# � � ��� ! # / &# ���������' (�� ��� �� ����' ����� �(��� ���� ��� � & /K� � ��"��� �� ���� �������� ! # ���� �BC�< � �� T HGJ # �� & �G&���� # E&&G &

�G�� .�� ! # � &# S� ���� # � &# � � /�!�� # � &# �K ��'��� '� ��� � ������ '� ��'�$���� �%������� ! �������' ����������% �����!��� � H� ���� ���J # � ����AN?< �?� C=C�# ��' & & #�� & E# �� & T&��� # E&& E&

�G E� .�� ! # � &# S� ���� # � &# � � /�!�� # � &# �/������� ! ��� � ������� ��� ! ����� ���� ��-��� �"��� �� "% '� ��'�$���� H� ���� ���J # � ����AN?< �?� C=C�# ��' & E& # �� & G #�� & G�&�G EG # E&&E&

�GT� � ��� # � &# ��� ��� # � &# ��Q����� # / &# � � /��Q� � # � &# �� ������� � ����% ����! � ������� (�� �� ��-(��� �� ���� ����! ���� # � ��� ��� �����# �� & �� E���G # E&&f &

E�&

Page 111: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�G�� ��� � # � &# � � �������� # R & � &# �K ���������+� !��������� �������% � '��� (�� " �����%���'�!���' � � ��%�����%����' ���� # � � � # E�& H�J # �� & T����T�TT # � �%# T�� E&

�GG � ��� � # � &# �������� # R & � &# � � � ������� # . &# �/�� � ���% ������ (��� �������%� �''� �� �!� ��� ! /�RK ��.� # � B�?� ��B�<@ �= �� ?��<N<A>� A C�O B>�NC��> C?�P<AN??P >< $ �B <�P�O C�C �<N< ��� �� # T��E&

�G�� ����� # � &# � � .����'� # � &# �,'� � ��������� �( ������� # ���� � ) � ������+� �'!�-����� "���� � ����� �� ���� ������������ & N�C � = B�?><<N� TG )EE� # E&& E&

�GF� � ���� � # � &# � � �� �Q� # � &# �K ��� � ������ ��������� �%���� � ��� ��� �"�'��% �(����� ���� �� � ����'� ! # ��� ���� # �� & TG�� T�� # E&&� &

�Gf� � ���� � # � &# � �Q���� # � &# � � ������ # � &# � � �� �Q� # . &# �S�!� �$���� �( ���������-��' � ��������' ��� �� ) ����� ��� � � �'%��� � ��� ���� ����� �������� ! ����'�� � �� M�� ������+� � (��� ���� � ��!����� ����� ��� # ��� � ���# �� & E��� EFG # E&&� &

�G�� � ���� � # � &# � � ������ # . &# �/�� � ������ ��� �������� (�� � ���"'� ����� "����� ��� ����� ������ �L������� # � B�?� �$ ��� � �� � ���# �� & ETf� E�G # K�! & E&&f &

�G&� � ���� � # � &# � � . ������� # � &# �S � # ��� # � � % � ���!� ! ��� ��"�� �( �� ����� ���'Q��� # � �$ � ?�P<AN?C � �?N>A �$ �D >BN?C# && HGJ �� & T # T�&F # E&&F &

���� � ������� # . &# � ����� # � & � &# � � ���+��! � # K &# �R���������� ! �� ���� ������� ��-��� � ��� ! /�RK ��.�-����S ) �����"'� ��'� �( � ��� �����+� ��������� � ��� �� � B�?� �$ ��� � ��� ��B�<@ �= �� ���D= PACAN��C � � PONA�B ?>� > ��C �<N< �# �� & E���EET # E&&f &

��E� � ������� # . &# � �����-� ������ # � &# � � �� ���+��! � # K &# �R���������� ! �� ���� ���-���� ����� � ��� ! � �����-������+� ��� �-(��M�� �% ������� ! � � � � ��� �� ����-(��M�� �%-"���� I� �L������� ) �����" '� ��'� �( � ��� �����+� ��������� � ��� �� # = >>?@ ��DDP� N?CAN�� # ��' & Tf # ��� & �-G �� & E�f� T�f # � '��+ ��� # E&&& &

��T� � ��� # � &# � ���"��� # � &# � � /��Q� � # � &# �.�� �� �� ���� �� ���� ����! ���� ��� !!� ���'�$�� �R ����� ! H� ���� ���J # �BC�< � ��$ �� � B�?� �?� C= � ��' & � E# �� & � #�� & GfT�G�� # E&&� &

���� ������ # � &# � ���" # / & . &# ��''����!� # � &# � � � '��� �� # I &# ����/ ) � ������������(�� � ��!����� ��! �' �������� ! � � ��! �' � ����������� � ����'�L � +��� � � �� #� B�?� �� A@ � CA� ���$ � � BA� �� A>� �� ��� � ���� # �� & TG&� T�� # E&&� &

��G � � �� # � &# � � � � # � &# �I� ���� ��' (��M�� �% ����� ���� "���� � ��� ! �� � ��� �-(��M�� �% � �'%��� �( ����� �� �� �����' ��������� # ���� �BC�< � = >>?@ � PON� � B��?><<N� # +�' & & # � & F # �� & F�&�FTE# /�� &# T��E&

���� ��� # . & � &# � � � � "�!� # � & � &# �K ������ ��������� �%���� ���� �� ��"��� ����+��" ������ # � B�?� � ���� ��� # �� & ��&��GT # E&&G &

��F� �%� # R & I &# �K ���������� �' ����' �( "� ����' '� ��'�$���� � � ��������� & � B�?��$ ��� � ��� # �� & EEG�- EE�E# E&�� &

EE�

Page 112: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

��f� � ��� # � & �� & E&& E& � ><N� N� � PA���D �P< � >� A< �@ >�B C�O � BC?AN?> $ B�D � N���A� �� N� >>BN� C�O � C?� # �� ����' ����� �( ����A C�O � PA���D �P< <A>D<# ��� ���� ������ '��+ ��� &

���� � � �� � # � &# � � I���� # / &# �K ��L���� '�Q�'����� ��������� (�� � � �+����' ����-����� ������ "���� � .�� ���������� # � B�?� ���� ���� �� A�� ���$ � � ?�P<A� N�C � � B�?� ��� � ���� # ��' & E# �� & ET&� E�T # E&&� &

��&� � � �� � # � &# � �� ��� ��� # � &# � �Q����� # K &# � � � ���!��� # / &# �K ����! ���� � �������� ! �% ������-"���� ����� ! ���� � ���������� ������ ��'���� � " ����� ������ � ��% �� �� (������ +����� ��� � ������ # � B�?� ��B�<@ �= �� ?��<N<A>� A C�O B>�NC��> C?�P<�AN? ?P >< $ �B <�P�O C�C �<N< ��� �� # T�� E&

�F�� � �K�'�%# R & � &# � � �������� # � & I &# �/����� � �'%�����% ������ "���� � � �� ������'������� ����� # ���� �BC�< � � � # �G # �� & G # �� & fGG-f�G # E&�F &

�F E� � � �Q%# � &# �?N>A �$ � N�O< � /��� � /������� # � � &# E&�F &�FT� � � �Q%# � &# � � ���Q� # S &# �I������ ) �� +������� � ��� � ��+ � � � �Q%# � ,�'�-

"� # � &# �"��� �!'� # � &# � � ���Q� # S & ��� & ��O>B<AC�ON� � P<N? � NA@ � � � >B<= >?AN"><�� � P<N? ��� NAN�� # �L�LLL # KKK � � �������� � ���� # E&&T &

�F�� � ���� # , & � & � &) �� �� AB�OP ?AN�� A� A@ > � <?@ ��� �$ � >CBN� # K ����� �� � ���� # � � &#E&�& &

�FG � � ����� # � &# �/�������� �( � �L�� +����� "% �������� ��������� ����� �$���� H� ���� ���J # �BC�< � ����� # � # ��' & �f�-K # �� & E� # �� & E��E� E��f # E&&� &

�F�� ��Q�� # R &# K ��Q� # / &# /����� # . &# � � � �Q� � # / &# �/��������� �( �������' �����-��'Q����� � � ��� ! � -������ ��% �� �����' ��"������� H� ���� ���J # � B�?� � PAPD�� >>AN� �$ � # T-F- EG # �� & F Ef�FE� # T�� E&

�FF� ��Q�� # R &# K ��Q� # / &# � � � �Q� � # / &# �/�������� � � ����+��" ������ ���(��� � ���( (��M�� �% ����� "'� � ������ ��������� # � B�?� �$ �� A�� ���$ � �� ��O>= >�O>� A��D= �� >� A ��C �<N< C�O � �N�O N�C � >=CBCAN�� ��� ����� # �� & T��� T�� # T�� E&

�Ff� � �!�"���� # . &# ��"�%���� # � &# � � ��� ����� # . &) �/� ���� � �� ��� � � � � ���-������� � � �L�� �� ���� H� ���� ���J # �BC�< � �$ �� �� # FT HE�J # �� & FTf�F�G H� ���� ���J # E&f& &

�F�� � �Q���� # � &# . ���� # � &# � �$�!���� # . &# SQ� � # . & � &# � � � ��� � # . &# �R��'-��� ��������% � � +����' ��'��� '�-�"! ��� ����Q� ! (�� ��"��� # � B�?� ��� � �����# ��' & T #�� & EGT�� EG�T # T�� E&

�F&� � �Q��� � # � &# � ���"��� # � & � � SQ� � # . & � &# �/����� ������ ��!��!���� "% ��'��-�!� � �%���� & � B�?� � � � ��� �>?@ � � >= �BA �$ �� ���� # /�&�-&f # E&&� &

�f�� � �Q��� � # � &# SQ� � # . & � &# � � � ���"��� # � &# �K������% ������ ��!��!���� � �������% ��� � � �'%��� � ��� � ��'��-�!� � �%���� & � B�?� �$ ��� � �� # �� & E��� E�f #K�! &# E&&G &

EEE

Page 113: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�fE� � �Q��� � # � &# SQ� � # . &� &# � � � ���"��� # � &) �� ���� ������������ (�� �������%��� � � �'%��� � � ���Q� '� !��!� �������� ! & # �� �� ��� # �� & EG��� EG�F # E&&G &

�fT� � �Q��� � # � &# � ���"��� # � &# � � SQ� � # . & � &# �K ���������� �' ����' �(��� � ������ ��!��!���� � ��� ��'��-�!� � ������!� & � B�?� �$ ��� � ���# ��' & G #�� & TFfE� TFfG # E&&� &

�f�� � �Q��� � # � &# SQ� � # . & � &# � � � ���"��� # � &# ���'��-�!� � "���� ���� � �� ��������!��!���� (�� �������% ��� � � �'%��� H� ���� ���J # �BC�< � C= � �?� $ �B � BAN� ?NC ��� A>� �N >� ?># ��' & E� # �� & T # �� & T�T� TG E# E&&� &

�fG � � �Q��� � # � &# SQ� � # . & � &# � � � ���"��� # � &# �R������-���+� ������������ (������������ �' �������% ��� � � �'%��� # � B�?� ��� � ���# ��' & E# �� & EF�� EfT # E&&� &

�f�� � �Q��� � # � &# ���� # � &# � � SQ� � # . & � &# �����'�$���� "% ����� �� ��������� � ���� ���'������ �� ���� � �� ��� � ������ ��!��!���� # � B�?� ��� � ���# ��' & T #�� & F���F�F # E&&F &

�fF� � �Q��� � # � &# ���� # � &# � ���"��� # � &# � � SQ� � # . & � &# �R������-���+� �����-������� � � ��� ���'������ �� ��� � ������ ��!��!���� H� ���� ���J # �BC�< � C= � �?� $ �B � BAN� ?NC � �� A>� �N >� ?># ��' & ET # �� & E# �� & EEE� ET� # E&&f &

�ff� � �Q��� � # � &# � ���� � # � &# � � SQ� � # . & � &# �� ��!����� �( �� ���� ������ � ������ ������ ��!��!���� � "���� � � ��� � � ��'�!%& � B�?� �$ ��� � ��� ��B�<@ �=�� ���D= PACAN��C � � PONA�B ?>� > ��C �<N< # �� & T���T # E&&f &

�f�� � �Q��� � # � &# � � SQ� � # . & � &# �/�� � � ��'�!% (�� ���������� �' �������% ��� �� �'%��� # � B�?� ��� � ��� # ��' & E# �� & ����� # E&&� &

�f&� � �Q��� � # � &# � � SQ� � # . & � &# �.���� �� ��� � ������ ��!��!���� ��� ! '� ��'-�$���� � � ��� ���'������ �� �� ���� ������ ��!��!���� & = >>?@ ��DDP� N?CAN�� #��' & Tf # ��� & �-G # �� & T�&�TTT # � '��+ ��� # E&&& &

���� � �Q��� � # � &# � � SQ� � # . & � &# �/�� � � ��'�!% "���� � ��!����� �( �������-��� �' �������% ��� � � �'%��� �%���� � H� ���� ���J # �BC�< � C= � �?� $ �B � BAN� ?NC ��� A>� �N >� ?># ��' & EG # �� & F # �� & E�fT� E�f& # E&&& &

�� E� � �Q��� � # � &# � � ��� � # � &# �K��'������ �( � � �L������� � ����� "���� � � ��� ��- ���� (��M�� �% �� ��-��� �' �� ���� H� ���� ���J # � B�?� � PAPD� � >>AN� �$ � #E-T-� # �� & T EE� TET # T�� E&

��T� � ���" # / & . &# � � ������ # � &# �� ��!����� �������� ! � � � ������ �� ! �( ��! �'� #S�� � ���� # K &� & � � � ���" # / &. & ��� &# D ���N? C�O � ��� �>O >�� C< >O N�C � � B��?><<N� # � �� ����-.�'' # � �� ���Q # �� & T�E� T�� # E&&T &

���� � ���" # / & . &# � ��%-� �'�� # � & � &# � � � # R &# � � ,���� � & � &) �� �� '��!�-"����� �'%��� �( �� ���� � �L�� � ��� �� ������ � + ��� � � ��' ��� �� # � B�?� �$ ��� ��� � ���# �� & fF��� # E&&� &

��G � � ��� � # � &# K �� # / &# � � K ��� # / &# �S������ ����� ��� ����Q� ! � '��� (�� �������%��� � � �'%��� # � B�?� �$ ��� � ���# ��' & E# �� & �f���fF # E&&F &

EET

Page 114: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

���� SQ� � # . & � &� � � SQ��� # � &# �����!� � ���������� ����' (�� �� �Q� '� !��!�� ������ �� ! H� ���� ���J # �>?@� N?C � � >= �BA ���� � # �T-� # TE��� # � (��� ���� � �� ����� ! /� ����% �( ���� # E&&T &

��F� SQ� � # . & � &# ���! ���� ����' � ��� ��'��-�!� � �%���� H� ���� ���J # �� & T E��TT� & ������ # � & �� & � P �AN�� >� A C�O ���= >BCAN"> ��D= PACAN�� �� >�>?A>O � C= >B<$ B�D �� �� ���� # ��Q%� # ���� ) � � ���-� �!�Q�-��� # E&&T &

��f� SQ� � # . & � &# ��Q��� � # � &# � � � ���"��� # � &# ����Q���'-����% �� ��� � ��� �����-����� �' �������% ��� � � �'%��� � ���'�� � ��% ������ � # � & K $�� � � � ��� # ��� &# D �N�<N< �$ � PD C� C�O � BAN$ C?A � � B�?� � �� �� A �� ��� # ��'% E&&� # H� '��+ ��� /�� &, &� &# ��� � �����'� �J # ��' & T # �� & ������� # E&&� &

���� SQ� � # . & � &# � �Q��� � # � &# � � � ���"��� � &# �� ���(��� ! ��� � ������ ��!��!���� �� �� ���� ����! ���� �%���� � � ���'�� � ��% ����'�� �( '���� � ! �� ��+���' ��� !� ����� ��� � ��� � # � B�?� ��� � ���# ��' &T # �� & E��T� E��& # E&&F &

��&� SQ� � # . & � &# � �Q��� � # � &# � � � ���"��� # � &# �K �� ������ � �� ��� � � )�� ���� ������ ��!��!���� # � B�?� �� A�� ���$ � = �� >� �C� � � B�?� �� �� ���� # ��' & G #�� & T��F� T��& # E&&F &

�&�� SQ� � # . & � &# � �Q��� � # � &# � � � ���"��� # � &# ����''� !� ���"'�� ) � ������ �-� ! ����� ����'�� ���� �� ��Q��� # � B�?� �$ ��� � ��� ��B�<@ �= �� ��D= PACAN��C �� PONA�B ?>� > ��C �<N< �� � ���� # �� & F E�F� # E&&f &

�& E� SQ� � # . & � &# ��Q��� � # � &# � � � ���"��� # � &# �� ������ �� ! ����� ����'�� ������ ��Q��� # � B�?� ��� � ���# ��' & E# �� & ����� # E&&f &

�&T� SQ� � # . & � &# � �Q��� � # � &# � � � ���"��� # � &# �� ���� � ! �� ��� ����'�� ������ ������ # = >>?@ ��DDP� N?CAN�� # ��' & Tf # ��� & �-G �� & T&&��E� # � '��+ ��� # E&&& &

�&�� ��'�� �Q� # � & � &# ,��� # � & � &# � � �� ! # � &# �K "� ����' � ���' (�� � ���� ! ������ ���� ����! ���� � ���% � � ��+��" ��� � �� ����� � # � B�?� ��� ������# T�� E&

�&G � ����� � # � & � &# �/�������� �( �� ���� (��� � ���(��� ! �� ���� "% � �� � �( ����� ����'����� & � � ?�P<A � �?� �D �# F� # G # �� & & EE# E&fF &

�&�� ����' # � &# � B��C�N�N<AN? B>C<�� N� N� N� A>� �N >� A <<A>D<# � ��!� � ��(� � # E&�� &�&F� �������� # � & I &# � � � � ���� ��$ # R & � &# �K �������� �� ��-��� �' ��'Q�� � ���-

(��� �� ���������� ��� ! � �� ������' ����' (�� �� ���� # ���� �BC�< � � � # �� #�� & �F�F& # E&&� &

�&f� R�"� �� # � & R &# ��� ! # � & � &# R��� " ��! # K & � &# � � � ��� �!�' # � & K &# �K ������-���+� � ��(��� � �� ����% �( ��+���' � ���� �������� �'!������ � # ���� �BC�< � � PON�� �>?AB�C?�P<A �# +�' & K //� -TG # �� & �&&�G Ef # S�� &# E&fF &

�&�� R�! # , &# /�'�$�� # � & � &# � � /��� # R & � &# �R��� �������� �( ����!�� �� �����!������(������� (�� ��"��� �� ���� ����! ���� # � B�? �� �� �����# T��� &

EE�

Page 115: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�&&� R���'� !�� # � & / & � � ��� ����� # R &# �������-�� ���� � �'%��� "���� � ��� �������'� ���(��� ! ��! �' �� ��'�� HR �/� J �'!������ & � B�?� �$ ��� � ��� # �� & Gf��GfF #E&&G &

�E��� R��� ���' # � &# � � SQ� � # . &� & H��� &J # ��D= PACAN��C � � PONA�B ?>� > ��C �<N< #����� �� � �'"��� K��� ������ # E&&� &

�E� E� /����� # . &# ��Q�� # R &# K ��Q� # / &# � � � �Q� � # / &# �K ��'��-������ ��� "���� ��-��+���� (� ���� (�� (��M�� �% ��� �� "'� � ������ ��������� # � B�?� �� A�� ���$ ���O>= >�O>� A ��D= �� >� A ��C �<N< C�O � �N�O N�C � >=CBCAN�� ��� ����� # �� & FF��FF� # T�� E&

�E�T� /����Q�'�� # � & � &# � � � ����� # R &# ���� ��'� �( � �������' ��� � ��� ��� �� � �(� ��� � ��' (��M�� �% ������ �� � ��� ��� �������� �( �� ����� � +���' ����� & �PB�C � �$ � ?�P<AN? �?N>A �$ �D >BN?C# ��' & & E# �� & F # �� & ��f&���� E# E&&� &

�E��� /��� ��� # R & S &# ���'��� '� �� ����� '� ����� � � ��! �' ��������� ����� ���� & �����BC�< � �� �� A>��C< C�O � B�=CCAN�� # ��' & K� -�G # �� & � # �� & TfF� T�� # E&�F &

�E�G � /������ # , &# � � ����� !�� # � &# �K � ��!����� ����� ����Q� ! �'!������ (�� �� �����%���� � & � B�?� �$ ��� � ��� # ��' & � # �� & E��T� E��� # E&�� &

�E��� /����� # � &# �K!� �-���� ��� ���!���� � ! # � BAN� ?NC � �� A>� �N >� ?># F� HEJ )�E�&T #E&&� &

�E�F� /'� �%# � &# � ��� # � &# � � �%� # R & I &# �K������% � ���' � +����� (�� ��� � ����-����� # � B�?� ��� � ��� # � & � � # �� & ff��� # E&&G &

�E�f� /�� � ������ ��!��!���� ���� ������� � ���� )����� &Q��' & �� &�� &!����'���! �'� �Q��� ����� �-��� ������ �-����� &��� ' &

�E��� /���'�� # R &� &# � � R�"� �� ��$ # � &� &# �S ��� ���� ���' �( �L�� ����%� (�� ����� !���� & �PB�C � �$ � ?�P<AN? �?N>A �$ �D >BN?C# &G H�J � � & E)E��T� E�GT # E&&� &

�E�&� /�''�+� # � & � &# � � /��� # R & � &# ���'��-� ������� � �����'���� -"���� �������� !(�� ��"��� �� ���� ����! ���� # � B�?� ��� � ��� # ��' & T # �� & & E-&G # E&&� &

�EE�� ���� �� # � & , & � � .�(��� # � &# R &# ����"� ���� �( "� ����' � (��� ���� ������(��M�� �% "� �� & � � # &� HGJ # �� & E# �� & E�&G� E�&& # E&& E&

�EEE� ��� ����" # � &# � A@ >�B C�O ?�D= PACAN��C � D �O>� �$ D ��CPBC � CPONA�B <�P�O< >=CBCAN�� # ��� ������ # /�� (��� � �+�����%# E&�� &

�EET� ���� # � &� � � � ����%��� # � &# �R�!�� -������������ �( �� �!�� "% ������"���� � ����������+� ��� ����� ! H� ���� ���J # � B�?� ��B�<@ �= �� � P �AN�� >� A C�O ���= >B�CAN"> ��D= PACAN�� �� �� ���� # ���� ��� /�����% (�� /�(����� /��� �� � � ���� �'-�!%# E&&� &

�EE�� ����� # R & � &# ����������' ���������� �( � ���� ! �� ���� ��� �� # ?N>� ?># ��' & EFf #�� & �&T��&� # E&f� &

EEG

Page 116: NTT CS研 公式ホームページ · Stream 2 Stream 3 (Background) Interaction Stream 1 ... stream tracer Generator Pitch watcher (active) Pitch watcher Pitch watcher Pitch watcher

�EEG � �� # � &# � � ���� # � &# �K�����+� ��-��� �' �� ���� ��������� � � ����! ���� #���� �BC�< � �� # +�' & f # �� & T # �� & E��� E�E# E&&& &

�EE�� ��� ! # / &# �� �� # � &# S��'' # � &# S ''� �� # � &# � � ����'� � # � &# �@ > � �� � ���$ �B � �� �� ��# � ������ ���"���!� R������� ��" & � � &# E&&F &

EE�