日本学術振興会 科学研究費助成事業 学術変革領域研究(B) 2022〜

mainimage

共同研究者を募集しています!
ご興味のある方はこちらのお問い合わせページの連絡先まで。

お知らせ

2024/05/25 研究発表 発表します
Bono, M., Okada, T., Skobov, V., and Adam, R. (2024). Data Integration, Annotation, and Transcription Methods for Sign Language Dialogue with Latency in Videoconferencing, 11th Workshop on the Representation and Processing of Sign Languages: Evaluation of Sign Language Resources, LREC-COLING2024. (May 25, Torino, Italy)

2024/05/21 メディア 第19回身体記号学ラジオを公開します
ゲストは、A02(手話班)の藤川 直也です。

2024/05/16 その他活動 第15回総括班ミーティング開催します

2024/04/25 メディア 第18回身体記号学ラジオを公開しました
ゲストは、A03(工学班)の西田 典起です。

2024/03/21 その他活動 第14回拡大総括班ミーティング(ハイブリット開催)開催しました
日時:2024年3月21日(木)13:00-15:00 
会場:東京大学 本郷地区キャンパス

2024/03/15 その他活動 坊農研究室企画読書会を開催しました
・Aashaka (2024):Systemic Biases in Sign Language AI Research: A Deaf-Led Call to Reevaluate Research Agendas.
担当:岡田 智裕 (A02)

2024/03/08 イベント 第48回社会言語科学会研究大会(JASS48)でWSセッション 「相互行為中の身体動作を対象としたマルチモーダル連鎖分析から身体記号学へ」を開催しました
日時:2024年3月8日(金)13:00~15:30 
会場:福岡女子大学
ワークショップセッション3 相互行為中の身体動作を対象としたマルチモーダル連鎖分析から身体記号学へ
外部リンク:第48回社会言語科学会研究大会プログラム

2024/03/07 その他活動A02(手話班)のグループミーティングを開催しました

2024/03/06 イベント 第4回身体記号学セミナーを開催しました
題目:Introduction to Sign Language Processing
担当講師:Victor SKOBOV (A02)

2023/02/17 イベント 「コーパスの構築・利用と個人情報保護」についてのオンライン公開研究会を実施しました。
(報告詳細記事)

研究概要

本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的とする。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと(モダリティ横断)」を目指す。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にする。我々は以上の研究活動全体を「身体記号学(Embodied Semiotics)」と命名し、文理融合型の学術変革領域を創り出す。

研究代表者

坊農 真弓

国立情報学研究所 情報社会相関研究系 准教授

代表挨拶

 私はこれまで手話と身振りのコミュニケーション研究をしてきました。私が手話に出会ったのは大学生のときです。当時通っていた大学の宗教部が手話勉強会主催し、そこに参加したのがきっかけです。そこでろうの先生にお会いし、日本語を介さずに手話を学ぶ経験をしました。その後、地元の手話サークルに通い、すっかり手話の魅力に取り憑かれました。

 また、地元の手話サークルに通う傍ら、大学院で言語コミュニケーションの研究をしてきました。しかし、大学院での研究テーマは手話ではなく、音声会話における身振りや身体動作を研究対象とし、博士号を取得しました。私が大学院生のころは、手話の研究をするための参考文献もそれほど多くなく、博士論文を書くほどの研究テーマにできるか多少迷いがありました。

 あれから20年以上の月日が流れ、手話や身振りを取り巻く研究環境は大きく変わりました。手話を日常言語とするろう者自身が手話言語を研究するようになり、最先端の人工知能技術によって手話を読み取る研究開発も徐々に始まっています。では、手話と身振りの研究はどうでしょうか?音声言語における身振りの研究は4、50年程度の歴史があります。しかし、手話はかつて「身振り語」と呼ばれ、言語とみなされなかった時代があり、手話と身振りを並列に扱うもしくは、手話言語コミュニケーションの中の身振りを大きく扱う研究はまだそれほど多くありません。

 しかし、どうでしょう。手話を用いたコミュニケーションについても音声言語コミュニケーション同様、そこで話される語彙や文法だけではなく、「どのように話されるか(例:気持ちや態度を示すイントネーション)」「語彙として捉えきれない表現豊かな要素(イメージを詳細に描写する身振り)」などを研究することができるのではないでしょうか。そういった要素を研究することによって、音声言語コミュニケーション研究と手話言語コミュニケーションが等価に並べられ、より豊かな議論ができるのではないかと考えます。

 本領域研究は、会話における身振りや手話といった、記号としての特徴が未だ明確ではない事象を研究対象に、言語学・言語哲学分野で議論されてきた既存の記号論を「マルチモーダル記号論」として展開することを目的としています。領域全体として、音声のみならず身振りや手話を方法論的・工学的に「モダリティ横断的に扱うこと」を目指します。成果として、マルチモーダル記号論に基づくアノテーションが付与されたインタラクションデータをコーパスとして整理して関連研究コミュニティに広く公開し、マルチモーダル対話翻訳の技術開発に我々の理論を生かす道筋を明確にしたいと考えています。私たちは以上の研究活動全体を「身体記号学(Embodied Semiotics)」と名づけ、文理融合型の学術変革領域を創り出すことを試みます。