ジェスチャーは「対象」から始まる Gesture Starts With the Object

「これを食べたい」を身振りにすると、自分を指し、対象を示し、食べる仕草——主語・対象・動詞の順になる。Goldin-Meadowらの実験（2008）[1]では、母語がSVOでもSOVでも、大多数がこの順で身振りを組み立てた。声に出す語順は文化で違うのに、身振りの語順はかなり普遍的なのだ。手話にも音声にも触れず、自前の身振り言語（ホームサイン）を生み出したろうの子どもたちまで、米中どちらでも「対象→動詞」の順だった[2]。身体で意味を組み立てる、根本の型らしい。

To mime "I want to eat this," people point to themselves, indicate the object, then mime eating — subject, object, verb. In experiments by Goldin-Meadow and colleagues (2008)[1], speakers of SVO and SOV languages alike overwhelmingly built their gestures in this order. Spoken word order varies by culture; gestural order, it turns out, barely does. Even deaf children who invented their own gesture systems (homesign) with no exposure to sign or speech — in the U.S. and in China — landed on object-before-verb as if they'd compared notes[2]. It seems to be one of the body's most basic templates for building meaning.

理由はたぶん単純で、動詞は対象が決まって初めて意味を持てるからだ。いきなり「食べる」の仕草だけ見せられても、こちらは困ってしまう。対象が先にあれば、続く動作はそこに紐づけて読める。

The reason is probably simple: a verb only means something once its object is settled. An "eating" mime out of nowhere is just confusing. Establish the object first, and everything after can be read against it.

GUIも同じ順序でできている GUIs Are Built the Same Way

ファイルを選んでから「削除」。文章を選んでから太字。この「対象が先、動詞があと（noun-verb）」は直接操作の基本原則で、初期コンピュータの「動詞を先に選ぶ」方式より直感的だとされる。object.doSomething()という構文にまで、その発想は染み込んでいる。

Select the file, then hit "Delete." Select the text, then make it bold. This noun-verb order is a core principle of direct manipulation, considered more intuitive than early computing's verb-first style — an instinct baked in all the way down to the syntax of object.doSomething().

🙋Me
→
🍎this
→
😋eat

「わたしは・これを・食べたい」— 主語・対象・動詞の順

Miming "I want to eat this" — subject, then object, then verb

📄select
→
🗑️delete

GUIの「選んでから操作」— 対象・動詞の順

Selecting a file, then choosing an action — object, then verb

「これ」は、まだ何も指していない "This" Isn't Pointing at Anything Yet

話しかけて操作するときはどうか。「これを要約して」なら語順は対象が先だ。だが半分しか合格しない。「これ」は中身の空いたプレースホルダーで、クリックと違って対象がひとつに定まらない。しかも日本語は、その「これ」すら省ける。「要約して」で通ってしまう。英語なら "Summarize" だけでは落ち着かず、せめて "this" を置く。日本語の話者は、対象を一意にしないどころか、対象に触れないまま指示を出せる言語を使っている。

What about operating by speaking? Take "これを要約して" ("summarize this") — the object does come first in word order. But it only half qualifies. "This" is an empty placeholder — unlike a click, it doesn't pin down a single object. And Japanese can drop even that "this" entirely: "summarize" alone works just fine. English can't quite settle for "Summarize" alone; it wants at least a "this." Speakers of Japanese use a language that doesn't just leave the object unpinned — it lets them issue an instruction without touching the object at all.

これからは、GUIと言葉を行き来する時代になるだろう。指差しやクリックをしながら「翻訳して」と話したり、「昨日のファイル」のような空間ではなく時間をさかのぼる、また別タイプの対象特定を含めながら考えなければいけない。対象の確定は、画面で選んでも、言葉で絞り込んでも、声で先に置いてもいいだろう。対象の確定をどう設計するか。いま作っているものの、いちばん難しいところです。

Going forward, we're heading into an era of moving back and forth between GUI and language — pointing or clicking while saying "translate this," while also accounting for another kind of object-specification, one that reaches backward through time rather than space, like "yesterday's file." Pinning down the object could happen by selecting it on screen, narrowing it down in words, or setting it in place beforehand by voice. How to design that object-confirmation is, honestly, the hardest part of what I'm building right now.

出典Sources

  • [1] Goldin-Meadow, S., So, W. C., Özyürek, A., & Mylander, C. (2008). The natural order of events: How speakers of different languages represent events nonverbally. PNAS, 105(27), 9163–9168.
  • [2] Goldin-Meadow, S., & Mylander, C. (1998). Spontaneous sign systems created by deaf children in two cultures. Nature, 391, 279–281.