テレビなどの動画は、音声と画像がわずかにズレることがある。ビデオ会議ではパソコンの処理速度が関係して、なんとも気持ち悪いズレ感を覚えることが多い。しかしそれをしばらく見続けていると、人間の脳が慣れてきて、ズレをできるだけ小さくしようとする「時間的再較正」という現象が生じ、気にならなくなる。では、そのズレが大きい場合はどうなのか。また、頭がズレた場合と終わりがズレた場合でも同じように調整されるのか。千葉大学が実験を行ったところ、時間的再較正が生じる条件がわかった。
音と映像が100ミリ秒以上ズレると、人はそれを感じるという。そこで実験では、音が始まって240ミリ秒後に映像が始まる、または映像が始まって240ミリ秒後に音が始まる「オンセット」の条件と、音が終わった240ミリ秒後に映像が終わる、または映像が終わった240ミリ秒後に音が終わる「オフセット」の条件を設定してそれぞれの検証を行った。
まずは順応段階として、実験参加者には、いずれかの映像を約5分間に120回繰り返して見てもらった。そしてテスト段階では、開始時または終了時に0〜300ミリ秒のズレを設けたものを10回、ランダムに見てもらい、音と映像のどちらを先に感じたかを報告してもらった。
その結果、音が映像より前に出る条件でのみ時間的再較正が生じることがわかった。花火や雷は、パッと光った後に音が聞こえてくる。それが普通だと認識しているが、じつは頭の中では逆のことが起きている。聴覚は視覚よりも処理が速いため、音が先で光が後なのだ。そのため、音の後に映像が始まる条件のほうがズレを主観的に認識しやすく、対応しやすいのだと考えられる。
また、これは自動処理ではなく、あくまで訓練によって得られるものなので、順応段階ではオンセット、テスト段階ではオフセット、またはその逆に条件を入れ替えると、時間的再較正は生じなかった。脳は、「あ、あのパターンね」と認識できないと調整をしてくれないというわけだ。
こうした人の視聴覚の研究が、テレコミュニケーションの音声と映像のズレを感覚的に自然な形で調整する技術の開発につながるものと期待される。
