hibitの技術系メモ

数学とか3Dとか翻訳とか

VTuberに関する学術論文が出たので一般向けに紹介

 ACM CHI Conference 2021において、以下のような論文が発表されるようです。

f:id:hibit_at:20210204193817p:plain

 国際学会(CHI)の論文にVTuber。これは解説せねばなるまいでしょう。学術論文を読んだことがない一般の方を想定して紹介をするので、やや周辺知識を含む冗長なものになりますが、ご了承ください。

 また当たり前ですが、以降紹介するすべての図表と引用文は上記論文(Lu et al. 2021)からのものになります。

学会や研究室等

 ACMアメリカにある世界最大規模の国際学会で、コンピュータをメインテーマに色々な分科会をやっています。例えば、分科会の一つであるSIGGPAPHはCG学会の権威として特に有名です。また別の分科会にCHI(Computer Human Interaction)というのがあって、これもHCI*1ーーつまりコンピュータと人間が相互作用して新たな価値を生み出していく研究分野ーーにおいてはトップカンファレンスです。今回紹介する論文はこのCHIに投稿されたものになります。

 SIGGRAPHもそうですが、結構たくさんの論文が発表されるので、ザ・最先端技術という研究もたくさんありますが*2、アイデア勝負的な論文も結構出ていて、この論文も後者のタイプかなと思います。先に結論を話しておくと、基礎調査的な研究であり、何か新しいアルゴリズムを実装したとか、面白い装置を開発したとか、そういった論文ではないです。

 香港大学の研究室が出した論文であり、著者の経歴等をざっと確認してみましたが、SNSやストリーミングをテーマにCHIやCSCW*3にコンスタントに論文を出されている方のようです。ただ、ラストオーサー含めてトロント大学(著者の前所属)の人が多いため、その時の研究のようです。いずれにせよ、VTuberに強い研究室……等というものは今の所存在しない訳ですが、数年後には出てくるかもしれません。

概要

※※現在ビデオ未公表。いずれCHIのチャンネルから公表されると思うので、され次第貼ります※※

 一言で言うと、VTuberの熱心な視聴者にアンケート調査をして、従来のメディアとの違いを考察したものです。フルペーパーはだいたい長いものですが、この論文は特に長いです。Findings*4やDiscussionのあたりは、人によっては冗長に感じる方もいるかも知れません。

 この論文で興味深かった部分は、VTuberの特徴としてNakanohito(中の人、論文中でも本当に「Nakanohito」表記です)をあげ、演じるキャラクター(日本界隈の呼び方でいえば「ガワ」)とNakanohitoとの関係を考察しています。学術誌でNakanohitoという表記を見ることになるとは思わなんだ。

We conducted an interview study to understand how viewers engage with VTubers and perceive the identities of the voice actors behind the avatars (i.e., Nakanohito).

図表の解説等

 どんな論文も、先頭にAbstract(概要)があって、そこを読むだけで大体の内容は掴めるようになっています。最近は、DeepLに突っ込むだけでもそれなりに*5精度の良い翻訳が出てくるので、それで読むのもおすすめです。

 内容を全部書きだしていると長くなりすぎてしまうので、ビジュアル的にわかりやすい図・表を中心に、自分なりに論文を噛み砕いて要所要所を伝えます。全体のストーリーは、ライブ配信は盛り上がり続けているが、既存の研究はリアルストリーマーに対してのものが多いなか、近年盛り上がっているVTuber*6に対してその特徴を考察するためにアンケートを行う、というものです。日本人の感覚だとまだまだ日本独自(あとアメリカも少し?)という感じですが、中国も大きな市場のようで、この後のアンケートでもユーザーの主要なメディアはbilibiliです。これは、中国人研究者によるアンケートというのもあるでしょうけど。

f:id:hibit_at:20210211020539p:plain

 表1。アンケートの参加者の要約。少なくとも週に1回はVTuberの配信を見るという参加者を集めています。列は年齢、性別、職業、学位 等。仕方ないとは思いますが、ほとんどが学生で男性です。サンプルとして偏っているとは思いますが、先駆的な調査なので仕方なしといった所でしょうか(この点は、論文の後半でLimitationsとして上げられています)。NGAというフォーラムでユーザーを募集しましたが、ユーザーの分布的に自然にそうなったということです。

f:id:hibit_at:20210211022057p:plain

 図2。VTuberのコミュニティに特質的と見られるmemeについてまとめたものです。meme(ミーム)は元は「利己的な遺伝子」で用いられた言葉*7ですが、現在は社会生物学の文脈を離れて、日本語で言えば「流行ネタ」に近い概念です。VTuberのクリップはよくミームとなりますが、コミュニティによってミームが維持管理(よいミームを共有したり、不適切なミームを除外したり)されていることが、コミュニティアイデンティティ強化に寄与しているということです。

 つまり、VTuberはmeme(定形ネタ)を共有することで、よりキャラクタとして受け入れやすくなり、コミュニティとしてもそのようなキャラクタ化を積極的に利用していることが伺えます。しかし、そのような純粋化された「ファンタジー」を楽しむことが目的かと言うと、一概にそうとも言い切れない複雑さがあります。

f:id:hibit_at:20210216030148p:plain

 図3。漫画家の佃煮のりおさんと、彼女が生み出したVTuberである犬山たまきの「対談」。VTuberとNakanohitoの関係を考える上で興味深い例。視聴者は、VTuberとNakanohitoのパーソナリティーを(たとえ一目瞭然であっても)仮想的に違ったものをとして受け入れ、楽しんでいます。

f:id:hibit_at:20210216031624p:plain

 もちろん、Nakanohitoを秘匿するべきだという考えの人もいます。初期のフォーラムでは、中の人についてのプライバシーを論ずることはタブーとされていたそうです(上の図4)。多くの視聴者は、VTuberはNakanohitoの個人制作ではなく、企業のチームワークであり、コンテンツとしての方向性が明確であればNakanohitoの交代はさしてVtuberにとって本質的ではないと受け止めているようです。むしろ、そのようなNakanohitoの変化や、複数のNakanohitoによる並行運営は、コンテンツに変化をもたらす点で望ましいとさえ考える視聴者もいます。

 一方で、Nakanohitoのリアルな事情を考慮することもあります。ある企業VTuberでは、演者が突然交代するという事件が起き、その背景にある労働環境も含めて企業への批判の声が上がったことがありました*8。このように、VTuberは、身体性からの脱却(disembodiment)を大きな特徴とし、一次的にはキャラクターを虚構として楽しむ文化でありつつも、そのNakanohitoとも完全には切り離せない関係にあります。

結論

 VTuberは、既存のストリーマー文化の延長線上にありつつも、コンテンツと演者(Nakanohito)という複層的な構造があるため、視聴者がそのパーソナリティーをどのような距離感においてどう受け止めるかにおいて、リアルストリーマーとは異なる特徴を持っています。

Viewers, however, perceived VTubers differently from real-person streamers by holding different expectations for VTuber’s behaviors and feeling a stronger sense of distance towards them.

 それらの特徴を理解すれば、よりVTuberに適したプラットフォーム等を設計し、視聴者コミュニティとVTuber間の相互作用をより進めることができます。

By identifying unique challenges that viewers and VTubers encounter within the realm of live streaming, (中略) , these results could inspire the design of future live streaming platforms and enable the community to better understand the influence and effects of VTubers or even AI-powered virtual streamers, on audiences.

 なお、そのようなDesign Implimentationとして、論文中では、

  • VTuberアイデンティティ管理をしやすくする配信ツール(不適切な発言の管理 等)
  • 演者の健康やプライバシーに配慮し、フェアな関係であることを開示して、視聴者との信頼関係を築く
  • 距離を超えられることを活かした相互作用(現実の観光名所をシームレスに紹介する、視聴者とVTuberが同じ空間を共有する 等)

 が挙げられています。

おまけ

 論文を読んでいて吹いた部分。

f:id:hibit_at:20210217042532p:plain

 国際学会の論文に、ゆゆうた氏参上!(VTuberのコラボの事例紹介)

f:id:hibit_at:20210217042650p:plain

「インタビューの回答の中には、女性嫌悪もしくは性差別的な考えが多く見られた。」

 せっかくインタビューを受けてくれた人に対して……。

*1:これも意味としては同じなのですが、こう表記された時には分野全体や、HCIと略される別の学会を示すことが多い気がします

*2:いまで言ったら、機械学習でゴリゴリやるタイプの研究がこれにあたるでしょうか

*3:ACMの分科会。Computer Supported Cooperative Work。

*4:普通はこの位置にはResultsが入るはずですが(たぶん99%の論文はそう)、この論文では調査結果の解釈が主要であるためか、このような項目名になっています。

*5:DeepLは「それっぽい」翻訳が出てくる代わりに、時々致命的な誤訳や省略が入っているのが玉に瑕ですが、私が確認した限りだと、この論文のアブストでは大丈夫でした。

*6:余談ですが、バーチャルストリーマーの先駆的な例としてLil Miquelaさんの例を出しています。インスタにもこういう方がいたんですね。

*7:生物学的遺伝子と同じように、自己増殖する風習や文化等のこと。

*8:詳細までは知らないですが、ゲーム部の声優交代について。