Web調査の整合性と有効性を探る ~質問紙調査との比較、動画・インタラクティブ性の効果~

VRDigest編集部
VRDigest編集部
  • facebook
  • facebook
  • Twitter
  • HatenaB!

※本記事は2001年に発刊したVR Digestに掲載されたものです。

 米国ナスダック証券市場ではIT(情報技術)バブルがはじけ日本国内のIT産業も選別・淘汰の時代に入ったと言われていますが、ITとその技術を利用したビジネスが日本経済に与えるインパクトは今後とも大きくなっていくことが予想されます。マーケティング・リサーチもその例外ではなく、当社をはじめ数多くの調査主体によって汀を利用したネットリサーチが企画・実施され、その重要性が高まっています。しかしながら、調査手法としてのネットリサーチの特徴に関しては不明な部分も多く、調査データを利用する側として不安材料となっています。

 そこで今回はネットリサーチの一形態であるWeb調査(ブラウザを使ったネットリサーチ)の特徴について、当社が行った基礎研究の結果をご報告いたします。

■研究目的と検証内容

 今回ご紹介する研究の目的は、第一にWeb調査データと既存の質問紙調査データとの整合性を比較すること、第二にWeb調査に特有の技術(動画・音声・インタラクティブ性)の有効性を把握することです。当社が毎月実施している自主調査「テレビCMカルテ」を対象として、質問紙調査データとWeb調査データの比較を行い以下の4項目の検証を行いました。

◆Web調査の整合性検証

 検証1)web調査サンプルは特殊なのか?

 検証2)質問紙調査法とWeb調査調査法の違いは?

◆Web調査の有効性検証

 検証3)Web調査特有技術(動画・音声・インタラクティブ性)の有効性は?

 検証4)インタラクティブ性による測定信頼性の向上効果は?

■実脚査の概要

 2000年9月に実施された関東地区「テレビCMカルテ」調査と同時期に同一の対象者構成で、図1に示した色つきの3つの実験調査を実施しました。「CM評価調査1」は通常の「テレビCMカルテ」と全く同じ質問項目・設計で、6コマの静止画(カラー表示)とナレーション・テキストによってCM素材を提示しました。一方、「CM評価調査2A」と「CM評価調査2B」では質問紙調査とWeb調査の2通りの調査を同一のサンプルに対して行いました。[CM評価調査2B]のWeb調査では表1であげているWeb調査特有技術(動画・音声・インタラクティブ性)を利用したCM素材と質問の提示方法1を採用し、それらの統制要因を実験計画法的に配置して8通りの提示方法を混在させたWeb調査を実施しました。

vol399_09.jpg

 インタラクティブ性とは、対象者の回答パターンに応じて次に来る質問を調整することを意味しています。今回の実験調査では、ある特定のCMについて[CM興味関心]と[CM好意]の両方の質問において5点尺度で3点以下をチェックした対象者には、そのCMに関してそれ以降の質問([クリエイティブ評価]や[イメージ評価])を3分の2の確率で提示しないという設計で行いました。

表1:Web調査特有技術

vol399_10.jpg

1動画調査はCM素材を収めたCD-ROMを調査対象者に郵送し実施しました。ただし、著作権・肖像権に配慮し、あらかじめ調査対象者に対して複製や二次使用の禁止について同意をとり、また、調査終了後にCD-ROMを回収しました。その他に、当社ではJavaアプレットによるコピープロテクトが可能な動画調査の開発を行っています。

■検証結果

 既存研究でのWeb調査データと質問紙調査データとの整合性の比較は、図1の左上と右下2つの調査データ間での比較に限定されていました。つまり、先行研究の調査設計では、サンプルの違いと調査手法の違いによる2つの影響を区別することができませんでした。我々の研究では、検証1でサンプルの違いによる回答への影響、検証2で同一サンプルでの調査手法の違いによる影響を検証しました。さらに、検証3と検証4では、Web調査の特有技術(動画・音声・インタラクティブ性)に着目し、それらの技術が回答に与える影響について有効性の検証を行いました。

 これら4項目の検証に当たっては、「テレビCMカルテ」と「CM評価調査1」、「CM評価調査2」の全てに共通する10CM素材と20歳から49歳までの調査対象者を分析対象としました。質問項目は、[CM認知]、[CM内容理解、[CM興味関心]、[CM好意]、[タレント適合度]、[商品・サービス購入喚起]、[印象に残ったクリエイティブ(8項目)]、[イメージ評価(20項目)]の計8間34項目を使用しました。

◆Web調査の整合性検証

検証1)web調査サンプルは特殊なのか?

「テレビCMカルテ」の無作為抽出サンプルとWeb調査サンプルの整合性を検証するために、「CM評価調査2A」でWeb調査のために募集した対象者に対して既存の「テレビCMカルテ」と同形式の質問紙調査も合わせて実施しました。検証方法は、340ケース(10CM素材×34項目)の質問項目を離散値(On,Off)の従属変数とし、サンプル系列の違い(無作為抽出サンプル、Web調査サンプル)を独立変数としたプロビット・モデル(従属変数が生起する確率に正規密度関数をあてはめたモデル)による独立変数の優位性検定(5%有意水準)を行いました。

◎[CM認知]質問でサンプル間に明らかな相違

10素材中7素材でサンプル系列の違いが有意と検定されました。CM認知率の平均は、「テレビCMカルテ」の53.2%に対し「CM評価調査2A」で69.8%と高くなっていました。

◎ その他の質問項目でもわずかに差異

 2割から4割のケースでサンプル系列の違いが有意となり、[タレント適合度]では5割が有意と検定されました。

検証2)質問紙調査法とWeb調査調査法の違いは?

「CM評価調査2A」と「CM評価調査2B」で同一サンプルに実施した質問紙調査データとWeb調査データを用いて、調査手法間の相違を検証しました。検証方法は、検証1と同じく340ケースの質問項目の離散値を従属変数とし、調査手法の違い(質問紙調査、Web調査)を独立変数として、さらにWeb調査特有技術(動画・音声・インタラクティブ性)と調査順序も説明変数に加えたプロビット・モデルによる優位性検定(5%有意水準)を行いました。

◎[クリエイティブ評価]と[イメージ評価]で相違

[クリエイティブ評価]で6割のケース、[イメージ評価]でも3割のケースで調査手法間の違いが有意と検定されました。

◎ その他の質問項目ではほとんど差異なし

 その他の質問項目で調査手法の違いが有意と検定されたのは、1割から2割のケースにとどまりました。

 以上の検証結果から、第一に、質問紙調査データとWeb調査データの違いとして従来から経験的に観察されていた認知率の相違については、検証1より、調査手法の相違よりも調査サンプルの違いによって引き起こされていることが明らかとなりました。第二に、検証2から、Web調査サンプルを対象とした調査手法の違いは[クリエイティブ評価]に顕著に見られることが分かりました。

 紙幅の制限から詳細は省略しますが、質問紙調査データとWeb調査データの[クリエイティブ評価]と[イメージ評価]の測定構造を平均・共分散構造分析2によって比較した結果、平均構造は両調査データ間で異質的だが、共分散構造は同質的であることが検証されました。すなわち、測定値の平均的なベースはWeb調査データの方が高い値になっているが、測定変数間の因果関係は質問紙調査データでもWeb調査データでも同じであるということです。Web調査によって得られた数値を世論調査のような一般的なデータとして絶対的に扱うことはできませんが、数値間の因果関係を相対的に利用しても質問紙調査データと遜色ないことが明らかとなりました。

◆Web調査の有効性検証

検証3)web調査特有技術(動画・音声・インタラクティブ性)の有効性は?

「テレビCMカルテ」、「CM評価調査1」、「CM評価調査2A」、「CM評価調査2B」全てのデータを用いて、検証1、検証2と同じく340ケースの質問項目の離散値を従属変数とし、Web調査特有技術(動画・音声・インタラクティブ性)と調査手法、調査順序を独立変数としたプロビット・モデルによる優位性検定(5%有意水準)を行いました。

◎web調査特有技術による影響はほとんどない

 動画、音声、インタラクティブ性それぞれ有意となったのは、全340ケース中で24ケース、20ケース、23ケースにとどまりました。

◎ CM認知にはやや影響

 動画、音声、インタラクティブ性とも4割のケースで有意と検定されました。

2共分散構造分析と後述の構造方程式モデルについては、参考文献として豊田・前田・柳井著『原因を探る統計学』(ブルーバックス1992年)をご参照ください。

 このように、「テレビCMカルテ」を対象とした検証では動画、音声、インタラクティブ性などWeb調査特有技術による回答への直接的な影響はほとんど観測されませんでした。しかしながら、今回の測定対象は調査時点よりも前に放映されたCM素材を事後的に助成想起させたものです。助成想起させる手法として、動画と音声を使う手法と静止画とテキストを使う手法との間にCM素材を思い出させる効果にほとんど差異はなかったと解釈できます。しかしながら、Web調査で動画を利用したCM素材のプリテストのように、事前のCM評価調査におけるWeb調査特有技術の有効性については別途検証する必要があります。

検証4)インタラクティブ性による測定信頼性の向上効果は?

 検証3の結果から、インタラクティブ性による回答への直接的な効果は確認できませんでしたしかしながら、我々は、インタラクティブ質問で適切な対象者に適切な質問をすることによって測定信頼性が向上するのではないかという仮説を考えました。逆に、インタラクティブ性がない状態では、製品やCM素材に興味がなく意見のない対象者に対して大量な質問を行うことで対象者を疲弊させてしまい、測定誤差が大きくなる恐れがあるということです。

 そこで、心理学で一般的に用いられている構造方程式モデルによる測定誤差の推定3を6つの質問項目([CM認知]、[CM内容理解、[CM興味関心、[CM素材好意]、[タレント適合度]、[商品・サービス購入喚起])×10CM素材について行い、インタラクティブ性の有無によって測定誤差分散に差異(5%有意水準)が見られるかを検定しました。

◎インタラクティブ質問によって測定信頼性が向上

 インタラクティブ性の効果が有意と検定され、測定誤差分散の推定平均値は0.98から0.66に改善しました。

■まとめ

 本研究では「テレビCMカルテ」を対象として質問紙調査データとWeb調査データの比較を行いました。第一に、先行研究で見落とされていたサンプルの違いと調査手法の違いによる2つの影響を分離して検証を行いました。

◆ 検証1)無作為抽出サンプルとWeb調査サンプル間での回答傾向には差異がありました。

  特に、[CM認知]の相違は調査サンプルの違いによって引き起こされていました。

◆ 検証2)web調査サンプルを対象とした調査手法比較では[クリエイティブ評価]と[イメージ評価]に顕著な差異が見られました。しかし、その他の質問項目ではほとんど差異は見られませんでした。

平均・共分散構造分析による検証結果でも、上記の内容を支持する結果が得られており、Web調査によって得られた数値を世論調査のような一般的なデータとして絶対的に扱うことはできませんが、数値間の因果関係を栃緋伽謀り用可能であることが明らかとなりました。

3測定誤差の議論についても注2の参考文献をご参照ください。

 第二に、Web調査の特有技術(動画・音声・インタラクティブ性)に着目し、それらの技術が回答に与える影響について検証を行いました。

◆ 検証3)事後的な助成想起によるCM評価を測定対象とした場合、Web調査特有技術による回答傾向への影響はほとんど見られませんでした。しかし、[CM認知]にはわずかに差異が認められました。

◆ 検証4)インタラクティブ性によって測定信頼性が向上することが分かりました。

 実際のWeb調査では今回の実験調査で使用したような単純なインタラクティブ質問よりも複雑な質問のコントロールが可能であり、適切な対象者に対してより深堀りした質問をすることで、内容の豊富なデータを収集するとともに測定の信頼性も向上できることが示唆されました。

 今後の課題として、今回のような事後的な助成想起ではなく事前のCM評価調査(プリテスト)における音声・動画の効果については、別に検証しなければなりません。また、一時点だけの比較検証ではなく、継続的にWeb調査データを収集し質問紙データと繰り返し比較し日朝塞的な分析を行う必要があります。最後に、今回の検証では考慮しなかったCM素材の出稿量やブランド評価、対象者属性情報などを加えた分析も必要であると考えています。

 我々の検証研究によって、事後的なCM評価調査を対象にしたWeb調査手法の整合性と有用性に関する特徴が制限つきながら明らかになりました。当社としては、これらの基礎研究を継続して進めるとともに、研究成果をWeb調査業務にフィードバックしより精度の高い調査を実施していきたいと考えています。

謝辞

 今回の報告は、関西学院大学経営学部井上哲浩助教授との共同研究を要約したものです。

記して感謝いたします。また、研究論文は『マーケティング・サイエンス』誌に投稿する予定となっています。

                       eマーケティング局 研究開発部  大西 浩志

                             (E-mail:v009525@videor.co.jp)

この記事をシェアする
  • facebook
  • facebook
  • Twitter
  • HatenaB!