プログラムの同僚からが、今度中学校教員対象に実施するという調査のオンライン調査票の評価を頼まれた。NASAかどこかから、かなりのグラントをもらっている結構大掛かりなプロジェクトで、子どもの科学教育のオンライン教材とコミュニティを開発しているそうだ。指示に沿ってWeb上の調査票に答えていくものなのだが、これが被験者の負担がすさまじい。参加申込をして、プレ調査に答えて、受け持ちの子どもたちの親から参加承諾書をもらって郵送し、サンプルレッスンを2コマやって、事後調査に答えて、子どもたちにも調査票に回答させる、というもの。これで謝礼は開発された教材を自由に使えます、というだけ。質問もややこしいのが190問。マジですか？と言いたくなるような調査デザイン。いかに全米に中学教員は山ほどいるといっても、こんな負荷の大きい調査にボランティアで付き合ってくれる教員が果たしてどれだけいるのか。アメリカの学校教員というのはそんなに熱心で協力的なのか？このプロジェクトの指導教授もどんなつもりでこんなのやらせているのか、理解に苦しむ。Web上の指示はわかりやすいか評価してくれ、という依頼だったのだが、こんなのは指示の問題ではなくて、調査の構造に大きな問題がある、と答えたが、その同僚からは、そんなことを言われてもどうしようもないといった顔をされた。
　このサーベイリサーチデザインの前提として誤っていることがいくつかある。
「サーベイリサーチ被験者に対する5つの誤解」
1. 被験者は研究に対して好意的で、熱心に参加してくれる
2. 被験者は自分たちの研究を自分たちと同じように重要だと思っている
3. 被験者は研究内容に関する知識と関心を持っている
4. 被験者はスマートで、聞いたことはすぐに答えられる
5. 被験者は見知らぬ研究者のことをすぐに信頼してくれる
　5つとも、大きな誤解であり、こういう前提を持って研究をやるのは研究者の欺瞞でしかない。日本でも役所や国から金をもらって実施するシンクタンクの調査などで、よく設計のお粗末な大規模調査をやっているのを目にしたが、アメリカでも似たようなことはやられているのだということがよくわかった。というか、そういうお粗末大規模調査はこっちに来てからの方がよく見かける。大規模調査は金がかかるのだから、もっと丁寧に設計してほしいものだ。調査票レイアウトとかワーディングのテクニックがあっても、「私たちの研究はとても重要なのだから、被験者は参加して当然」という傲慢な姿勢では絶対にいい研究はできない。残念ながら、そういうことはアメリカの大学でもあまり教えられていないらしい。