少し前の記事だけども、「Simulations and the Future of Learning」の著者で、「Virtual Leader」を開発したSimLearnのリードデザイナーのクラーク・アルドリッチ氏が個人ブログで、「シミュレーションにおけるパフォーマンス評価法」について書いていた。
Techniques for grading student performance in a simulation （Clark Aldrich’s Style Guide for Serious Games and Simulations）
http://clarkaldrich.blogspot.com/2008/08/techniques-for-grading-student.html
この記事では、アルドリッチは一般に利用されている方法として次のようなものを挙げながらそれぞれの方法についてコメントしている。
・シミュレーションで学んだ経験をレポートにまとめさせる
シミュレーションに取り組んだ過程やその意思決定の理由を論じさせる課題を出すことで、振り返りを促す方法。シミュレーション利用教育の定番的な方法。ペーパーにまとめさせる以外にも、デブリーフィングと呼ばれるディスカッション形式もよく用いられる。
・シミュレーションで学んだ経験を日々記録させる
シミュレーションを継続的に利用する場合や、自習教材として利用する場合には、学習したことを日々ログとしてつけさせて、そのログを評価することもできる。「シミュレーションで学んだことを振り返るだけでなく、学んだ概念やモデルを通して現実世界を分析したり考えたりした内容も記録させるとさらによい」とアルドリッチは指摘している。これは学習の転移をどう促すかという話なので、ただログ書かせるだけではダメで、課題の与え方も重要。
・シミュレーションの上達、達成を目指させる
プレイの上達度＝学習到達度となるように設計されたシミュレーションにおいてはこの方法が使える。シミュレーションのスコアの高さがそのスキルの上達度に直結するようなプログラムの構造にする必要があるし、シミュレーション型教育に共通するスキルの忠実性の問題（シミュレーションで学んだスキルが現実世界での応用にどれほど直結しているか）をどう消化するかも検討する必要がある。
・プレイ時間を計る
学習に投じた時間も一つの評価基準として利用できる。時間をかけた、かけなかった理由も把握しておかないと、解釈を間違えることになる。
・学習者にシミュレーションを作り変えさせる
目的に合わせてシミュレーションの構造を変える作業そのものが学習となるので、学習者にやらせてしまう。教える側に回ることが一番勉強になるという原理を用いた方法。Constructionist的なアプローチ。
アルドリッチはこの方法について、デザインを通して学ぶ方法は、シミュレーションを経験させて学ぶ方法とそもそもの学習の性質が変わるから、そのまま置き換えられるものではない点を注意する必要があると異論を呈している。
でも、これはそもそも評価法と言うよりはむしろ学習効果を高めるためのアプローチの一つだろう。どれだけうまく作り変えたかということを評価するにはそれを適切に評価するための基準も作る必要があるだろうし。
まとめとして、教育シミュレーションのデザイン技術の現状として、現実世界にそのまま応用できるスキルを身につけられるのが理想だが、まだそこには至っていないのが現状だということと、シミュレーションを利用した教育の評価方法はまだ十分に発達しておらず、標準的な評価方法はまだ確立できてない、だから優れた評価ノウハウがあると言っている人の話は話半分で聞いておけ、とアルドリッチは指摘している。
また、教育評価の現実として、本来の学習成果を評価するよりもむしろ、単に学習を強制させるための手段（要は「ここはテストに出ますよ」というやつ）として用いられているという状況があるため、話がややこしくなっていることも彼は挙げている。
アルドリッチが最後に指摘しているように、教育評価の問題はいろいろと物議を醸す点があって、話は簡単ではない。たとえば、新しい教育技術を用いようとすると、評価の話は必ず出てくる。もちろん大事な問題なのだけども、本来の趣旨とは違った問題も生じている。とりあえずいちゃもんをつけるきっかけとして評価の問題を指摘しているようなところがあるのも現実だったりする。
逆に、ゲームやシミュレーションを用いた教育を提案する側の問題もあって、ノウハウはないけどお金がついたからとりあえず作ってみました、というような状況でよくわからないものを作ってしまって、評価の問題を突っ込まれたらお話にならないようなレベルの低いプロジェクトも実際にたくさんある。学会などで発表を聞いていると、そういう研究は結構普通にゴロゴロあるし、じゃあ自分がそうじゃない質の高いものを常に生み出せるかというとそんな確信があるわけでもない。なので、お互い様のところもあってなかなかうまくいかない。
政治的な問題はともかくとして、まずはいいものを形にしないと話が始まらないので、評価面までしっかり見据えた形で企画してデザインして、いいものを作ることに専念しましょう、ということで。
関連記事：
教育評価の７つの落とし穴