ホーム → IRなどについての文献メモ → Endo, J. (1992). Student impacts.
公開日:2012年9月25日 最終更新日:2013年2月23日
IRを扱った入門書の第3章。よりよい[学びの成果]のために[大学が学生に働きかける取り組み]をどのように計画し、提案していくかを紹介。
[学生に働きかける取り組み]と[学びの成果]について、定義をはっきりさせることが大切。そこで、定義をはっきりさせるための作業手順を説明。文献、学内文書、関連部署のトップ、取り組みに関係する内容に詳しい人たちからの情報を使い、取り組みと学びの成果の関係についてモデルを考える。
モデルを考えたら、次はデータを集める。学生インパクト調査では、既存の学内システムで集める「データ」と、追加で情報を得るための「アンケート」を使う。
データが集まったら分析をする。「○○という方法を使った場合に△△という成果が出るか」という観点で見る。
分析結果からわかったことを踏まえて、提案を行う。提案資料を作るときの手順、提案するときのコツを紹介。
IRについて初歩的なことを丁寧に書いている文献を探していました。そんなとき、ちょうど学内の図書館にそれらしい文献が所蔵されていることがわかったので、読み始めることにしました。その中の第3章です。
章のタイトルはstudent impactsです。取り組みと生じた状況の関係について調査することを「インパクト調査(インパクト評価)」と呼ぶので、その大学版として「学生インパクト調査」と訳しています。大学でもインパクト調査がいろいろ行われているようです。(参考:結果の評価と手続きの評価(一般社団法人子ども安全まちづくりパートナーズ)、[PDF]Good Practice in Designing Impact Studies(Wall先生・Horák先生、ランカスター大学))。
この章では働きかけと学びの成果についてモデルを考えるという話が出てきます。モデルを考える目的は、1.調べたい学びの成果がどのようなものかをはっきりさせることと、2.[働きかける前の状況はどうだったのか]、[どのような働きかけをするのか]、[働きかけた後はどうなったのか]をしっかり分けて考えることにあるかと思います。
思いつきで物事を始めるのではなく、よく考えましょう、そのためにはこういう手順で進めるとよいですよ、ということが書かれています。あまり具体的なことは出てきませんが、考え方は何かと使えそうです。
○扱う内容
- [大学が学生に働きかける取り組み]と[学びの成果]の関係
・ 働きかけの例
- カリキュラムの改善
- 情報の調べ方・レポートの書き方などの指導
- 退学防止策
- マイノリティのグループに向けた活動
・ 各大学の置かれた状況によって何をするかは違ってくる
○学生インパクト調査の先行研究
- 学生インパクト調査についての文献
・ 詳しく書かれているもの
- Astin(1991)
- Pascarella & Terenzini(1991)
・ 初期のもの
- Feldman & Newcomb(1969)
- Pace(1979)
○学生インパクト調査で扱うデータ
- 学生インパクト調査を計画するときの状況は2種類ある
1. 方法・成果の定義がぼんやりしている
2. 方法・成果の定義がはっきりしている
- 方法・成果の定義がぼんやりしている場合、それらをはっきりさせることから始める
・ まず情報を集める
・ その後、どのような方法を使い、どのような成果を調べるのかを決める
- 「○○という方法を使った場合に△△という成果が出るか」のような問いの形にするとよい
- 学生に働きかける方法・成果の定義をはっきりさせるときの手順
・ STEP1
- 文献を調べて「成果」の見方にどのようなものがあるかを知る
・ 例えばAstin(1991)では成果を種類・データ・時間の観点で見ている
(橋本の注:各観点について詳細は書かれていません)
- 文献を調べることで成果について幅広い見方ができるようになる
・ 成果を調べるときは[気持ち]と[知識]の両面を扱うとよい
・ [気持ち]についての成果の向上は、[知識]についての成果の向上と関係することが多い
・ [気持ち]の例:学びへの姿勢、価値観、自分に対する見方、目標、性格(Pascarella & Terenzini, 1991)
・ [知識]の例:知識を得る、意思を決める、複数の知識を1つにまとめる(Pascarella & Terenzini, 1991)
・ STEP2
- 働きかけを計画・実施する部署のトップに聞いてみる
・ 学びの成果のうち優先順位の高いものは何か
・ その成果のために行っている/行おうとしている取り組みは何か
・ 学生インパクト調査が短期/長期に最もよい影響を与えそうなものは何か
・ トップが最も支援をしてくれそうな取り組みは何か
・ STEP3
- トップが重視しているか働きかけを踏まえ、詳しい人にもいろいろ聞いてみる
・ 効果的と思う取り組みは何か
・ 学生のグループによって学びの成果が異なるのはどういうグループのときか
- 人種・民族、性別、年齢、経済状況など
・ STEP4
- 学内の報告書・調査・議事録を集める
- それらの中から学びの成果、学生の特徴について書かれたものを選び出す
- 学生インパクト調査に追加すべき学びの成果がないかを調べる
- 学生インパクト調査を計画するときに、方法・成果の定義がぼんやりしている場合でも、上記STEP1~4で方法・成果の定義がはっきりすることになる
・ 方法・成果がはっきりしたのであれば、次に何をすればよいかを考えることになる
- 学生インパクト調査で方法・成果がはっきりしている場合の例で考えてみる
・ 例:学生が大学と関係する時間を増やすために、先輩学生が1年生を支援する制度
- 参加した学生の学びによい影響はあったのかについて、評価委員会があなたに調査を依頼してきたとする
- まずは取り組みを計画する人、行う人に話を聞いてみる
・ 実際に話を聞くことで、行うことの中で何が重要なことなのかがわかってくる
- 対象になる先輩学生、支援を受ける学生のうち、何人かにも聞いてみるとよい
- 次に学生インパクト調査の文献を調べて、何かいいアイデアが見つからないか探してみる
・ とくに自分の大学で行うものと同じ方法・対象を扱っている文献に注目するとよい
・ 例えば学生と学部の関わりを扱っている文献を調べると、関わりが公式/非公式かを区別することは重要とわかる
- 上記のような調査をする中で、取り組みと学びの成果の関係についてモデルを得ることができる
・ 例:学生が退学せずに継続して学び続けるかは、学生が学内の制度にどれくらい組み込まれているかに影響を受けるというモデル(Spady, 1971; Tinto, 1987)
- モデルを考えるときはAstin(1991)の"input-environment-output"モデルが参考になる
・ Input
・ 取り組みを始める前に調べた学生の学びの状況
・ 学生の背景情報(レポート作成などの能力、大学への期待度、大学での目標)
・ 学生の背景情報は学びの成果に大きな影響を与えるという研究がある
・ Environment
- 働きかけの内容
・ Output
- 働きかけをした後に調べた学びの成果
- 学生インパクト調査で学びのモデルを考えたら、それでようやくデータを集める段階になったといえる
・ 学生インパクト調査では特定のグループについて調べることが多い
・ とくに他大学の経験がなく、前期に入学をしている1年生を対象にすることが多い
- 対象となる学生数について
・ 4年間かけて行うなら、対象はなるべく多い方がよい
- 4年のうちに退学などで数が減ってしまうため
・ 1年間だけの調査であれば、少数のグループでもそれほど問題はない
- 学生インパクト調査にとって重要な情報源は2つ
1. 学内情報システムで集める「データ」
2. 追加で情報を得るための「アンケート」
- 「データ」
・ 収集が完了、継続、計画されている情報
・ 例:入試の点数、高校の成績など
・ どういう学生なのかを知るために使う
・ データの計画・管理を担当する人に学生インパクト調査のことを知ってもらう必要がある
- 必要な情報が途中で途切れないようにするため
- 「アンケート」
・ 既存の学内システムで集めているデータだけでは足りないことがある
・ そういうときには別にデータを集める必要がある
・ 1年間だけの調査の場合、最低限必要なのは「入学したとき」と「1年過ごした後」の情報
・ 4年間の調査の場合、1年間の調査と同じく、各学年の始めと終わりの情報を集める
- それに加えて、学生の状況が大きく変わる卒業時の情報を詳しく調べるとよい
・ 学内システムを意識する
- 学内システムで得られていないことを聞く
- 学内システムで得られることは聞かない
・ Input-environment-outputモデルを意識する
- 「○○という方法を使った場合に△△という成果が出るか」
- 天井・床効果に気をつける(回答が最大・最小値に偏り過ぎると分析できなくなる)
・ 平均への回帰に注意する
- 例えば1回目の点が極端に良かった場合、2回目の点はそれほど極端にはならず平均に近くなる
・ 質問の並びは答える側がわかりやすいようにする
- データ集計の都合で並べてはいけない
・ 学長などに協力依頼文を書いてもらうとよい
- その文章には調査目的、秘密の厳守についての記載を入れておく
・ 関係者にお願いし、文書を事前に読んでもらうとよい
・ さらに少数のグループでアンケートを試すとよい
- 試すときは、質問が曖昧ではないか、多過ぎないかを調べる
- [各質問が教育を良くすることに活かされる]と学生が感じているかを調べる
・ アンケートができあがったら実際に使う紙のサイズで印刷してみる
- 紙のサイズは送料、保存場所を考慮するとよい
- 橋本の注:現在はWEBで実施することもありますが、具体的な形にしてみるというのは参考になるかと思います
・ 回答率を高くするために、督促を送ることも考える
- 試験期間中、休暇中に督促を送らないようにする
- データをどのように作っていくか
・ 前期の初めに学内システムからデータをダウンロードする
・ そのデータに入学時アンケートの結果を追加する
- 橋本の注:学内システムのデータを取得し、そのデータにアンケート結果(=学内システムでは得られないデータ)を加えることで、分析に使えるデータにしようという話が書かれています
・ 学期末には[在籍状況]、[学期内に学んだこと]についてのデータを追加する
・ 1年間の調査であれば、これで終わり
・ 4年間の調査であれば、これを繰り返す
・ データを追加するときは、データ追加による不備が生じていないかを確認する
○分析
- データが集まったら、次は分析をする
・ 計画したときに考えた「○○という方法を使った場合に△△という成果が出るか」を調べてみる
・ 調べるときは[特定のグループ]と[全体]の傾向が同じかを見る
・ 分析するときはシンプルな方法でも十分役に立つ
- 例えばクロス集計表、散布図など
・ 目的によっては多変量分析が適切な場合もある
・ 統計に詳しくないなら、詳しい人に調査計画の初めから協力してもらうとよい
- 統計に詳しいならPascarella(1991)、Astin(1991)、Moline(1988)が参考になる
・ 統計を使うときは結果をどう読み、理解するかに気をつける必要がある
- 得られた結果の中で、どれが大切で、どれが大切でないかを見分けることは難しいので注意(Pascarella, 1991, pp.86-87)
○得られた結果の使い方
- 分析が終わったら、結果をどう読み、理解するかを考えないといけない
・ はっきりした結果とぼんやりした結果は区別すること
- そして、その後は何を提案するかを考えないといけない
・ 分析している内容に詳しい人にも意見を聞くとよい
・ 提案するときは費用対効果を気にすること
- 提案資料を作るときの10の手順
1. 1~2ページで要約する
2. 今回の調査が大学にとって、どのように・なぜ役立つかを言う
3. 使った考え方・モデルを説明する
4. 調査方法の説明をする
5. 特定のグループと全体で傾向がどう違うかを説明する
6. 結果をどう読み、理解するかを説明する
7. 何がわかったのかをまとめる
8. 結論を言う
9. 提案する
10.最後に資料をつける(調査に使ったアンケートなど)
- 提案するときのコツ
・ 何が書いてあるか、読むべきものであるかが伝わるようにする
- 忙しい人に読んでもらうことになるため
- 複数の分析方法を使った場合は主なものについて詳しく書く
・ そのためにはよくまとまった要約が重要
・ 結果については、まず全体の傾向を紹介し、その後で特定のグループの傾向を紹介する
・ 方法、結果、提案などのうち、提案の部分が最も読まれるのでとくに念入りに書く
- 下書きを他の人に読んでもらう
- 読む相手によって強調するところを変える
- その他、提案の仕方についてはEwell(Ed.)(1989)に詳しく書かれている