生成AIで下書きした出願書類は読み手に見分けられるか|AIが書いた文章の検出の研究
生成AIで下書きした出願書類は大学の読み手に見分けられ、そもそも下書きに使ってよいのでしょうか。人にも検出道具にも見分けの難しさがあり、使ってよい範囲は大学の募集要項や出願の手引きにある本人作成などの注意が最優先です。 見分けられるかという心配と、提出してよい書類かという判断は、分けて考える必要があります。
- 生成AIは、指示に応じて文章などを作る道具です。
- Saarnaは、日本語を母語とする大学生に英語を教えた経験のある教員47人に、学生とChatGPTの書いた英作文を見分けてもらいました。
- Levinらは、医師30人が、人の書いた論文の要旨とChatGPTの書いた要旨を見分ける様子を調べました。
- Perkinsらは、検出を避ける工夫を加えてChatGPTに作らせた大学の課題22本を、実際の学生の提出物と一緒に教員15人に採点してもらいました。
生成AIで下書きした出願書類は大学の読み手に見分けられ、そもそも下書きに使ってよいのでしょうか。人にも検出道具にも見分けの難しさがあり、使ってよい範囲は大学の募集要項や出願の手引きにある本人作成などの注意が最優先です。 見分けられるかという心配と、提出してよい書類かという判断は、分けて考える必要があります。
夜に志望理由書の下書きを見直し、整った文章を前にして、自分で書いた部分との違いが気になる場面を考えてみます。読みやすさだけに目を向けると、その文に書かれた経験や考えまで自分のものかどうかが後回しになります。出願で使う文章として確かめたいのは、書き手の見え方に加えて、作成の決まりと内容の説明が結びついているかです。
「見分けるのがうまい新人教員もいれば、難しさを感じる新人教員もいた」というのが、英作文を扱った研究の結論です。[3] 人が読めばすぐ見抜けるという見方にも、人には判断できないという見方にも、幅を持たせる材料になります。まず要項の言葉を整理し、そのうえで人と道具の研究を読み分けると、準備の焦点を自分の説明へ戻せます。
志望理由書でのAI利用は作成上の注意から考える
生成AIは、指示に応じて文章などを作る道具です。志望理由書の下書きに使うといっても、考える材料を出してもらう場合、文章を組み立ててもらう場合、すでに書いた表現を直す場合では、関わり方が違います。そこで、募集要項や出願の手引きでは「出願書類の作成についての注意」を開き、本人作成と生成AIの利用についての記載を読みます。自分が予定している使い方と、注意の対象になっている作業を対応させることが出発点です。
「本人が作成すること」という注意を読む際は、最後に自分で入力する作業だけを思い浮かべないようにします。誰の経験を書くのか、誰が考えを組み立てるのか、誰が文を作るのかという作成の過程も含めて読むためです。下書きという呼び方を付けても、実際にどの作業を任せたかは変わりません。最終的に自分で読んだという事実だけで、その使い方が注意に沿うかを決めないことが大切です。
同じ文章についても、出どころを見分けることと、文章の質を評価することは別の作業です。さらに、作成の決まりを守っているかという判断には、何を使ってどのように作ったかが関係します。これらをまとめて「AIだとわかるか」と考えると、文章が上手ならよい、検出されなければよいという話に流れやすくなります。出願書類を準備する側は、まず利用の範囲を確かめ、その範囲の中で本人の考えが伝わる文を整える順番で進めます。
教員による見分けは平均の数字だけでは捉えきれない
Saarnaは、日本語を母語とする大学生に英語を教えた経験のある教員47人に、学生とChatGPTの書いた英作文を見分けてもらいました。正しく識別できた割合は平均54.25%で、当て推量よりわずかによい程度でした。人が読む場合でも、文章から書き手を区別することには難しさがあったという結果です。[1]
この実験のAIの作文には、学習者の文法の誤りをまねるように作られたという条件がありました。整った英文と学生の英文をそのまま並べた比較とは、文章の条件が異なります。54.25%は、その条件で教員が人とAIの文章を正しく分けた割合であり、AIの文章だけを見抜いた割合とは区別して読む必要があります。条件と測ったものを一緒に読むことで、数字の意味を取り違えずに済みます。[1]
De Wildeは、英語の新人教員がAIの英作文をどのように見分けるかを、判断の中身に注目する質的な研究で調べました。うまく見分ける教員と、難しさを感じる教員の両方がおり、手掛かりには言葉の特徴と内容が使われていました。読み手の判断を理解するには、正答の平均に加えて、何に注目したかを見ることも必要だと受け取れます。[3]
受験生の側から読むと、先生が文章を見たときの反応を、読み手全員に共通する反応と考えないことが要点になります。見分けの研究で示されたのは、読み手による違いを含んだ結果です。文章を見てもらう際も、AIらしく見えるかという印象の確認に終始せず、経験の記述に飛躍がないか、理由が伝わるかに目を向ける方が、書類の中身を検討できます。
専門家の経験と文章の種類も判断に関わる
Levinらは、医師30人が、人の書いた論文の要旨とChatGPTの書いた要旨を見分ける様子を調べました。全体を正しく識別した割合は50%で、ChatGPTの要旨を見抜けた割合は46.3%でした。また、評価や論文発表の経験が長い読み手ほど、正しく見分けることが多かったと報告しています。[2]
ここで扱われた要旨は、論文の内容を短くまとめた文章です。自分の経験や進学の動機を述べる志望理由書とは、書く目的も内容も違います。専門の文章を読む人でも判断が難しかったという結果と、経験による違いがあったという結果を、一緒に受け止める必要があります。専門家なら正確に区別するという考えだけでも、経験は役に立たないという考えだけでも、研究の内容を取りこぼします。[2]
とくに、全体の正答とAIの文章を見抜く割合は、数える対象が違います。前者には、人の文章を人の文章と正しく判断することも含まれます。後者はAIの文章についての判断に絞った数字なので、同じ研究の中でも値が異なります。自分で書いた文章を誤って疑われる心配を考えるときにも、この違いが大切です。
英作文の研究と論文の要旨の研究を並べる意味は、どちらの読み手が優秀かを決めることにはありません。文章の種類や読み手の経験、用意された文章の条件を見ながら、判断がどう変わるかを考える材料になります。出願書類についても、文章だけを眺めた印象と、本人から理由を聞いて内容を理解することを分けておくと、面接に向けて準備すべき点が具体的になります。
検出道具の表示と不正の判断は別の段階にある
Perkinsらは、検出を避ける工夫を加えてChatGPTに作らせた大学の課題22本を、実際の学生の提出物と一緒に教員15人に採点してもらいました。検出道具は91%にAIの文章が含まれると示しましたが、不正を扱う手続きに回されたのは54.5%でした。機械の表示と、教員が手続きに進める判断との間に違いがあった研究です。[4]
この91%は、実験で用意した提出物のうち、AIの文章を含むと道具が示した割合です。ある文章について、表示された数値がそのまま不正の確かさを意味する、という結果ではありません。また54.5%は、手続きに回された提出物の割合であり、その後の最終的な扱いを表す数字とは区別する必要があります。比較する前に、何について数えた数字なのかを表のように分けると読みやすくなります。
| 判断するもの | 研究で報告されたこと | 数字を読む際の焦点 |
|---|---|---|
| 教員による英作文の識別 | 全体の正答は平均54.25% [1] | 人とAIの文章の両方が対象 |
| 医師による論文の要旨の識別 | AIの要旨を見抜いた割合は46.3% [2] | AIが書いた要旨に絞った結果 |
| 道具による課題の検出 | 実験の提出物の91%にAIの文章を含むと表示 [4] | 用意した提出物に対する反応 |
| 不正を扱う手続きへの移行 | 実験の提出物の54.5%が対象 [4] | 検出後の判断に関わる段階 |
同じPerkinsらの研究では、AIの提出物の平均点は52.3、学生の提出物の平均点は54.4で、ほぼ同じでした。[4] 点の近さは、提出物の出来についての比較として読むのが適切です。採点は提出物の出来に関する評価で、作成上の注意に従ったかは別に確かめる事柄です。書類を整えるときも、読みやすく仕上がったという満足と、提出の条件に沿っているかという確認を両方持つ必要があります。
自分で書いた英文にも誤判定への注意が必要になる
Liangらは、AIの文章を判定する道具が、英語を母語としない人の英文をAIの文章と誤って判定することが多いと報告しました。人が書いたものをAIの文章として扱ってしまう誤判定は、判定の公平さに関わります。同時に、書き手の条件が違っても安定して判断できるかという、道具の信頼の置き方にも関わる問題です。[5]
この点は、自分の言葉で英語の書類を作った人にとっても重要です。たとえば自分で判定道具を試して疑わしいと表示された場合、その表示と実際の作成の過程を切り分けて考えます。画面の結果を見て直ちに自分の文章がおかしいと受け止めるよりも、実際に書いた内容と、その内容をどう説明するかに戻ることが先です。文章の由来を確かめるための道具であっても、表示をそのまま本人の経験や理解の評価に置き換えるべきではありません。
判定の表示を変えることを目標に、文を繰り返し直す進め方も避けたいところです。読み手に伝えたい理由や経験より、道具の反応が修正の基準になってしまうためです。直す基準は、事実に沿っているか、考えのつながりが伝わるか、作成の決まりに沿うかに置きます。検出を通るための文章作りから離れることで、自分が責任を持って述べられる内容に注意を向けられます。
また、書く前の考えがまだ固まっていない人には、整った下書きをそのまま出発点にする進め方は向きません。文章としてまとまっていても、そこにある動機を自分が本当に持っているかの検討が残るからです。たとえば「社会に貢献したい」という文なら、関心を持った出来事と、自分が学びたい内容のつながりを言葉にしてみます。言い換えが難しい箇所は、見た目を整える前に考えを掘り下げる場所として扱えます。
出願前には作成の範囲を確かめ、自分の説明へ戻る
要項や出願の手引きで確かめる場所は、出願書類の作成についての注意です。本人が作成することの指定と、生成AIの利用についての記載を合わせて読みます。利用に条件が付いている場合は、その条件がどの書類と作業にかかるかを確かめます。AIという語だけを探して読み終えるのではなく、本人作成についての文も作成の過程に結びつけて読むことが必要です。
予定する作業が注意のどこに当たるか判断しにくい場合は、大学の入試担当へ作業の内容を具体的に伝えて確かめます。「AIを使ってよいか」と広く尋ねるより、考える材料を出してもらうのか、下書きの文を作ってもらうのかを示す方が、確かめたい範囲が伝わります。すでに使っている場合も、実際に行った作業に沿って説明します。研究で人が見分けにくかったという結果は、ここで利用の扱いを決める代わりにはなりません。
利用の決まりを確かめたら、志望理由書の文を、自分が口頭で説明する内容に戻してみます。たとえば関心を持ったきっかけを書いた箇所なら、出来事のどこに引っかかり、その後に何を考えたのかを話してみます。学びたい内容を書いた箇所なら、なぜそれを学びたいのかを、書類の言い回しを繰り返さずに説明します。面接や口頭試問で内容に触れられたときにも、自分の経験と考えをたどれる状態を目指す準備です。
書類の言葉を口にできることと、その言葉の意味を説明できることには違いがあります。生徒にとって大切なのは、整った下書きを覚えることより、自分の経験から志望につながる理由を話せるようにすることです。保護者にとっては、AIらしさを判定する役になるより、書かれた考えが本人の説明として伝わるかを聞く役になることに意味があります。
よくある質問
読み手が見分けにくいなら、下書きに使ってもよいですか
使ってよいかは、出願書類の作成についての注意に沿って判断します。人の識別の難しさを調べた研究と、大学が定める利用の扱いは、それぞれ別の事柄です。下書きという名称だけで考えず、文章を作る過程で何を任せる予定なのかを明らかにして注意を読み、扱いがはっきりしない作業は入試担当に具体的に確かめます。
自分で書いた英文がAIの文章と表示されたらどう考えますか
人が書いた英文を誤ってAIの文章と判断する問題が、英語を母語としない書き手について報告されています。[5] 表示された結果と、実際に自分が書いた過程を分けて考えることが必要です。学校や大学から説明を求められたときは、表示の印象に合わせて話を変えず、文章に書いた事実や考え、どのように文にしたかを実際の作成に沿って伝えます。
本人が内容を説明できれば、AIの下書きを提出できますか
内容を説明できることに加えて、作成の決まりに従っていることが必要です。説明できるようになったことが、利用についての条件を置き換えるわけではありません。準備では、作成についての注意を満たすことを先に確かめ、そのうえで書類の言葉に頼らず経験や理由を話してみると、提出物の中身と自分の理解を結びつけて見直せます。
この記事の限界
適用範囲は、英語の作文、論文の要旨、大学の課題を人や道具が見分けた研究に限られ、ここで扱った知見を日本語の年内入試の出願書類へそのまま当てはめることはできません。用意されたAIの文章の条件や読み手の経験も異なり、発表時点の結果から現在の個々の検出道具の精度や、特定の大学の読み手の判断を決めるものでもありません。
募集要項や作成の注意は年度ごとに変わるため、出願する年度の要項と大学の発表を優先し、利用の扱いはそこで示される条件に沿って確かめる必要があります。この記事は見分けの研究を読むための整理であり、個別の出願でその書類を提出してよいかという判断は、実際の作成の過程と大学の条件を照らして行う事柄です。
参考文献
- Saarna. Identifying Whether a Short Essay Was Written by a University Student or ChatGPT. International Journal of Technology in Education. 2024;7(3):611-633.
- Levin ほか. Association of reviewer experience with discriminating human-written versus ChatGPT-written abstracts. International journal of gynecological cancer : official journal of the International Gynecological Cancer Society. 2024;34(5):669-674.
- De Wilde. Can Novice Teachers Detect AI-Generated Texts in EFL Writing?. ELT Journal. 2024;78(4):414-422.
- Perkins ほか. Detection of GPT-4 Generated Text in Higher Education: Combining Academic Judgement and Software to Identify Generative AI Tool Misuse. Journal of Academic Ethics. 2024;22(1):89-113.
- Liang ほか. GPT detectors are biased against non-native English writers. Patterns (New York, N.Y.). 2023;4(7):100779.
要項の一文を、あなたの出願書類の一文に変えるところまで付き合う
- 向く人: 要項を読んでも、自分の評定と英検で出せる方式を絞り切れない高校生
- 向く人: 志望理由書と小論文を、出願の数か月前から一対一で書き直していきたい人
- 向かない人: 志望理由書や活動報告書を代わりに書いてほしい人
- 向かない人: 要項を自分で読まずに、受かるかどうかの見込みだけを知りたい人
このサイトは武蔵野個別指導塾の運営者が制作しています。武蔵境駅から徒歩30秒の完全1対1で、総合型選抜は代表の宮川が専任で担当し、ほかの科目は大学教員や東京大学などの大学院生が教えます。アルバイト講師はいません。
よくある質問
読み手が見分けにくいなら、下書きに使ってもよいですか
使ってよいかは、出願書類の作成についての注意に沿って判断します。人の識別の難しさを調べた研究と、大学が定める利用の扱いは、それぞれ別の事柄です。下書きという名称だけで考えず、文章を作る過程で何を任せる予定なのかを明らかにして注意を読み、扱いがはっきりしない作業は入試担当に具体的に確かめます。
自分で書いた英文がAIの文章と表示されたらどう考えますか
人が書いた英文を誤ってAIの文章と判断する問題が、英語を母語としない書き手について報告されています。[5] 表示された結果と、実際に自分が書いた過程を分けて考えることが必要です。学校や大学から説明を求められたときは、表示の印象に合わせて話を変えず、文章に書いた事実や考え、どのように文にしたかを実際の作成に沿って伝えます。
本人が内容を説明できれば、AIの下書きを提出できますか
内容を説明できることに加えて、作成の決まりに従っていることが必要です。説明できるようになったことが、利用についての条件を置き換えるわけではありません。準備では、作成についての注意を満たすことを先に確かめ、そのうえで書類の言葉に頼らず経験や理由を話してみると、提出物の中身と自分の理解を結びつけて見直せます。