AP30 — AIモデル評価、データ、統計的解釈

学習指標と出典

• **IPA範囲A：**大分類1 基礎理論 → 中分類1 基礎理論 → 3 情報に関する理論 → (9) AIに関する技術 → ②機械学習、PDF 10頁／印刷5頁。
• **IPA範囲B：**大分類9 企業と法務 → 中分類22 企業活動 → 2 業務分析・データ利活用 → (2) データ利活用 → ②データの加工・分析及び③データ分析における統計的手法、PDF 130頁／印刷126頁。
• 範囲出典（2026-10-21確認）：IPAシラバスPDF・概要・改訂情報。
• 改訂履歴：2026-10-28 次回（AP31）の案内を、実際の範囲である法務・標準化に訂正。
• 補足の公式技術資料：scikit-learn データリーケージ・分類評価指標。実装上の補足であり、試験範囲の根拠は上記IPAシラバスである。
• 前提：AP3 確率・統計。確率及び記述統計の基礎はAP3を参照し、ここでは再説明しない。
• シリーズ上の位置：前回のAP29 会計、損益分岐点、投資評価を含む全回は公開シリーズ目次で確認できる。

本学習資料は架空の集計データだけを用いる。IPAとの提携・承認はなく、合格も保証しない。

1. 目的別にデータを分割する

• 学習（訓練）データは、回帰係数や木の分岐などモデルのパラメータを適合する。
• 検証データは、ハイパーパラメータ、モデル、特徴量及び判定しきい値を選ぶ。
• 開発上の選択を確定後、手を触れていないテストデータで最終的な汎化性能を推定する。

交差検証は開発の内側で行う。開発用データをfoldに分け、学習foldで適合し、保留foldで検証してスコアを集約する。最終テスト集合はこの反復から外す。テスト結果を繰り返し確認してモデルを変えると、テスト集合は検証データと化し、偏りのない最終推定には使えない。

無作為分割が常に安全とは限らない。同じ人、機器、組織に属するレコードはグループ分割で片側だけに置く。予測など時系列データには、未来から過去への情報混入を防ぐため、学習が評価より前となる時間考慮分割を使う。

2. 過学習とリーケージを防ぐ

過学習は学習データ固有のノイズまで学ぶ状態であり、学習誤差が下がり続けても検証・テスト誤差は改善せず、又は悪化する。正則化、単純なモデル、代表性のあるデータ及び開発用交差検証は有用だが、最終性能は未使用のテスト集合で確認する。

データリーケージとは、予測時に利用不能な情報が学習に影響することである。全データで標準化値を求める又は特徴量を選ぶ、目的変数を入力に含める、過去の予測に未来情報を使う、といった例がある。

安全な手順は次のとおりである。

1. 最初に分割する。
2. 欠損補完、スケーリング、符号化、特徴量選択を学習データだけにfitする。
3. 学習データから得た値で検証・テストデータをtransformし、再fitしない。
4. 変換後の学習データでモデルをfitし、検証データで設定を選び、テストデータで一度だけ評価する。

パイプラインで前処理とモデルを結べば、各交差検証foldの変換もその学習foldだけから学ばせやすい。

3. 混同行列を読む

陽性クラスを明示する。ここでは**「点検必要」が陽性**である。100件の結果を示す。

実際／予測	陽性	陰性
陽性	TP=24	FN=8
陰性	FP=6	TN=62

整数の件数から計算し、最終百分率だけを小数点以下2桁まで表示する（小数点以下3桁目を四捨五入）。

• 正解率 = (TP+TN)/N = 86/100 = 86.00%。
• 適合率（Precision）= TP/(TP+FP) = 24/30 = 80.00%。分母は陽性予測数である。
• 再現率（Recall）= TP/(TP+FN) = 24/32 = 75.00%。分母は実際の陽性数である。
• 特異度 = TN/(TN+FP) = 62/68 = 91.18%。分母は実際の陰性数である。
• F値 = 2×適合率×再現率/(適合率+再現率) = 48/62 = 77.42%。

しきい値を下げると、通常は陽性を多く検出する一方で偽陽性も増え、適合率と再現率にtrade-offが生じる。偽陰性・偽陽性の費用から指標としきい値を選ぶ。ROC曲線はしきい値ごとの真陽性率と偽陽性率、PR曲線は適合率と再現率を扱い、陽性が少ない場合はPRが特に有用なことがある。AUCは曲線を要約するが、運用しきい値や誤りの費用は決めない。

4. 不均衡データにおける正解率の罠

陰性990件、陽性10件で常に陰性と予測すると、正解率は99.00%だが陽性の再現率は0.00%、F値は**0.00%**である。陽性予測がないのでTP+FP=0となり、適合率は数学的に未定義である。「未定義（警告付きで0表示するようソフトウェアを設定）」など報告規約を明記し、数学上0だと断定してはならない。

したがってクラス件数、混同行列、クラス別指標及びしきい値別曲線を併せて確認する。正解率も使えるが、少数クラスの誤りが重要な場合に単独利用してはならない。

5. 統計的根拠の限界内で解釈する

母集団は結論を適用したい集団、標本は実際に観測した一部である。標本抽出の不確実性により別の標本は別の推定値になり得る。表示桁数を増やしても不確実性は消えない。

• **選択バイアス：**データへの収載と結果が関連し、標本が対象母集団を代表しない。
• **情報バイアス：**測定値、ラベル又は記録が系統的に不正確である。
• **交絡バイアス：**第三の要因が見掛けの原因と結果の双方に影響し、関連をゆがめる。

相関だけでは因果関係を証明できない。予測モデルが関連を利用できても、ある特徴を変えれば結果が変わるとは限らない。正当な根拠なしに、標本抽出・データ生成過程を越えて一般化してはならない。誰を何で測ったか、ラベル生成、期間・環境、欠損及び配備環境との差を確認する。

用語	基本的な区別
学習／検証／テスト	パラメータ適合／設定・しきい値選択／最終汎化推定
過学習／リーケージ	学習固有ノイズの学習／利用不能・評価情報の使用
適合率／再現率	陽性予測中の正解／実際の陽性中の検出
ROC／PR	TPR対FPR／適合率対再現率
母集団／標本	結論の対象／観測した一部

練習問題—全て創作問題

問題1

最終テスト推定値をリーケージから最も適切に守る手順はどれか。

1. 最初に分割し、学習データで前処理とモデルをfitし、検証データで調整後、未使用テストデータで一度評価する。
2. 全データを標準化してから学習・テストに分ける。
3. ハイパーパラメータ変更のたびにテスト正解率を確認し最大値を残す。
4. ラベル付き全データで特徴量を選んでから交差検証する。

正解：1

• 1：正解。評価データは前処理の学習にも開発判断にも使われない。
• 2：誤り。全体統計による標準化は評価データの情報を漏らす。
• 3：誤り。再利用されたテスト集合はモデル選択に参加する。
• 4：誤り。特徴量選択も各学習fold内で行う。

問題2

「点検必要」を陽性とし、TP=24、FP=6、FN=8、TN=62のとき、正しい組合せはどれか。

1. 適合率75.00%、再現率80.00%
2. 適合率80.00%、再現率75.00%
3. 正解率91.18%、特異度86.00%
4. F値80.00%、正解率77.42%

正解：2

• 1：誤り。適合率と再現率が逆である。
• 2：正解。24/(24+6)=80.00%、24/(24+8)=75.00%である。
• 3：誤り。正解率86.00%、特異度91.18%である。
• 4：誤り。F値77.42%、正解率86.00%である。

問題3

1,000件中10件が陽性のとき、常に陰性とする分類器の正しい説明はどれか。

1. 正解率99%、陽性再現率0%、F値0で、陽性予測がないため適合率は未定義である。
2. 正解率1%、陽性再現率99%、適合率100%である。
3. 正解率99%なら誤りの費用にかかわらず適切である。
4. 実際の陽性が10件あるので陽性再現率は未定義である。

正解：1

• 1：正解。陰性990件は当てるが陽性を全く見つけず、適合率の表示規約を明記する必要がある。
• 2：誤り。結果を逆にし、存在しない陽性予測を作っている。
• 3：誤り。正解率は少数クラスの完全な失敗を隠す。
• 4：誤り。再現率の分母は10で値は0である。

問題4

統計的に妥当な記述はどれか。

1. 相関は一方を変えると他方が変わるという因果関係を証明する。
2. 大きな便宜標本は自動的に全ての将来利用者を代表する。
3. 交絡因子は見掛けの原因と結果の双方に影響し、関連をゆがめ得る。
4. 小数の表示桁数を増やせば標本抽出の不確実性はなくなる。

正解：3

• 1：誤り。関連だけで因果を証明できない。
• 2：誤り。大きさだけでは選択バイアスや分布変化を直せない。
• 3：正解。交絡の中心的な仕組みである。
• 4：誤り。表示精度は標本抽出の不確実性を除かない。

出題履歴と次回

4問は全て創作である。過去問題の年度、時期、AP表記、元の時間帯、問題番号、翻訳・翻案及び公式解答との比較は全てN/Aであり、IPA過去問題は使用していない。

次回は**AP31 — 法務・標準化**である。