政府における生成AIの調達・利活用に係るルール

6.1　政府における生成AIの調達・利活用に係る対応事項の全体像

6.1.1　各種法令・ガイドライン等を踏まえた対応事項

①　生成AIシステムの調達・利活用においても、各種法令や「デジタル社会推進標準ガイドライン」、「政府機関等のサイバーセキュリティ対策のための統一基準群」、「IT調達に係る国等の物品等又は役務の調達方針及び調達手続に関する申合せ」、「個人情報の保護に関する法律についてのガイドライン（行政機関等編）」等の政府情報システムに係るガイドラインを遵守することが必要である。

②　本ガイドラインの対象となる生成AIシステムに関して、要機密情報を取り扱うクラウドサービスを調達する場合においては、政府情報システムのためのセキュリティ評価制度（ISMAP：Information system Security Management and Assessment Program）の原則利用の考え方に基づき、原則としてISMAP等クラウドサービスリストから選定した上で[^21]、別途、本ガイドラインによる対応を行う必要がある。すなわち、生成AIシステムに特有のリスク等についての必要な対応は本ガイドラインに基づき行うため、ISMAP等クラウドサービスリストから選定したものであっても、本ガイドラインの対応が不要となるものではないことに注意が必要である。

③　不特定多数の利用者[^22]に対して提供され、かつ定型約款や規約等への同意のみで利用可能となるクラウドサービス型の生成AIシステムを業務で利活用する場合には、原則として要機密情報を取り扱うことはできない。また、要機密情報を取り扱わない場合であっても、リスクを考慮した上で利用可能な業務の範囲をあらかじめ特定し、個々の利用に当たっては、利用手続に従って、利用目的（業務内容）や利用者[^23]の範囲等の企画者からの申請内容を許可権限者[^24]が審査した上で利用の可否を決定し、その利用状況について管理することが必要である[^25]。

④　政府機関等における生成AIの業務利用にあたっては、「DeepSeek等の生成AIの業務利用に関する注意喚起」（令和７年２月６日デジタル社会推進会議幹事会事務局）[^26]を踏まえ、調達行為を伴わない場合であってもサービスの利用によって生ずるリスク（※）を十分認識の上、「IT調達に係る国等の物品等又は役務の調達方針及び調達手続に関する申合せ」等の趣旨も踏まえ、国家サイバー統括室の助言を求めた上で、適切に判断することが必要である。

  • 国外にサーバ装置を設置している場合は、現地の法令が適用され、現地の政府等による検閲や接収を受ける可能性がある。

⑤　生成AIの調達・利活用に関わる政府職員は、AI事業者ガイドライン「第２部C. 共通の指針」を踏まえた取組を行う必要がある。

⑥　生成AIの調達・利活用にあたっては、知的財産権等のリスクに対する対策を踏まえることが必要である。本ガイドラインは、「コンテンツ制作のための生成AI利活用ガイドブック」（令和６年７月５日経済産業省）や「AIと著作権に関するチェックリスト＆ガイダンス」（令和６年７月31日文化庁著作権課）に記載された対策例を踏まえた内容となっているが、詳細を確認する必要がある場合にはこれらを参考に、調達・利活用にあたって適切に判断することが必要である。

⑦　セキュリティ確保の観点では、「AIのセキュリティ確保のための技術的対策に係るガイドライン」（総務省）[^27]が、LLM及びLLMを構成要素に含むAIシステムを対象として、「不正操作による機密情報の漏えい、AIシステムの意図せぬ変更や停止が生じないような状態」に対する脅威への技術的対策例を示している。AIの性質上、脅威を生じさせる要因等を完全に排除することは困難であること、単独の対策実施により脅威を生じさせる要因を排除することは困難な場合があることを前提に、企画者・開発者・提供者それぞれが、同ガイドラインが示す技術的対策例も踏まえつつ、できる限り複数の対策を講じる等適切にリスク対策を行い、リスクを低減することが必要である。同ガイドラインが示す直接プロンプトインジェクション攻撃、間接プロンプトインジェクション攻撃及びDoS攻撃（サービス拒否攻撃）への主な対策の概観は、表６に示すとおりである。また、【別紙３】調達チェックシート（生成AIシステム用）においては、同ガイドラインが示す技術的対策例も踏まえつつ、セキュリティ確保の評価観点からの対策例を記載している。

表６　AIのセキュリティ確保のための技術的対策に係るガイドライン「プロンプトインジェクション攻撃及びDoS攻撃（サービス拒否攻撃）への主な対策（概観）」[^28][^29]

6.1.2　本ガイドラインに基づく対応事項

①　生成AIの調達・利活用に関わる政府職員は、本ガイドラインの「6.2　政府における生成AIシステムのAI統括責任者（CAIO）の対応事項」、「6.3　政府における生成AIシステムの企画者の対応事項」、「6.4　政府における生成AIシステムの開発者の対応事項」、「6.5　政府における生成AIシステムの提供者の対応事項」、「6.6　政府における生成AIシステムの利用者の対応事項」、「6.7　生成AIシステム特有のリスクケースへの対応」について、それぞれ適切に対応する。

②　ただし、生成AIシステムの導入類型は、様々なパターンが想定される。例えば、主な類型としては、生成AIシステム導入に係る「開発の実施有無」及び「契約の形態」で整理した場合、以下の類型が考えられる。

A：生成AIシステムの個別開発は実施せず、定型約款や規約等への同意によりサービスを利用する。（原則、要機密情報を扱わない想定）

B：生成AIシステムの個別開発は実施せず、定型約款や規約等への同意に加え、個別契約の締結を行う。

C：生成AIシステムの個別開発を実施し、個別契約の締結を行う。

このとき、Aに該当するケースにおいては、原則、要機密情報を取り扱わない利用を想定していることから、「6.3.2　生成AIシステムの調達時の対応事項」で規定する「調達チェックシート」及び「契約チェックシート」に基づき、調達仕様書又は契約書において要求事項等を定めることが不要かどうか、「調達チェックシート」及び「契約チェックシート」に記載された内容と矛盾がある約款項目がある等の問題がないか、を確認する必要がある（求めることが必要な要求事項等がある場合には、B又はCの形で調達を行うことを検討する。）。

加えて、B又はCに該当するケースにおいても、例えば、以下のような観点を踏まえて、各対応事項について、対策が不十分又は過剰とならないよう、リスクと対策のバランスを考える必要がある。

・概念検証（PoC）段階か、本番開発段階か等のプロジェクトフェーズ

（例えば、概念検証段階で各対応事項を全て実施する場合、対策が過剰となる可能性がある。）

・高リスクの可能性が高い利用か、否か等のリスクレベル

（例えば、高リスクの可能性が高い利用の場合で、ユースケースにあわせた追加の対応が必要となる可能性がある。）

・ユースケースの性格

（例えば、行政内部で大量の文書の検索のために生成AIシステムを利用する場合、基本項目の「有害情報の出力制御」や「偽誤情報の出力・誘導の防止」の要求事項は、不要となる可能性がある。）

このように、生成AIシステムの案件に応じて、上記の導入類型、プロジェクトフェーズ、リスクレベル、ユースケースの性格等を踏まえ、前項（「6.1.2　本ガイドラインに基づく対応事項」の①）については、リスクと対策のバランスを考慮し、各対応事項の要求レベルや一部の要求事項・取決め事項の取捨選択又は拡充を検討する必要がある。

6.2　政府における生成AIシステムのAI統括責任者（CAIO）の対応事項

6.2.1　各府省庁内向けルールの整備

各府省庁のAI統括責任者（CAIO）は、①各府省庁内における生成AIの利活用方針及び②生成AIシステム特有のリスクケース発生時の対応方針を示すため、以下のルールを策定する。なお、当該ルールは、本ガイドラインの改定、生成AIの最新の動向や利活用状況を踏まえて随時改定することとする。

① 生成AIシステムの利活用ルール

　各府省庁において、適切な生成AIの利活用を促進するため、AI統括責任者（CAIO）は、「【別紙２】生成AIシステムの利活用ルールひな形」に基づき、以下のような事項に留意して、各府省庁の利用者(政府職員)に向けて生成AIシステムの利活用ルールを策定する。

・利用者が生成AIシステムの利活用前に最低限理解しておくべき知識や要機密情報の取扱い等の留意事項

・（生成AIシステムごとの利活用ルール等に記載する）利用目的の範囲内での利活用やAI生成物を利活用した業務に係る説明責任やリスクの回避等利活用に当たって心得るべき事項

・生成AIシステムを活用して職務上作成したAI生成物の取扱い

・生成AIシステム活用時の知的財産権等に係る対策

・生成AIシステム特有のリスクケース発生時のAI統括責任者（CAIO）への報告

等

② 生成AIシステム特有のリスクケースへの対応に関わるルール

生成AIシステム特有のリスクケースが起こった場合に備え、生成AIシステム特有のリスクケースへの対応のルールを策定する。 （詳細は、「6.7 生成AIシステム特有のリスクケースへの対応」を参照）

6.2.2　各府省庁内におけるAIガバナンスの確保

AI統括責任者（CAIO）は、以下①、②及び③を通じてAIガバナンスの確保に取り組むものとする。

① AI統括責任者（CAIO）は、各府省庁内におけるAIガバナンス体制を整備し、AIガバナンスを継続して確保する。 （詳細は「4.2　各府省庁におけるAIガバナンス体制の整備」参照）

② AI統括責任者（CAIO）は、本ガイドラインを踏まえたルールの策定・見直し、本ガイドラインや生成AIシステムの利活用ルールの周知、研修（入力データやハルシネーション等に係る注意喚起等）等を通じ、各府省庁において、本ガイドラインを踏まえた生成AIの調達・利活用が行われるよう、必要な取組を行う。

③ 政府情報システムは、「デジタル社会推進標準ガイドライン」を通じて、各府省庁PMOがシステム監査を実施することとしているところ、生成AIシステムに係る監査においては、生成AIシステムの特性上、生成AI特有のリスクを認識の上で監査を実施すべきと考えられることから、生成AIシステムに係る上記監査においては、AI統括責任者（CAIO）も連携して対応し、高リスク生成AIのリスク軽減策の実施状況をはじめとして、本ガイドラインの記載事項も参考とすることとする。 　なお、生成AIシステムの監査の具体的在り方の参考とできるよう、また、各府省庁に知見の共有を行うため、AI統括責任者（CAIO）は、生成AIシステムの監査において、今後の検討に資すると考えられる監査の指摘事項等があった場合には、先進的AI利活用アドバイザリーボードまで共有することが望ましい。

6.3　政府における生成AIシステムの企画者の対応事項

6.3.1　生成AIシステムの企画時の対応事項

　生成AIシステムの企画者は、企画時に以下の対応を実施する。生成AIの便益を最大化するためには、企画時に業務・生成AIシステム両方の知見を用いて検討を進めることが望ましい。そのため、業務知見者と生成AIシステム知見者の両者が連携する体制を構築した上で、生成AIシステムを企画することに努める。

① 企画者は、生成AIシステムを使って何を実現・解決したいのか目的を明確にするとともに、適切な目標設定を行う。

② 企画者は、当該ユースケースを想定した環境・リスク分析を行うとともに、リスクを最小限に抑える方法や運用時を含めた品質確保策等を検討する。

③ 企画者は、生成AIシステムにおいても、「政府機関等のサイバーセキュリティ対策のための統一基準」に基づき、権限管理を適切に実施する観点から、取り扱う情報の格付及び取扱制限等に従い、権限を有する者のみがアクセス制御の設定等を行うことができる機能を設けておくことが求められる[^30]。

④ 企画者は、「政府機関等のサイバーセキュリティ対策のための統一基準」に基づき、情報システムが正しく利用されていることの検証及び不正侵入、不正操作等がなされていないことの検証を行うために必要なログの取得及び管理を行う必要がある。生成AIシステムについては、「6.5　政府における生成AIシステムの提供者の対応事項」での生成AIシステムの適正利用の確認のため、生成AIシステムへの入力や出力、アクセス履歴等のログの取得及び管理を適切に行う必要がある。

⑤ 企画者は、デジタル庁が実施する統括監理の際に、生成AIシステムの導入予定、リスク分析結果、リスク対応策、行政データの取扱い等について、報告を行う。

⑥ 企画者は、高リスクの可能性がある生成AIシステムについては、「4.2.2　先進的AI利活用アドバイザリーボードへの報告」のとおり、当該プロジェクト目的、リスク軽減策や運用時を含めた品質確保策等を、AI統括責任者（CAIO）が先進的AI利活用アドバイザリーボードへ報告する際、連携して対応を行う。

⑦ 今後、政府における生成AIの利用拡大を見据え、政府機関等における生成AIシステム間のデータ等の連携や府省庁間の共同利用、共同プロジェクトや共通システムの組成等を通じて政府全体としての生成AIシステムの最適化を図る観点は重要である。例えば、ガバメントクラウド等の共通機能上で提供される生成AIシステムを積極的に活用することで、費用対効果の向上、セキュリティの確保、業務システムとの連携等を効率的に行うことができる可能性がある。このため、企画者は、新たな生成AIシステムの検討に当たっては、こうした共通機能として提供されたサービスの利活用についても留意する。（※）

  • ガバメントクラウドに関する法律（「情報通信技術を活用した行政の推進等に関する法律の一部を改正する法律」（令和７年法律第４号））に基づき、国の行政機関等が自らの事務の実施に関連する情報システムの整備を行う場合は、ガバメントクラウドの利活用を検討する義務がある。

生成AIと組み合わせたシステム整備あるいは更改を検討する際にも、当該システムをガバメントクラウド上に構築した上でパッケージやツールを活用する形で効率的に生成AI環境を確保できないか等について検討することが求められる。

その他、具体的な利活用検討の考え方については、「ガバメントクラウド利用検討の基本的な考え方について」を参照されたい。

⑧ 生成AIシステムが、利用者[^31]にとって、誤操作を起こしにくく安全で、利用ニーズに合致したシステムとなるよう、生成AIシステムの構築・リリース前には、「DS-670.1 ユーザビリティガイドライン」[^32]の「4.2.4 AIシステム特有の使用エラーへの対処及び利用時の安全の確保」も参照しながら、ユーザビリティの確保について考慮すること。

6.3.2　生成AIシステムの調達時の対応事項

① 企画者は、「【別紙３】調達チェックシート（生成AIシステム用）」（以下、「調達チェックシート」という。）[^33]を参照し、事業者及び調達予定の生成AIシステム等について、調達の応募者に対し求める事項として、調達仕様書に盛り込む。また、企画者は、リスク分析結果等を踏まえ、「調達チェックシート」に記載のない事項についても、必要に応じ追加を検討する。

  1. 企画者は、総合評価方式や企画競争方式を採用する場合は、こうした要求事項について、必要に応じ評価項目にも反映する。

  2. 企画者は、調達する生成AIシステムに関して、生成AIモデル、アーキテクチャ等の生成AIシステムの特性、生成AIシステムの主要性能指標情報等の情報を取得する。また、リスク分析やリスク対応の検討のために合理的な範囲で、学習に使用されたデータや学習方法、データセットの情報も、取得に努める。

④ 国内の生成AI事業者等のスタートアップ育成のためには、「公共調達」の活用が重要である。このため、企画者は、生成AIシステムに係る調達においては、「デジタル・スタートアップの公共調達参入機会拡大に向けた情報システムに係る調達における評価制度の実施要領」（令和６年１月15日デジタル社会推進会議幹事会決定）に掲げるところにより、デジタル・スタートアップを評価することとする。また、SaaS型の生成AIシステムや、その導入支援を行う会社のサービスの検討にあたっては、デジタル庁が運営する「デジタルマーケットプレイス」[^34]が活用可能である。「デジタルマーケットプレイス」を活用することで、迅速な導入が実現できるほか、中小・スタートアップを含む多様な事業者が公共調達市場にアクセスしやすくなり、公正競争が加速する効果が期待できるため、積極的な活用を検討する。

⑤ 企画者は、「【別紙４】契約チェックシート（生成AIシステム用）」（以下、「契約チェックシート」という。）[^35]を参照し、生成AIシステムの調達において留意すべき事項についても、契約書又は調達仕様書に盛り込むことを検討する。また、企画者は、リスク分析結果等を踏まえ、「契約チェックシート」に記載のない事項についても、必要に応じ追加を検討する。

6.3.3　生成AIシステムの構築・リリース前の準備時の対応事項

生成AIシステムの企画者は、システムのリリース前に以下の取組を実施する。

① 安定的な稼働の確認

  • 利用目的・機能を踏まえて、入出力の検証のためのテストシナリオを作成、入出力を検証し、システムが安定して動作すること及び期待品質を満たしているか確認する（※）。 例えば、以下のような内容や方法が考えられる。

    • 個別開発の場合に当該ドメインで禁忌とされる出力をしていないか

    • 不適切な生成やバイアス[人種、民族、性別等の偏見及び差別等の社会的バイアス等]が発生していないか

    • 調達時の生成AIシステムに対する仕様書要件を満たしているか

    • レッドチーム等の様々な手法を組み合わせて多様/独立した内外部テスト手段を採用する

※　企画者のみで作成するのが難しい場合には、ユーザーへのヒアリングや開発者等と相談をして作成。国民が使うシステムの場合は、テストとして稼働確認する者について国民も含まれる可能性がある。データ（学習データ、テストデータ）の検証及び改善対応については、契約の規定に応じて、必ずしも企画者が実施するものではなく事業者（生成AIシステムのプロバイダー含む）が実施する場合もあり得る。

② 適正利用の促進

  • 生成AIシステムごとの利活用ルールや利用方法を整備し、生成AIシステムのユーザー（府省庁内の利用者及び生成AIシステムが国民に提供される場合は利用する国民のことをいう。以下同じ）に周知する。 また、特に不特定外部者（一般国民等）による府省庁外利用の場合は、適切な利用規約等を整備し、ユーザーからの個別の同意を取得する形とすることが望ましい。 例えば、以下のような内容が考えられる。

    • 生成AIの利用目的・利用範囲、利用可能な生成AI環境と活用可能なデータの種別、利用条件・手続き・利用方法、利活用に係る推奨事項・禁止事項、その他生成AIシステムごとの要件に沿ってユーザーに伝えおくべき事項等

  • ウェブサイト等による行政情報及び機能提供を行う際は、別途「DS-680.2 ウェブコンテンツガイドライン」[^36]の「11　生成AI等の利用時の信頼性確保」も参考とする。

  • 利用者が高度なタスクを実行できるAIエージェント等を作成できる生成AIシステムの場合には、出力結果の適切さの判断を行わずにタスクを実行するもの（リスク判定ロジックのＣ①に相当）の作成を制限するか、又は利用者がこれを作成したときには利用開始前に提供者又はAI統括責任者（CAIO）に報告を求める旨の利活用ルールを整備し、周知する。

  • 生成AIシステムに関する重要な情報や生成AIシステムの利活用にあたっての留意点を生成AIシステムのユーザーが理解し易くかつアクセスが容易な方法で提供する。 例えば、以下のような内容が考えられる。

    • 生成AIの利用目的・利用範囲、適切/不適切な利用、技術的特性、予見可能なリスクとその緩和策、動作状況、受入テストの検証結果、発生した不具合や生成AIシステム特有のリスクケースの内容と対応状況、データ収集ポリシー、学習方法、システムアーキテクチャ、データの処理プロセス、緊急時の連絡先や問合せ窓口等

  • 実際に使用する生成AIシステムの目的・利用方法について、モデル上の制約等を含めてユーザーに提供する。 例えば、以下のような内容が考えられる。

    • データアップロード可否、プロンプトのトークン上限、応答速度等

  • 生成AIシステムのユーザーの情報を収集する可能性がある旨を周知する。 例えば、以下のような内容が考えられる。

    • 利活用状況の適切な監督や説明責任・原因究明を果たすため等に収集するログイン履歴・プロンプトや出力結果等

6.4　政府における生成AIシステムの開発者の対応事項

政府においては、生成AIシステムの開発は、主に事業者への委託により、実施される場合が多い。このため、開発者に求める事項については、調達への応募者に対し求める事項として、仕様書・契約書に盛り込むこととし、「6.3　政府における生成AIシステムの企画者の対応事項」として、記載している。

なお、政府職員が自ら生成AIシステムの開発を行う場合の開発者は、AI事業者ガイドライン「第３部　AI開発者に関する事項」に掲げられた取組を行うこととする。

6.5　政府における生成AIシステムの提供者の対応事項

生成AIシステムの提供者は、システムのリリース後、以下の取組を実施する。

  1. システムの運用

  • 生成AIシステムの出力が期待品質を満たしていること、及び不適切な生成やバイアスが発生していないことを監視する。 例えば、以下のような内容や方法が考えられる。

    • プロンプト・出力結果等の利用ログが取得できる場合にサンプルチェックし、生成AIシステムへの入出力及び判断根拠等を定期的にモニタリングし、判断根拠が偏っていないか、特定の文化背景を基にした出力となっていないか等を確認する

    • ユーザーへのアンケート・利活用実態状況調査で不適切な生成やバイアスが発生していないかを確認する

  • 適切な目的で生成AIシステムが利用されていること、及び目的外利用がされていないことを定期的に検証する。 例えば、以下のような内容や方法が考えられる。

    • プロンプト・出力結果等の利用ログが取得できる場合にサンプルチェックし、業務と関係のない何らかの出力を期待していると思われる入力をしていないこと等を確認する

    • ユーザーへのアンケート・利活用実態状況調査で利用目的等を調査する

  • 生成AIモデルのメジャーアップデートが実施される場合や追加的な学習を大規模に行った場合には、生成AIシステムの目的・用途及びコストとの関係も考慮しつつ、ユーザーへの提供前に生成AIシステムの出力が期待品質を満たしていること、及び不適切な生成やバイアスが発生していないこと、セキュリティ対策、非機能要件や必要コストの変化等を確認した上で提供を開始する。

  • 生成AIシステム及び生成AIシステムが取り扱う情報へのアクセスを許可する主体が確実に制限されるように、アクセス制御機能を適切に運用する。

  • 個人情報の不適切な取扱いや個人情報・要機密情報の流出、プライバシー侵害がないか確認する。 例えば、以下のような内容や方法が考えられる。

    • プロンプト・出力結果等の利用ログが取得できる場合はサンプルチェックを行い、個人情報の目的外利用が疑われるケースが発生していないか、生成AIシステムで想定される入力範囲を超えた要機密情報が含まれていないか、プライバシー侵害が発生していないかを検知する

    • ユーザーへのアンケート・利活用実態状況調査で同様の事象が発生していないかを確認する

  • 生成AIシステムに対する最新のリスク（攻撃手法の多様化等）及びその対応策の動向を確認し、必要な対応を行う。[^37]例えば、以下のような内容や方法が考えられる。

    • 情報セキュリティインシデント（JIS Q 27000:2019における情報セキュリティインシデントをいう。）や生成AIシステム特有のリスクケース事例やモデル開発者の脆弱性に関するレポート等を定期的に確認し、必要な対応を行う

  • 生成AIシステムの入出力に関して有用性や問題点等のレビューを行い、必要に応じて、ユーザーへの周知をする。 例えば、以下のような内容や方法が考えられる。

    • 生成AIシステムへの入出力及び判断根拠等を確認し、有用性に関する効果的な利用方法、問題点に関する注意喚起等を実施する

  • ユーザーへのアンケート・利活用実態状況調査で有用性や問題点を共有してもらう。ユーザーに対し、知的財産権等に係る対策の取組として、利用規約等を提示するとともに、可能な範囲で生成AIシステムにおける知的財産権等の侵害等防止のための仕組みに関する情報提供を行う。

  • 提供する生成AIシステムを通じて第三者への権利侵害等が生じていることを認識、又は客観的に認識可能となった場合には、是正等の合理的な措置を講じることが求められ得る。なお、個別具体の事案によっては、認識可能となった時点以降に必要な措置が講じられなかったことが考慮要素となり、責任を問われる可能性が高まる場合があることにも注意が必要である。

  • 利用者が高度なタスクを実行できるAIエージェント等を作成できる生成AIシステムにおいて、出力結果の適切さの判断を行わずにタスクを実行するもの（リスク判定ロジックのＣ①に相当）を作成した場合には、提供者又はAI統括責任者（CAIO）に報告させることが求められる（提供者が報告を受ける場合においては、AI統括責任者（CAIO）に報告することが求められる）。

  1. システムの保守

  • 必要に応じて、生成AIシステム改善の判断を事業者に促す。 例えば、以下のような内容が考えられる。

    • 生成AIシステムを構成する各技術要素のバイアスの再評価、評価結果に基づき変化点があった場合等に生成AIシステムの改善を提案する

  • 「政府機関等のサイバーセキュリティ対策のための統一基準群」の遵守を前提とし、脆弱性の対応を検討、必要に応じて実施する。 例えば、以下のような内容が考えられる。

    • 生成AIシステムのプログラムに内在する脆弱性を検知した場合、パッチ対応・モデル更新等を検討・実施する

③ 生成AIシステム特有のリスクケースへの対応

（詳細は「6.7 生成AIシステム特有のリスクケースへの対応」を参照）

6.6　政府における生成AIシステムの利用者の対応事項

利用者は、本ガイドラインを踏まえて策定された、各府省庁における生成AIシステムの利活用ルール（「6.2　政府における生成AIシステムのAI統括責任者（CAIO）の対応事項」参照）及び各生成AIシステムの利活用ルール（「6.3.3　生成AIシステムの構築・リリース前の準備時の対応事項」参照）を遵守することが求められる。

6.7　生成AIシステム特有のリスクケースへの対応

既に述べたリスクへの対応をすべて行ったとしても、リスクをゼロにすることはできないとの前提のもと、リスクを軽減するための対応と並行して、リスクが顕在化した場合等への対応を各府省庁において準備しておく必要がある。

生成AIシステムは、その特徴から、その出力結果に関して、生成AIシステム特有のリスクケースが発生する可能性がある。以下に、生成AIシステム特有のリスクケースの例を示す。

  • 生成AIが人種・性別・文化等に関する偏見や差別を含む社会的に大きな問題となり得る出力を行った。

  • 生成AIが攻撃的又は危険なコンテンツを生成した。

  • 生成AIが事実と異なる情報を出力し（ハルシネーション）、ユーザーがその情報を利用したことによってユーザー又は第三者に不利益を与えた。

  • ユーザーが生成AIにより既存の作品に類似し、著作権の侵害等の問題が生じる可能性が高いコンテンツを意図せず生成し、利活用したことで当該作品に係る権利者等から削除等の申出を受けた。

  • 音声回答機能が、著名な個人の音声に類似してしまい、本人から停止の申出があった。

  • 不自然な表現の画像を生成し不自然であると気付かずに利用し、公開文書等に掲載したことで国民から批判を受けた。

  • 音声入力が不正確なことにより、それを基に作成した記録の意味内容が本来と異なるものとなり、重要な記録の正確性が損なわれていることが指摘された。

　生成AIシステム特有のリスクケース等への対策として、政府職員は以下を実施する。

① AI統括責任者（CAIO）は、本ガイドラインを踏まえ、生成AIシステム特有のリスクケースへの対応手順を整備する。

② 生成AIシステム特有のリスクケースが発生した場合、AI統括責任者（CAIO）及び生成AIシステムの提供者が中心となり、重要度・影響の程度等を踏まえ、適切な対応を行う。

③ 政府全体での生成AIシステム特有のリスクケースへの対応能力の向上を目的とし、先進的AI利活用アドバイザリーボード（事務局）にて、生成AIシステム特有のリスクケースのナレッジを集約する。このため、AI統括責任者（CAIO）は、生成AIシステム特有のリスクケースの発生時及び対応後に先進的AI利活用アドバイザリーボード（事務局）に報告する。先進的AI利活用アドバイザリーボード（事務局）は各府省庁に対し必要に応じ、生成AIシステム特有のリスクケースへの対応にあたっての助言等を行う。

④ 情報セキュリティインシデントと生成AIシステム特有のリスクケース双方の性質を併せ持つインシデントが発生する可能性もある（例：生成AIシステムの学習データがサイバー攻撃者により汚染され、モデルの精度が低下したことにより偏見を含む出力を生成しやすくなる等）。このような状況下においては、情報セキュリティインシデント対応体制、生成AIシステム特有のリスクケースへの対応体制間で適切に連携をする、あるいは双方の専門性を活かして協力して対応する。その際、各府省庁で定められた情報セキュリティインシデント発生時の対処手順に従って対応することが基本となる。

なお、こうした生成AIシステム特有のリスクケース発生時は、必要に応じ、対応に必要なデータについて事業者等から提出を受けることや、必要な監査を実施することについても検討する（これらへの対応が適切になされることを担保するため、生成AIシステムに係る事業者との契約においても、これらへの対応について盛り込むことを検討する。）。

⑤ 生成AIシステムについて、個人情報漏えい事案等が発生した場合は、各府省庁で定められた対応手順に従って適切に対応を行う。このような状況下においては、個人情報保護への対応体制と生成AIシステム特有のリスクケースへの対応体制間で適切に連携をする。