サイバースペースにおけるOODAループ：新たなサイバー防衛モデル

2020年3月26日の「OODAループとハーフ・ビート」では、OODAとは何かを感覚的に理解することを助ける論文を紹介した。戦いに勝つことをOODAループを用いて言うと、相手のOODAループ内に入ることであるとするものだったが、OODAループを単に単純に循環するサイクルとの理解では、答えを導けないというものだった。

ジョン・ボイドが考案したOODAループを用いて、軍隊が向き合う色々な分野に適用して理論的に戦い方を創造していこうとする検討が多くなされてきたものと考える。

人工知能（Artificial Intelligence：AI）を軍事に適用できる分野を考察する際にも、人が行う意思決定に適用できるのではないかとの意見がある。では、軍事における意思決定とはどのようなプロセスで行われているのかを理解できていないと、人工知能（AI）のどのような能力に期待するのかが導かれてこない。そこで、正に意思決定プロセスをモデル化したOODAループが有効な解決手段となる。

今回は、少し古くなるが、サイバースペース作戦での戦いをOODAループを用いてモデル化しようとする試みについて書かれたSmall Wars Journalの2017年10月の論文を紹介する。この論文では、戦いを敵対する相手との相互作用として理解することで、OODAループを速く回すことではなく、敵対する相手に摩擦を起こすことであるとしている。相手のOODAループを操作する（Manupulate）ためには相手の意思決定プロセス（OODAループ）を十分に承知するための方策が必要となる。（軍治）

サイバースペースにおけるOODAループ：新たなサイバー防衛モデル　- OODA Loops in Cyberspace: A New Cyber－Defense Model –

Small Wars Journal October 21, 2017

https://smallwarsjournal.com/jrnl/art/ooda-loops-in-cyberspace-a-new-cyber-defense-model　（参照不可）

https://www.researchgate.net/publication/320809843_OODA_Loops_in_Cyberspace_A_New_Cyber-Defense_Model　（参照可）

by Robert Zager[1] and John Zager [2]

ジョン・ボイド大佐の観察/指向/決定/行動ループ（「OODAループ」）は、広く採用されている意思決定分析フレームワークである。

我々は、OODAループと米国家安全保障局（NSA）の敵対妨害のための方法論を組み合わせて、新しいサイバー防衛モデルを作成する。

OODA Loop – Overview：OODAループの概観

個人またはグループがOODAサイクルを経由するにつれて、繰り返し改善され、意思決定をより迅速に行うことができる。一方、それらの決定に反応する相手は、OODAループが大きくなったり遅くなったりする。

－ボーセロン・セキュリティ社最高経営責任者　デビッド・シプリー[3]

ジョン・ボイド米空軍大佐（故人）は、敵対的関与を説明するために、観察/指向/決定/行動ループ（「OODAループ」）を開発した。空中攻撃研究（1964）の彼の初期の作品を除いて、ボイドは彼の研究を正式な論文や本に託さなかった。代わりに、彼は自分の考えをエッセイで伝え、口頭説明を図解した[4]。

ボイドが「紛争のパターン（Patterns of Conflict：1986）」で紹介したOODAループは、敵対的な交戦の本質を説明しようとする彼の長年の研究と分析から生まれた。「紛争のパターン（Patterns of Conflict）」では、ボイドはOODAループの図を提示しなかった。代わりに彼は以下のように観察した[5]、

…勝つためには、敵よりもより速いテンポまたはリズムで作戦する必要がある。あるいは、敵対者の観測、指向、決定、行動のタイムサイクルまたはループの中に入る必要がある。

ボイドは「紛争のパターン（Patterns of Conflict）」のOODAループの図を提示しなかったが、OODAループは一般的に図1に示すように描かれる[6]。

大衆化された解釈では、OODAループは、戦争での成功は、相手を上回るペースで、相手を上回って考え抜く実力に依存していること、または別の言い方をすると、相手よりも早くOODAサイクルを経由する実力に依存することを示唆している。ボイドの名前は、おそらく常にOODAループとこの一般的な解釈に関連付けられたままである。

図１．一般化されたOODAループ

OODAループは、サイバーセキュリティ・コミュニティでの重要な議論の対象である。たとえば、シスコ社はサイバーセキュリティに対するOODAループの重要性を要約している[7]。

OODAループでは、継続的な改善がプロセスの一体化された部分であると想定しており、以前の経験から学習し、4つのステップを完了するたびにループ・アクティビティに学んだ教訓を取り入れてパフォーマンスを向上させることができる。

OODAループのこの循環するバージョンは、サイクルをより速く完了することが勝利の鍵となる内省的なプロセスに焦点を当てている。したがって、論者はOODAループを詳しく説明するための強化された意思決定モデルを開発し、情報合成の品質を改善させながら意思決定プロセスを高速化する場所を提案している[8]。コンピューター緊急対応チーム（Computer Emergency Response Team：CERT）は、このOODAループの内省的な見解を要約している[9]。

OODAループは、軍事的な文脈において、情報を取得、処理、および行動する能力を、敵対者の能力と比較して説明する。一般的なフレーズ「意思決定サイクルに入る」は、敵対者よりも速くこのループを循環できることへの言及である。

OODAループの開発中に、ボイドは空中戦闘機動と戦術における敵対者の継続的な相互作用を研究した。彼は、各戦闘員の行動が他の戦闘員の行動にどのように影響するかを観察した。以下で説明するように、ボイドのOODAループは、意思決定を迅速に行うことによって獲得される優位性についてのものではない。ボイドの分析では、最適な決定は、相手の決定の文脈の中に存在する。

OODA Loop – A Tool of Cognitive Engagement：認知的交戦の道具－OODAループ

EWでは、彼らの心でf ***する。

-匿名海軍飛行士、電子戦隊[10]

破壊と創造（Destruction and Creation：1976）では、ボイドは概念化と観察の継続的なサイクルについて説明している[11]。

前後に、何度も何度も、我々はコンセプトを研ぎ澄ますために観察を、そして観察を研ぎ澄ますためにコンセプトを使用する。これらの状況下では、コンセプトは、コンセプトを形成し定式化するために絶えず変化する観測の配列に依存するため、不完全でなければならない。同様に、現実の観察は、新しい問い合わせや観察の本質を形成または定式化するために変化するコンセプトに依存しているので、不完全である必要がある。したがって、より正確かつ繊細に前後に探り出すとき、観察とコンセプト記述の間に違いがあることを認めなければならない。したがって、システムの一貫性を、そのコンセプトの観点から、および観測された現実との一致のため、それ自体で判断することはできない。

さらに、観察された現象の正確さと繊細さが、コンセプト上のパターンで一緒に働くアイデアと相互作用を採用している観察者の正確さと繊細さに近づいたとしても、一貫性を決定することはできない。

精神モデルと現実の相互作用に関するボイドの分析は、約20年前のスミスとハンコックの画期的な心理学的研究「状況認識は、適応性があり、外部指向の意識」を予期している[12]。

ボイドは「コンセプト上のスパイラル（Conceptual Spiral：1992）」で以下のように締めくくっている[13]

生存と成長は、勝利と敗北の不確実で絶えず変化する、予測不可能な世界と直接関係しているため、方向付け、不整合、分析/合成、再方向付け、不整合、分析/合成のこの旋回する（コンセプト上の）スパイラルを活用する… それで、我々は、その世界とそこから生まれる、またはそれ自体の「目新しさ」を理解し、対処し、形作ることができる。

図1はOODAループの一般的なビューを表しているが、ボイドの「勝利と敗北の真髄（The Essence of Winning and Losing：1995）」のOODAループのスケッチ、図2は、観測とコンセプト化の終わりのない反復を組み込んだOODAループのはるかに複雑な表現を提供している[14]。

図２．ジョン・ボイドのOODAループ

図2を参照すると、「レパートリーの使用」というラベルの付いた上のパスは、暗黙のガイダンスと統制（implicit guidance and control：IG＆C）を使用して「指向する（方向づける）」から「行動する」に移行する迅速な意思決定システムである。「決心（仮説）」を通って流れ、フィードバックループを使用して仮説を現実に対してテストする代替決定パスは、新しいレパートリーを作成する新規性のプロセスである。ボイドが行ったように、レパートリーは両刃の剣であることを認識しなければならない[15]。レパートリーは、「観察」から「行動」への非常に効率的なパスを提供するが、予測可能性の問題に悩まされる。

ボイドのOODAループのスケッチは、図1に示されている単純なOODAループよりも、敵対的交戦の彼の見方についてはるかに深い洞察を提供する。決定プロセス、そして決定を行動に変え、その行動は観察されている世界を変える。ただし、OODAループの各ステージは他のステージと相互作用するため、4つの連続したステージよりもさらに複雑である。ベルント・ブレマー氏は、OODAループには多数のフィードバックループが含まれているため、OODAループは真のループではなく、複数のループを持つステージモデルであることに気付いた[16]。

ボイドが「空中攻撃の研究（Aerial Attack Study ：1964）」で示唆したように[17]、OODAループの焦点はより迅速な決定を行うことではなく、OODAループは環境を操作して「敵対者がそのような環境に適応する実力を抑制する（観察を抑制または歪曲する）[18]」 環境は、敵対者が態勢を改善するために分析および使用するための価値ある情報源である代わりに（統合出版物の「警告のパラドックス」の従来の分析）[19]、ボイドは敵対者の意思決定を混乱させる見当識障害（disorientation）を起こす手段として環境を見た 。見当識障害（disorientation）は、敵対者が機能することを可能にする接続性、中心性、各種活動を破壊し混乱させ捕捉するための、曖昧さ、欺瞞、優れた運動性、および奇襲を利用した意図的な結果である[20]。環境を操作する到達目標は次のとおりである[21]。

敵対者のシステムを曖昧または混沌としているに見える活動に何度も反応させることによって、混乱と無秩序の「ごちゃまぜ」の中へと構造を解体する。

ボイドの分析では、世界は不確実な場所である。各敵対者のOODAループは、観測されている世界を変える。したがって、敵対的交戦は、敵対者が意図的および非意図的に人工物を配置し、そこから観測が行われる共通の環境を共有する2つのOODAループとして表すことができる[22]。海軍ドクトリン出版物 6（NDP 6）の図3は、相互作用するOODAループを示している[23]。

図3．友軍と敵対者の決心と実行サイクルの相互作用（米海軍ドクトリン文書）

敵対者の人は、展開する事象を観察し、敵対者の行動に応じて行動を変化させる。NDP 6は、OODAループの競合の本質に注目している[24]。

独立して作戦するのではなく、決心と実行のサイクルが同時に行われるが、同期ではなく、戦闘での両方の側でそれぞれに…。戦争は競争的であるため、決心と実行の絶対的なスピードではなく、敵との相対的なスピードである。我々の到達目標は、敵よりも速くなることであり、つまり、敵対者の指揮統制を妨害し、自分自身を合理化することを意味する。この実力により、決心と実行サイクルのさまざまな段階間で移行する敵対者の実力を統制することが可能な支配的なテンポを生み出す。

ベトナム戦争の例は、ボイドの分析を示している。北ベトナムのミグ戦闘機の航空戦闘の優越は、米国の爆撃機にとって深刻な脅威であった[25]。BOLO作戦（Operation BOLO）では、米国が北ベトナムのOODAループを操作した。彼らの観察から導き出されたことは、北ベトナムの地上管制官は、米国のF－105爆撃機を攻撃する無線トラフィック、ルート、レーダー画像の概念を持っていた。地上管制官が、F－105爆撃と一致する無線およびレーダーイベントを監視すると、地上管制官はミグ戦闘機を派遣して米国の爆撃機を迎撃および破壊する。戦闘機の爆撃機に対する空中戦の優位性により、北ベトナムは米国の爆撃機に大きな損失を与えた。米空軍のロビン・オールズ准将（故人）は、北ベトナムに対する北ベトナムの防空コンセプトを変えた。オールズは、米国の戦闘機に爆撃機を模倣するための電子機器を装備し、爆撃ルートを飛行し、爆撃機のコールサインとコードワードを使用していた。オールズはまた、北ベトナムの後退路に沿って戦闘​​機を配備した。オールズが攻撃したとき、北ベトナムの地上管制官は観測を組み立て、そのコンセプトを指向（方向づけ）に適用し、彼らが米国の爆撃機であると結論付けたものと交戦することを決定し、推定爆撃機と交戦するためにミグ戦闘機を送ることによって行動した。オールズは、米空爆のコンセプトを使って地上管制官を混乱させることで、北ベトナムのOODAループに干渉していた。間違いなく、彼らのパイロットが米国の爆撃機の代わりに米国の戦闘機と戦ったとき、北ベトナムの防空はかなりの混乱と驚きに苦しんだ。優れた米国の戦闘機は、北ベトナム空軍に大きな損失を与えた。オールズの成功の秘密は、彼がより迅速な決定を下したことではなく、敵対者の現実の考え方を理解したことであった。

ボイドは、時間的制約の背景に対する状況の変化とともに進化する競合するメンタルモデルの観点から敵対的関係を説明する。これは、敵対者の心の中で繰り広げられる対立である。敵対者の心は、情報環境の認知的次元に歩み寄る[26]。このため、著者は以前、サイバースペースのモデルの第4層として認知的次元を追加することを提唱してきた[27]。認知的次元をサイバースペースに追加すると、サイバースペース作戦の分析が、ハードウェアおよびソフトウェアの脆弱性の探索から、情報作戦を含む交戦に変わる。提案されたサイバースペースの修正されたレイヤーを図4に示する。

図4．サイバースペースの4つのレイヤー（米統合刊行物JP3-12(R)サイバースペース作戦適用して作成）

OODA Loop – Friction, Not Speed：OODAループ－スピードではなく摩擦を起こすこと

2度、「祈って、バベッジさん、機械に間違った数字を入れたら、正しい答えが出ますか？」と尋ねられた。…私は、そのような質問を引き起こす可能性のある種類のアイデアの混乱を正しく理解することができない。

チャールズ・バベッジ[28]

「状況認識（situational awareness）」は、心理学の用語であり、学問分野と行為主体の作戦環境への結合の両方を説明する[29]。簡単に言えば、状況認識はあなたの周りで何が起こっているかを知ることである。状況認識の研究者は、状況認識の相互に排他的な3つの状態を識別する[30]。これらの状態は次のとおりである。

遡及的説明分析：「何が起きたのか？」

同時状況認識：「何が起こっているのか？」

見込まれる予測分析：「何が起こるのか？」（強調：原文のまま）

OODAループ分析の天才は、敵対者の見込まれる予測分析が兵器化され、将来の状況認識の喪失につながる可能性があるというボイドの認識であった。我々は、BOLO作戦で、交戦中に状況認識が失われた結果をもたらす見込まれる予測分析を呼び出すために、攻撃する米軍が攻撃を考え出したことを見ることになる[31]。ボイドは、当時存在しなかった心理学の用語を使用するのではなく、孫子の古代語彙を使用して、状況認識の状態を説明した。ボイドは、敵対者の期待と一致する行動をとることを説明するために、孫子の「cheng（正）」という用語を使用している。ボイドは、敵対者の期待と矛盾する行動をとることを説明するために、孫子の「ch’i（奇）」という用語を使用しており、それによって敵対者から状況認識を奪いとる。

「現在のループが将来の方向付けの性格を形成する[32]」ため、ボイドは、将来の方向付けを混乱させることを意図して環境に情報を配置する規定の5つの手法を説明した。これら5つのOODAループ操作手法について、ボイドを引用すると次のようになる[33]。

• 曖昧さ（Ambiguity）：それらがそうでない場合もある場合もある事象の代替または競合する印象
• 欺瞞（Deception）：それらはそうではないという事象の印象。
• 目新しさ（Novelty）：なじみのない、またはこれまでに経験したことのない事象やアイデアに関連付けられている印象。
• 高度に移り行く機動（Fast transient maneuvers）：ある機動事象/状態から別の機動事象/状態への不規則で急速/急激な移行。
• 努力（Effort）（正［cheng］ / 奇［ch’i］または重要でない点［Nebenpunkte］ / 重心［Schwerpunkt］）：有機的な全体が存在することを可能にする特徴に焦点を当て、またはそれを通したエネルギーの消費または暴力の乱用。

これらの5つの手法は、見当識障害（事象と観測の不一致）、混乱（敵対者が調整されていない行動に関与している）、および過負荷（敵対者が適応できるよりも早く事象が展開する）のいづれかまたはすべてを生み出すために使用される[34]。

サイバーセキュリティの実践者は、OODAループを使用して、機械学習と人工知能の価値を高め、サイバーセキュリティを向上させる[35]。基本的な概念は、データ処理システムと機械学習がOODAループの実行を高速化することでサイバーセキュリティを改善できるということである[36]。OODAループの概念は、サイバーセキュリティの信頼性評価を行うために使用される[37]。IBMのワトソンAIシステムは、OODAループを情報フィードバックループとして使用して、意思決定プロセスで100を超える分析を理解する[38]。IBMによると[39]、

現在の世代のシステムは事後対応型（異常や攻撃の検出と対応）であるが、認知的セキュリティは予防型である。フォワードフォーカスで継続的にマルチタスクを実行する認知システムは、脆弱性を洗い出し、点を結び、差異を検出し、何十億ものイベントをふるいにかけ、実用的な知識に基づいて構築する。

これは一時的な寄せ集めである。IBMが「認知セキュリティ（cognitive security）」と呼ぶものは、状況認識の3つの状態を統合している。履歴イベントの収集と分析は、遡及的な説明分析である。過去の知識を現在のイベントに適用することは、状況の同時認識である。将来の攻撃が以前の攻撃を模倣することを予測することは、予測分析である。新しい攻撃をより迅速に識別、分析、理解することで、変化するイベントにより迅速に防御を適用できることは間違いないが、これは予測的なアクティビティではなく、これは事後対応型のアクティビティである。AIおよび機械学習システムは、人間がこのタスクを実行できるよりも速く履歴情報を処理しようとする。機械は未来から信号を受信して​​いない[40]。機械は、結論を引き出すための十分な情報が欠けているデータを克服できない[41]。さらに、変数の数とデータセットのサイズが増加するにつれて、履歴データで観測される統計的に有意なスプリアス相関の数は、有用な情報よりも急速に増加する[42]。これは、「ビッグデータ（big data）」分析で明らかにされた関係の肯定的な予測力（PPV：positive predictive power）が誇張されているか、単に間違っていることを意味する[43]。

内省的なプロセスの速度に焦点を当てたサイバーセキュリティ分析は、ボイドのOODAループのポイントを見逃している。ボイドが「敵対者のOODAループに侵入する」と言及したとき、彼は速度ではなく「摩擦（friction）」に言及していた。ボイドの組織化テーマは摩擦（friction）である。摩擦（friction）は活動を妨げる。摩擦（friction）の影響は、競合するOODAループの実行を通じて展開する。友軍は、「敵対者の摩擦（friction）を増やして時間を延ばす（摩擦と時間の好ましい不一致のために）自身の摩擦（friction）を減らす必要があり、それにより敵対者が展開する事象/努力に対処する機会を拒否する[44]」 [強調を追加]

敵対者が決定を下すことを知っているボイドのOODAループのポイントは、望ましい目標を達成するために十分な、敵対者の意思決定プロセスの長さを理解し、活用することである。冷戦の潜水艦戦の場合を考えてみよう[45]。プロペラの乱流は潜水艦の背後のソナー観測を妨害したため、潜水艦はプロペラの乱流の中に隠れることで互いに尾を引いた。潜水艦は、回避的な機動を使用して尾引き作業に対抗した。人間である潜水艦司令官は、習慣的なスケジュールで反尾翼作戦で交戦する傾向があった。米国の潜水艦司令官はソビエト潜水艦司令官の習慣を悪用してソビエト潜水艦を長期間追跡した。

しかし、突然我々のデータが操作され、あなたが物理的に見ているものを信じることができなくなったらどうなるか？

米国家安全保障局（NSA）局長、Michael Rogers提督[46]

信頼評価の問題は、意思決定に影響を与える観測の操作を示している。信頼の操作は、詐欺の特徴である。バーニー・マドフはこの問題の例である。彼の詐欺が明らかになるまで、彼は数十億ドルを託された金融界の尊敬されるメンバーであった。史上最大の欺瞞の1つは、フォーティテュード作戦（Operation FORTITUDE）で、イギリスは数年にわたって、連合軍の侵攻はカレーにあると最終的にドイツを確信させた二重のエージェントを使用した。信頼できるスパイからの誤った情報に依存して、ドイツはDデーの前、最中、後にカレーに防御を集中した[47]。

泥棒は、バングラデシュ中央銀行からほぼ10億ドルを送金した。彼らは盗まれた資格情報を使用して転送を許可することでこの偉業を達成し、ターゲットとする銀行の資金追跡プログラムの2バイトのコードを変更することで盗難を隠した[48]。泥棒の戦利品は、泥棒のスペルミスと、泥棒がお金を移動するために使用した銀行の1つが連邦準備銀行の監視リストのエンティティと名前を共有したという偶然のために、最終的に1億100万ドルに調整された[49]。

信頼できるセンサーの破壊は、敵軍間の混乱と混乱を招く可能性がある[50]。米統合出版物3₋13.1電子戦（ Joint Publication（JP）3－13.1 Electronic Warfare）は、電子戦（EW）のツールとしての欺瞞に40以上の言及をしている。一方、米統合出版物3₋12（R）サイバースペース作戦（Joint Publication（JP）3－12（R）Cyberspace Operations）は何もない。誤ったデータは、送電網などの制御システムを運用する「人以外のエンティティ（Non－Person Entity：NPE）」の意思決定を覆すために使用できる[51]。2014年の文献レビューで、研究者は「詐欺に対するサイバー状況認識の脆弱性は事実上文献に存在せず、搾取と侵入検知システム間の低レベルの競争を回避する[52]」 OODAループの計算実装は、内省的であるため、イントロスペクション・プロセスを破壊するイベントの操作を考慮に入れていない。ボイドはシステムがそれ自体を検証できないと警告した[53]。

状況認識研究の最近の進歩は、状況認識がシステムレベルの現象であり、「あなた」が個人、個人のグループ、および非人間の要素を含むシステムで構成される構造であることを認識している[54]。研究者は、このシステムレベルのアプローチを「分散型状況認識（distributed situational awareness：DSA）」と呼ぶ。エールフランスの447便のクラッシュは、人間と機械の複雑なシステムでの分散型状況認識（DSA）の失敗を示している[55]。この悲劇では、ピトー管が凍結し、これらの重要な対気速度センサーが故障した。ピトー管の故障とそれに続く対気速度データの喪失に対応して、自動操縦装置は解除された。人間のパイロットは、ピトー管の故障や自動操縦の解除を知らず、飛行機を制御するための適切な行動をとることに失敗した。これは、分散型状況認識（DSA）に障害が発生した場合に、センサーからの誤ったデータが人間と機械のOODAループに波及する方法の例である。

OODAループの悪用は、あらゆるサイバー攻撃の要である。すべてのサイバー攻撃は、攻撃者が分散型状況認識（DSA）に寄与する1つ以上のOODAループを操作するOODAループの操作を通じて分散型状況認識（DSA）を攻撃していると見なすことができる。OODAループを操作する鍵は、特定のOODAループがどのように機能するかを理解することである[56]。最新のコンテナターミナルの例を考えてみよう。最新のコンテナターミナルは、自動化の驚異である。人以外のエンティティ（NPE）は、容器を容器から施設内に移動する自動機械式ハンドリング装置を運用する。施設全体は、ポート内のすべての動きを調整するターミナルオペレーティングシステムの制御下で動作し、コンテナの流れを最適化することでポート効率を最適化する。システム全体は、光学式文字認識（OCR）と無線周波数識別子（Radio Frequency Identification：RFID）を使用してスキャンされるコンテナ識別情報から駆動される。したがって、ターミナルオペレーティングシステムのOODAループは、光学式文字認識（OCR）と無線周波数識別子（RFID）に依存している。犯罪者は、その光学式文字認識（OCR）および無線周波数識別子（RFID）情報を破壊することにより、密輸活動に従事する。同様に、GPSナビゲーションおよびガイダンスシステムのOODAループは、入力電磁信号を操作することで混乱する可能性がある[57]。疑わしい活動の検出を回避しようとする船の乗組員は、配送ルート、配送パターン、ゲーム用電子船追跡システムに関する知識を活用して、追跡機関のOODAループを操作する[58]。電力グリッド管理システムのOODAループは、グリッド管理を調整するために衛星信号に依存している。誤ったデータを送電網管理ネットワークのセンサーに提示して、そのOODAループを中断し、送電網を停止させることができる[59]。

ビジネスメール詐欺（BEC：Business Email Compromise）は、階層化された防御に対する攻撃を示している。ビジネスメール詐欺（BEC）が示すように、階層化された防御は実際にはOODAループの相互作用である。特定の層が防御であるか脆弱性であるかは、分散型状況認識（DSA）のコンテキストでのOODAループの運用によってのみ決定できる。ビジネスメール詐欺（BEC）では、敵対者は敵対者に支払いを行うことでお金を盗もうとする。

防御層1－電子メールスパムフィルター。このOODAループは、電子メールの特性を観察し、電子メールの特性を使用して、電子メールを配信する必要があるかどうかを判断する。敵対者は、電子メールマーケティングのツールを使用してスパムフィルターOODAループを操作する。

防御層2－次世代ファイアウォール（next generation firewall：NGF）。次世代ファイアウォール（NGF）のOODAループは、電子メールに関連付けられた実行可能ファイルを実行することにより、電子メールに関連付けられたファイルの行いを監視し、ファイル実行の結果に基づいて方向付けを行う。敵対者は、テキストのみを含む電子メールを送信することにより、次世代ファイアウォール（NGF）のOODAループを操作する。監視のたまの機械実行可能ファイルはない。

防御層3－人間の電子メール受信者。人間のOODAループは、人間が読める電子メールの内容を監視する。敵対者は、人間が会計システムに入るための誤った支払い指示を含む虚偽のメッセージを作成することにより、人間のOODAループを操作する。人のOODAループは意識的な認知プロセスを必要としないことに注意することが重要である。実際、敵対者は、OODAループの方向付け、決定、および行動フェーズが非認知的習慣的反応または低認知的精緻化の応答で構成されるレパートリーである、習慣などの非認知的プロセスを意図的にターゲットとする場合がある[60]。サイバー攻撃者は、重要なユーザー分析をトリガーにしない行動（メールの処理、ドキュメントを開く、資格情報の入力など）を頻繁に悪用する。

防御層4－会計システムのアクセス制御プロセス。会計システムのアクセス制御システムOODAループは、システムに入力された資格情報データに基づいて、ユーザーの資格情報の入力と方向を監視する。敵対者は、人間のOODAループを破壊することにより、会計システムのアクセス制御OODAループを操作する。

防御層5－会計システムのデータ入力プロセス。会計システムのプロセスのOODAループは、システムのデータ入力要件に基づいて、ユーザーデータ入力の入力と方向を監視する。敵対者は、再び人間のOODAループを破壊することにより、会計システムのデータ入力OODAループを操作する。

防御層6－会計システムの支払い処理システム。このOODAループは、システムにあるデータに基づいて支払い指示と方向を監視する。敵対者は、以前のOODAループを介して、事実上誤った支払いデータを会計システムに導入しておく。会計システムは、事実上無効な支払いデータを使用して敵対者に支払いを発行する。

ビジネスメール詐欺（BEC）には、支払いシステムの見当識障害を明らかにする可能性のあるデータ処理エラー、マルウェア、ログファイル、その他のコンピューターの生成物はない。ビジネスメール詐欺（BEC）での分散型状況認識（DSA）の損失は、これらの人以外のエンティティ（NPE）と人間のOODAループの相互作用から生じる。ウェルズ・ファーゴ銀行（Wells Fargo Bank）は、ベンダーアカウントのメンテナンスプロセスに非データ処理ステップを追加してOODAループを変更することにより、ビジネスメール詐欺（BEC）から防御することを推奨している[61]。

すべての意思決定活動は、人間を欺くか、OODAループが相互作用するシステムでデータストリームを操作することのいずれかまたは両方によって危険にさらされる可能性がある。ウクライナ電力の大部分は、人間の電力グリッドオペレータの資格情報を危険にさらす不正な電子メールによって停止された[62]。スタックスネット（Stuxnet）事案では、防御的なOODAループを打ち破るために、ユーザーが無意識のうちに募集された。この場合、潔白に見えるUSBデバイスを施設に移動し、USBデバイスをネットワークに接続する[63]。攻撃に関する情報の多くは、攻撃者による難読化の対象となる[64]。多くの場合、防御的なOODAループに送られる機械データは、攻撃者による反フォレンジック操作の対象となる。敵対者はログファイルを変更する[65]。敵対者は意図的に偽のアラームをトリガーにする。敵対者はソフトウェアの真の性質を隠し、防御者をだまして悪質なコードをホワイトリストに登録させる[66]。敵対者は嘘をつき、欺く。敵対者は、防御者が使用する「ドットを接続する」プロセスを理解し、欺瞞の格言（Maxims of Deception）を適用してドットをゆがめ、サイバーインテリジェンスの作業を弱体化する[67]。人と人以外のエンティティ（NPE）のOODAループは、敵対的な操作の機会を提供する。

2015年8月、米国家安全保障局（NSA）は敵対者の妨害のための方法論をリリースした[68]。敵対者の妨害の方法論は、サイバースペースでの交戦中に人間の敵対者が行う行動に焦点を当てている。敵対的妨害の方法論では、アクセス、持続性、制御という用語を導入して、サイバー交戦の進化を説明している。アクセス（access：A）は、侵入者がターゲットネットワークに接続する方法を指す。侵入者は、ネットワークに「足場」を作成して持続的な存在を可能にすることにより、持続性（persistence：P）を目指す。これらの行動はすべて、干渉（interfere）、監視（monitor）、データの盗用（steal）または変更（alter）、欺騙（deceive）、無効化（disable）または破壊（destroy）のいずれであっても、最終目標を達成するための制御（control：C）の獲得に焦点を当てている[69]。これらの各フェーズは、OODAループのシーケンスとして見ることができる。ビジネスメール詐欺（BEC）の例を見ると、人以外のエンティティ（NPE）と人々のOODAループを攻撃することでアクセス（A）が得られた。持続性（P）は、人間のOODAループから得られた。制御（C）は、敵対者の誤ったデータが支払いOODAループに埋め込まれた結果であった。

敵対者の妨害の方法論（Methodology for Adversary Obstruction）は、敵対者が標的に対して使用できるツール、戦術、手順を減らすようにデザインされている。敵対者妨害方法論（Adversary Obstruction Methodology）は、サイバースペースの広範な通信、コマンド、および制御ネットワークによって作成された相互依存OODAループのシステムに対処する。敵対的妨害の方法論（Methodology for Adversary Obstruction）では、アクセス（A）、持続性（P）、および制御（C）を制限しようとするサイバー防御の原則が規定されている。これらの原則は次のとおりである[70]。

・　対応する計画を作成し、例外なく完全に実装されていることを確認する

・　攻撃対象面を削減して、ネットワークへの外部攻撃ベクトルを削減

・　デバイスを強化して、ネットワークへの内部および外部の攻撃ベクトルを削減する

・　資格情報保護を実装して、ネットワーク上で機動する敵対者の能力を低下させる

・　防御リソースを調整して、敵対行為の検出と対応を改善する

・　ネットワークと機能を分離して、侵入が発生したときに被害を封じ込める

・　期待値を設定するリーダーを含めるために、サイバープロフェッショナリズムの文化を開発する

OODAループ分散型状況認識（DSA）分析を米国家安全保障局（NSA）のアクセス、持続性、制御モデルと組み合わせて、データ処理タスクを実行する機械に焦点を当てることによって隠されている依存関係を明らかにすることを提案する。ボイドのOODAループをNDAの敵対者の妨害の方法論（Adversary Obstruction Methodology）に組み込むには、1つの新しい原則を追加する必要がある。その新しい原則は次のとおりである。

・　敵対者の摩擦を増やしながら、友軍の摩擦を減らす。

効果的なOODAループ分析には、防御的な意思決定プロセスを迅速化するだけでなく、完了したOODAループの分析が必要である。敵対者が独自のOODAループを実行していることを知ることにより、友軍は敵対者の摩擦を増やすための措置を講じることができる。冷戦時代の潜水艦戦に戻って、米国の潜水艦司令官は、自分の習慣の犠牲になることを避けるために、サイコロを使って回避行動のタイミングを決定した[71]。ランダム化は非常に効果的な防御戦略である[72]。ランダム化は、機械学習およびAIシステムで使用される統計的推論エンジンを混乱させる優れた手段である[73]。

敵対的交戦の各フェーズで競合するOODAループの摩擦を分析すると、敵対者に対して交戦を傾ける機会が明らかになる。いくつかの例がこの概念を示している。サイバースペースでは、一般的な命名規則を使用してフィッシングターゲットのメールアドレスを推測することにより、システムへのアクセスが得られることがよくある。このプロセスでは、攻撃者は電子メールの「バウンス」メッセージ[74]によって支援される。敵対者のOODAループがメールアドレスの推測とシステムバウンスメッセージを関連付けていることを理解すると、OODAループの中断の機会が開かれる。たとえば、従業員のメールアドレスにランダムな文字をいくつか挿入し、バウンスメッセージを抑制すると、攻撃者の摩擦が増加する[75]。メールアドレスを推測する難しさが増すと、拒否されるメールが増える。繰り返される誤った推測に関連付けられた拒否された電子メールの量が増加することによって生成されるログファイルは、セキュリティアナリストのフォレンジック・データの豊富なソースになる可能性がある。摩擦により熱が発生し、熱を検出できる。

敵対者は、資格情報を悪用してシステムを侵害することがよくある。ユーザーは、電子メール攻撃への応答として、不注意で資格情報を敵対者に開示する[76]。ユーザーは、妥協を危うくするのに敵対者を助ける貧しい資格情報慣行に意図的に関与する[77]。電子メールシステムは、資格情報の盗難を促進する電子メールに対して電子メール受信者のOODAループを保護するために、詐欺防止技術で強化できる[78]。2要素認証（2FA：two factor authentication）を採用すると、ログインプロセスに新しい要件が導入されるため、侵害された資格情報を使用する際の攻撃者の摩擦が増加する[79]。しかし、それは分析の終わりではない。敵対者は新しいOODAループを利用するためにどのような改造を行うのか？ 2番目の要因として携帯電話を使用する2要素認証（2FA）は、ユーザーの携帯電話または携帯電話の2要素認証（2FA）プロセス自体を侵害することにより、損なわれる可能性がある[80]。このOODAループ分析は、敵対者の次の動きを明らかにし、ファイド2要素認証（fido 2FA：Fast IDentity Online two factor authentication ）[81]などの携帯電話の侵害攻撃に耐性のある2要素認証（2FA）方式を採用する必要があるため、敵対者が欠陥のある盗まれた資格情報を使用しようとすると、ログインが失敗することも示唆している。繰り返すが、敵対者の摩擦を増やすと、防御側が検知する熱が発生する。

これらのルール（変更された電子メールアドレス/バウンス抑制および2FA）は、防御的なサイバー作戦で詐欺を使用して敵対者にリソースを消費し、意思決定を混乱させ、敵対者のOODAループの摩擦を増やすタスクを敵対者に割り当てる方法を示している。

敵対者の摩擦を増やすことに加えて、提案された原則は友軍の摩擦を減らすことを目指している。原則のこの側面では、新しい対策が検討される場合、友軍のOODAループへの影響を考慮する必要がある[82]。ジョブタスクのパフォーマンスを妨げるセキュリティ対策は、システム管理者（sysadmin）とユーザーに摩擦を課す。この摩擦により、システム管理者が維持できないシステムやユーザーは、ジョブタスクのパフォーマンスに不満を抱き、回避する。最近の報道では、大手の国際的なサイバーセキュリティコンサルティング会社が、システム管理者とユーザーが日常的に不十分なセキュリティ慣行に関与するシステムを作成したことが示されている[83]。「到達目標は、理論的に安全ではなく、実際に安全なシステムを構築することである。セキュリティメカニズムは、効果的に機能するために使用可能でなければならない。[84]」

OODAループ分析を適用すると、修正された友軍のプロセスが友軍のOODAループを破壊し、敵対者の摩擦を増やし、友軍の摩擦を減らす試みに対して防御できる分散型状況認識（DSA）の重要なステップを明らかにできる。

ここに表明された見解は著者の見解であり、Iconix, Inc.またはPepsiCo, Inc.の見解を反映するものではない。

ノート

[1] ロバートザガーは発明家であり起業家である。コンピュータネットワーキングと電子メールの分野で12の米国特許を取得している。カリフォルニア大学バークレー校で学士号を、サンタクララ大学で法学博士号を取得している。彼は現在、カリフォルニア州サンノゼにあるIconix, Inc.のセキュリティ研究者である。

[2] ジョンザガーは、システム分析を好む心理学者である。彼はホフストラ大学で心理学の学士号と産業組織心理学の修士号を取得している。学部の研究を終える間、彼は米国上院議員キルステンギリブランド（D、NY）のインターンを務めている。彼は現在、ウォルマートのeコマース部門の人間分析の管理者（People Analytics Manager）である。

[3] Shipley, David. “Why We’re Losing the War for Cyber Security.” Pulse. LinkedIn, 6 Jan. 2016. Web. 12 Sept. 2017. < https://www.linkedin.com/pulse/why-were-losing-war-cyber-security-david-shipley>.

[4] Hammond, Grant T. The Mind of War: John Boyd and American Security. Washington, D.C.: Smithsonian Books, 2004. Print. p.56. A 6.5 hour briefing by Boyd is available in 14 parts on YouTube at https://www.youtube.com/user/Jasonmbro/videos

[5] Boyd, John. “Patterns of conflict.” Unpublished Paper, December (1986). Slide 5.

[6] Osinga, Frans P. Science, Strategy and War: The Strategic Theory of John Boyd. New York: Routledge, 2007. Page 6.。

[7] Muniz, Joseph, Gary McIntyre, and AlFardan Nadham. Security Operations Center: Building, Operating, and Maintaining Your SOC. Indianapolis: Cisco Press, 2015. Page 3.。

[8] Biermann, Joachim, Pontus Horling, and Lauro Snidaro. “Automated support for intelligence in asymmetric operations: Requirements and experimental results.” Information Fusion, 2009. FUSION’09. 12th International Conference on. IEEE, 2009.

Blasch, Erik P., et al. “User information fusion decision making analysis with the C-OODA model.” Information Fusion (FUSION), 2011 Proceedings of the 14th International Conference on. IEEE, 2011.

Blasch, Erik, et al. “Issues and challenges in resource management and its interaction with levels 2/3 fusion with applications to real-world problems: an annotated perspective.” Proceedings of SPIE. Vol. 6567. 2007.

Brehmer, Berndt. “The dynamic OODA loop: Amalgamating Boyd’s OODA loop and the cybernetic approach to command and control.” Proceedings of the 10th international command and control research technology symposium. 2005.

Dussault, H. M. B., and Maciag, C. J. Forensics, Fighter Pilots and the OODA Loop: The role of digital forensics in cyber command and control. Digital Forensic Research Workshop, 2004.

Gray, Douglas. Improving Cybersecurity Governance Through Data-Driven Decision-Making and Execution (Briefing Charts). CARNEGIE-MELLON UNIV PITTSBURGH PA SOFTWARE ENGINEERING INST, 2014.

[9] Wisniewski, Brian D., et al. “Improving Federal Cybersecurity Governance Through Data-Driven Decision Making and Execution.” (2015). P. 5.

[10] 電子戦の戦闘任務で飛行し、匿名を希望する海軍の飛行士との個人面接

[11] Boyd, J. “Destruction and Creation, 1976.” Unpublished Essay, available at https://www.goalsys.com/books/documents/DESTRUCTION_AND_CREATION.pdf　Slide 5.

[12] Smith, Kip, and Peter A. Hancock. “Situation awareness is adaptive, externally directed consciousness.” Human Factors 37.1 (1995): 137-148.

[13] Boyd, John. “Conceptual spiral.” Lecture to Naval War College Faculty. Naval War (1991). Slide. 388

[14] Boyd, John R. “The essence of winning and losing.” Unpublished lecture notes (1996). Slide 3.）

[15] Boyd, John. “Patterns of conflict.” Unpublished Paper, December (1986). Slides 37-39.。

[16] Brehmer, ” The dynamic OODA loop”, For a comprehensive discussion of the OODA Loop and its embedded feedback loops, the reader is referred to: Angerman, William S. Coming full circle with Boyd’s OODA loop ideas: An analysis of innovation diffusion and evolution. No. AFIT/GIR/ENV/04M-01. AIR FORCE INST OF TECH WRIGHT-PATTERSON AFB OH SCHOOL OF ENGINEERING AND MANAGEMENT, 2004. Osinga, “Science, Strategy and War”, Schechtman, Gregory M. Manipulating the OODA Loop: The Overlooked Role of Information Resource Management in Information Warfare. No. AFIT/GIR/LAL/96D-10. AIR FORCE INST OF TECH WRIGHT-PATTERSON AFB OH, 1996. Tremblay Jr, Major Paul. Shaping and Adapting Unlocking the power of Colonel John Boyd’s OODA Loop. Diss. masters thesis, United States Marine Corps Command and Staff College, 2015). Accessed on 1 January 2015. https://fasttransients.files.wordpress.com/2015/04/tremblayshapingadapting. pdf, 2015.

[17] Boyd, J. R. “Aerial Attack Study (Monograph).” (1964). Page 68.

[18] Boyd, John. “A New Conception of Air to Air Combat.” unpublished presentation (1976). Slide 22

[19] Joint Publication (JP) 2-0, Joint Intelligence. Page I-27.

[20] See, for example, Boyd, “Patterns of conflict.”, Slide 98.

[21] Boyd, “Patterns of conflict.”, Slide 22.

[22] Naval Doctrine Publication 6, “Naval Command and Control.” Department of the Navy (USA), 1995. Page 60.

[23] NDP 6, “Naval Command and Control.”, Page 60.

[24] NDP 6, “Naval Command and Control.”, Page 60.

[25] “National Museum of the US Air Force.” OPERATION BOLO > National Museum of the US Air Force > Display. N.p., n.d. Web. 15 Sept. 2017. <http://www.nationalmuseum.af.mil/Visit/Museum-Exhibits/Fact-Sheets/Display/Article/196006/operation-bolo/>.

 

[26] Joint Publication (JP) 3-13, Information Operations. Page. I-3.

[27] Zager, Robert P., and John A. Zager. “George Washington’s Teachings on Cyberwar.” Cyber-Physical Systems Virtual Organization. National Science Foundation, 22 May 2017. Web. 15 Sept. 2017. <https://cps-vo.org/node/35651>.

[28] Charles Babbage, Passages from the Life of a Philosopher, London, Longman, Green, Longman, Roberts and Green, 1864, page 67.

[29] Stanton, N. A., et al. “State-of-science: situation awareness in individuals, teams and systems.” Ergonomics 60.4 (2017): 449-466.

[30] DeYoung, Mark E., Randy Marchany, and Joseph Tront. Network Security Data Analytics Architecture for Logged Events. Virginia Tech, 4 Jan. 2017. Web. 11 Oct. 2017. <https://vtechworks.lib.vt.edu/handle/10919/77421>.

[31] Boyd, “Patterns of conflict.”. Slide 13.

[32] Boyd, John R. “Organic design for command and control.” A discourse on winning and losing (1987). Slide 16

[33] Boyd, “Patterns of conflict.”. Slide 117.

[34] Boyd, “Patterns of conflict.”. Slide 117.

[35] Brooks, Teresa Nicole. “Survey of Automated Vulnerability Detection and Exploit Generation Techniques in Cyber Reasoning Systems.” arXiv preprint arXiv:1702.06162 (2017).

[36] Duffy, Nigel. “AI: Accelerating Decision-Making.” CIO Review. CIO Review, n.d. Web. 11 Sept. 2017. <https://artificial-intelligence.cioreview.com/cxoinsight/ai-accelerating-decisionmaking-nid-23303-cid-175.html>. Riley, Shawn. “Getting Inside the Threat Actor’s OODA Loop to Stop Undetectable TTPs.” Pulse. LinkedIn, 18 Sept. 2014. Web. 15 Sept. 2017. <https://www.linkedin.com/pulse/20140918175209-36149934-getting-inside-the-threat-actor-s-ooda-loop-to-stop-undetectable-ttps>.

[37] Arunkumar, Saritha, et al. “Assessing trust over uncertain rules and streaming data.” Information Fusion (FUSION), 2013 16th International Conference on. IEEE, 2013.

[38] Muresan, Michael, and Lee Angelelli. “Next Generation Technology Applying Cognitive Solutions to Modeling and Simulation.” SISO. Simulation Interoperability Standards Organization, 7 June 2016. Web. 11 Oct. 2017. <https://discussions.sisostds.org/index.htm?A3=ind1606&L=SIW-SG-ENGTAM&E=base64&P=8976&B=–_002_432F864F9D89B94F9D1A6AF48BF6E1E4A39D83B4UGUNHPAFIeasfcs_&T=application%2Fpdf;%20name=%22Applying%20Cognitive%20Systems%20To%22&N=Applying%20Cognitive%20Systems%20To&attachment=q>.

[39] “Evolve Your Defenses with Security That Understands, Reasons and Learns.” Cognitive Security White Paper. IBM, n.d. Web. 15 Sept. 2017. <http://cognitivesecuritywhitepaper.mybluemix.net/>.

[40] Taleb, Nassim Nicholas. Antifragile: Things that gain from disorder. Random House, 2012. Page 68.

[41] Vijayan, Jai. “New Locky Ransomware Phishing Attacks Beat Machine Learning Tools.” DARKReading. InformationWeek, 28 Sept. 2017. Web. 10 Oct. 2017. <https://www.darkreading.com/attacks-breaches/new-locky-ransomware-phishing-attacks-beat-machine-learning-tools/d/d-id/1330010?_mc=sm_dr>.

[42] Taleb, Nassim N. “Beware the Big Errors of ‘Big Data’.” Wired, 8 Feb. 2013. Web. 15 Sept. 2017. <https://www.wired.com/2013/02/big-data-means-big-errors-people/>.

[43] Ioannidis, John PA. “Contradicted and initially stronger effects in highly cited clinical research.” Jama 294.2 (2005): 218-228.

Ioannidis, John PA. “Why most published research findings are false.” PLoS medicine 2.8 (2005): e124.

[44] Boyd, “Organic design for command and control.”, Slide 23.

[45] Sontag, Sherry, and Christopher Drew. Blind man’s bluff: The untold story of American submarine espionage. PublicAffairs, 2016. Chapter 6.

[46] Berman, Dennis K, Adm. Michael Rogers on the Prospect of a Digital Pearl Harbor, Wall Street Journal, 26 October 2015. Web. 26 October 2015, <http://www.wsj.com/article_email/adm-michael-rogers-on-the-prospect-of-a-digital-pearl-harbor-1445911336-lMyQjAxMTA1NzIxNzcyNzcwWj>.

[47] D-Day’s Operation OVERLORD provides an example of the advantage to be gained by controlling the adversary’s decision-making process. For years prior to the D-Day invasion, Allied Intelligence services carefully manipulated the German’s OODA loop through a masterfully orchestrated misinformation campaign, Operation FORTITUDE. At the heart of this campaign stood a single man – Juan Pujol García, a failed Spanish chicken rancher codenamed “Garbo.” Through a series of unbelievable events, Pujol became a German spy who turned his loyalties to the Allies. Starting in April of 1942, British intelligence used Pujol, the trusted German spy, to feed deceptive information to the Germans. For over three years leading up to D-Day and following the invasion, the Allies used Pujol to corrupt the German OODA loop. British intelligence deceived the Germans into believing that the Allies would invade at Calais. While the landings at Normandy were underway Pujol convinced the Germans that the invasion of Normandy was a diversionary measure, thereby forestalling the redeployment of German defenses from Calais. After it became clear that Normandy was not a diversion, Pujol maintained his trusted relationship with the Germans by convincing the Germans that the Allies had changed plans after the Normandy invasion. As the Nazi empire collapsed following the Allied invasion, the Nazi’s awarded Pujol the Iron Cross for his services to the Reich. See, Seaman, Mark. Garbo: The Spy Who Saved D-Day. Dundurn, 2004.

[48] Shevchenko, Sergei. “Two Bytes to $951m.” BAE Systems Threat Research Blog. BAE Systems, 15 Sept. 2017. Web. 15 Sept. 2017. <http://baesystemsai.blogspot.com/2016/04/two-bytes-to-951m.html>.

[49] Perlroth, Nicole, and Michael Corkery. “Details Emerge on Global Bank Heists by Hackers.” Details Emerge on Global Bank Heists by Hackers – The New York Times. The New York Times Company, 13 May 2016. Web. 15 Sept. 2017. <https://www.nytimes.com/2016/05/14/business/dealbook/details-emerge-on-global-bank-heists-by-hackers.html>.

Das, Rishna N., and Jonathan Spicer. “How the New York Fed Fumbled over the Bangladesh Bank Cyber-heist.” Reuters Investigates. Reuters, 21 July 2016. Web. 18 Sept. 2017. <http://www.reuters.com/investigates/special-report/cyber-heist-federal/>.

[50] John A. Volpe National Transportation Systems Center. GPS Dependencies in Transportation: An Inventory of Global Positioning System Dependencies in the Transportation Sector, Best Practices for Improved Robustness of GPS Devices, and Potential Alternative Solutions for Positioning, Navigation and Timing. Cambridge, Massachusetts: U.S. Department of Transportation, 2016.

[51] Akkaya, Ilge, Edward A. Lee, and Patricia Derler. “2013 Workshop on Modeling and Simulation of Cyber-Physical Energy Systems (MSCPES).”

[52] Franke, Ulrik, and Joel Brynielsson. “Cyber situational awareness–a systematic review of the literature.” Computers & Security 46 (2014): 18-31.

[53] Boyd, “Organic design for command and control.”, Slide 20

[54] Salmon, Paul M., Guy H. Walker, and Neville A. Stanton. “Pilot error versus sociotechnical systems failure: a distributed situation awareness analysis of Air France 447.” Theoretical Issues in Ergonomics Science 17.1 (2016): 64-79.

[55] Salmon, “Pilot error versus sociotechnical systems failure”.

[56] Beaumont, Peter, and Stephen Wolthusen Cyber-risks in Maritime Container Terminals: Analysis of threats and simulation of impacts, Royal Holloway University of London, ISG MSC Information Security thesis series 2017,

[57] Starr, Michelle. “Students hijack US$80m yacht with GPS spoofing – Roadshow.” Roadshow. CNET, 29 July 2013.

Web. 25 Jan. 2017. <https://www.cnet.com/roadshow/news/students-hijack-us80m-yacht-with-gps-spoofing/>.

[58] Ridwell, Henry. “Cargo Vessels Evade Detection, Raising Fears of Huge Trafficking Operations.” VOA. Voice of America, 31 Mar. 2017. Web. 18 Sept. 2017. <https://www.voanews.com/a/cargo-vessels-evade-detection-trafficking/3789296.html>.

[59] Akkaya, “2013 Workshop on Modeling and Simulation of Cyber-Physical Energy Systems (MSCPES).”.

[60] Kahneman, Daniel. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011.

Vishwanath, Arun, Tejaswini Herath, Rui Chen, Jinggou Wang, and Raghav Rao. “Why Do People Get Phished? Testing Individual Differences in Phishing Vulnerability Within an Integrated, Information Processing Model.” Decision Support Systems 51.3 (2011): 576-86.

[61] “Protect Your Accounts from Impostor Fraud.” Treasury Insights. Wells Fargo Bank, n.d. Web. 15 Sept. 2017. <https://digital.wf.com/treasuryinsights/portfolio-items/tm3137/>.

[62] Lipovsky, Robert, and Anton Cherepanov. “BlackEnergy trojan strikes again: Attacks Ukrainian electric power industry.” WeLiveSecurity. ESET, 4 Jan. 2016. Web. 26 Jan. 2017.

<http://www.welivesecurity.com/2016/01/04/blackenergy-trojan-strikes-again-attacks-ukrainian-electric-power-industry/>.

[63] “Stuxnet.” Wikipedia. N.p.: Wikimedia Foundation, 22 Jan. 2017. Web. 23 Jan. 2017.

<https://en.wikipedia.org/wiki/Stuxnet>.

[64] Kessler, Gary C. “Anti-forensics and the digital investigator.” Australian Digital Forensics Conference. 2007.

Threat Connect Research Team. “Guccifer 2.0: The Man, the Myth, the Legend?.” Threat Research. ThreatConnect, 20 July 2016. Web. 18 Sept. 2017. <https://www.threatconnect.com/blog/reassesing-guccifer-2-0-recent-claims/>.

[65] Elgin, Benjamin, Dune Lawrence, and Michael Riley. “Neiman Marcus Hackers Set Off 60,000 Alerts While Bagging Credit Card Data.” Bloomberg. Bloomberg L.P., 24 Feb. 2014. Web. 18 Sept. 2017. <https://www.bloomberg.com/news/articles/2014-02-21/neiman-marcus-hackers-set-off-60-000-alerts-while-bagging-credit-card-data>.

[66] Kovacs, Eduard. “Cybercriminals Trick Qihoo 360 into Whitelisting Malware.” Security Week. Wired Business Media, 1 Apr. 2016. Web. 1 Sept. 2017. <http://www.securityweek.com/cybercriminals-trick-qihoo-360-whitelisting-malware>.

[67] Joint Publication (JP) 3-13.4, Military Deception. Pages A-1 – A-2.

[68] “NSA Methodology for Adversary Obstruction.” Information Assurance Directorate. NSA/IAD, 15 Sept. 2015. Web. 26 Jan. 2017. <https://www.iad.gov/iad/customcf/openAttachment.cfm?FilePath=/iad/library/reports/assets/public/upload/NSA-Methodology-for-Adversary-Obstruction.pdf&WpKes=aF6woL7fQp3dJizXCkcbwTeLkU9HubDMyr393t>.

[69] NSA, “NSA Methodology for Adversary Obstruction.”, Page 108.

[70] NSA, “NSA Methodology for Adversary Obstruction.”, Page 108.

[71] Sontag, “Blind man’s bluff”. Page 135.

[72] Joint Publication 3-13.3, Operations Security. Page III-6.

[73] Li, Dongxu, and Jose B. Cruz. “Information, decision-making and deception in games.” Decision Support Systems 47.4 (2009): 518-527.

[74] 【訳者註】バウンスメール (bounce message) とは、電子メールの仕組みにおいて、送信したメールメッセージが何等かの理由で目的の送信先に正常に配信されなかった場合に、メールサーバからその旨を送信元に通知されるメールメッセージのこと。エラーメールやリターンメールとも称される。（参考：https://ja.wikipedia.org/wiki/バウンスメール）

[75] RFC 5321, Section 6.2.

[76] Schneier, Bruce. “Credential Stealing as an Attack Vector.” Xconomy. Xconomy, Inc., 20 Apr. 2016. Web. 10 Oct. 2017. <http://www.xconomy.com/boston/2016/04/20/credential-stealing-as-attack-vector/#>.

[77] McMillan, Robert. “The Man Who Wrote Those Password Rules Has a New Tip: N3v$r M1^d!.” The Wall Street Journal. Dow Jones & Company, Inc., 7 Aug. 2017. Web. 18 Sept. 2017. <https://www.wsj.com/articles/the-man-who-wrote-those-password-rules-has-a-new-tip-n3v-r-m1-d-1502124118>.

Sheridan, Kelly. “Credential-Stuffing Threat Intensifies Amid Password Reuse.” DARKReading. InformationWeek, 23 May 2017. Web. 18 Sept. 2017. <https://www.darkreading.com/vulnerabilities—threats/credential-stuffing-threat-intensifies-amid-password-reuse/d/d-id/1328945>.

Nicholas, Malaika. “How Hackers Steal Your Reused Passwords–Credential Stuffing.” Dashlane Blog. Dashlane Inc., 2 May 2017. Web. 18 Sept. 2017. <https://blog.dashlane.com/hackers-steal-your-reused-passwords-using-credential-stuffing/>.

Pauli, Darren. “Password Reuse Bot Steals Creds from Weak Sites, Logs in to Banks.” The Register. Situation Publishing, 24 May 2016. Web. 18 Sept. 2017. http://www.theregister.co.uk/2016/05/24/password_reuse_bot_steals_creds_from_crap_sites_logs_in_to_banks/.

[78] Zager, John, and Robert Zager. “Improving Cybersecurity Through Human Systems Integration.” Small Wars Journal. Small Wars Foundation, 22 Aug. 2016. Web. 18 Sept. 2017. <http://smallwarsjournal.com/jrnl/art/improving-cybersecurity-through-human-systems-integration>.

[79] Grassi, Paul A., James L. Fenton, Elaine M. Newton, and Andrew R. Regenscheid. NIST Special Publication 800-63B, Digital Identity Guidelines: Authentication and Lifecycle Management. Gaithersburg, MD: National Institute of Standards and Technology, 2017. NIST. NIST, n.d. Web. 18 Mar. 2017. <https://doi.org/10.6028/NIST.SP.800-63b>.

[80] Brandom, Russell. “This Is Why You Shouldn’t Use Texts for Two-factor Authentication.” The Verge. Vox Media, Inc., 18 Sept. 2017. Web. 18 Sept. 2017. <https://www.theverge.com/2017/9/18/16328172/sms-two-factor-authentication-hack-password-bitcoin>.

[81] fido alliance, <https://fidoalliance.org/>.

[82] Theofanos, Mary. Poor Usability: The Inherent Insider Threat. Gaithersburg, MD: National Institute of Standards and Technology, 2008. Computer Security Resource Center. NIST, 21 Mar. 2008. Web. 22 Sept. 2017. <https://csrc.nist.gov/CSRC/media/Presentations/Poor-Usability-The-Inherent-Insider-Threat/images-media/Usability_and_Insider_threat.pdf>.

[83] Thomson, Iain. “Deloitte Is a Sitting Duck: Key Systems with RDP Open, VPN and Proxy ‘login Details Leaked’.” The Register. Situation Publishing, 26 Sept. 2017. Web. 27 Sept. 2017. <https://www.theregister.co.uk/2017/09/26/deloitte_leak_github_and_google/>.

[84] Theofanos, “Poor Usability”.Page 13.