Как да измерим риска с по-добър ОКР.

Станах голям фен на целта и ключовия резултат (OKR) в компании, които ги приемат сериозно. Ще опиша убеден метод, който се вписва в OKR и измерва намаляването (или увеличаването) на избран риск. Това ще информира за решението на екипа да намали или увеличи усилията за инженеринг, за да смекчи този риск от напредване.

Този метод е подобен на това как метеоролог прогнозира времето.

За дълбоки гмуркания в OKR можете да прочетете това, да го гледате или да го прочетете.

OKR са лесен начин да изразите мотивационна цел и да се ангажирате с кратък списък на измерими резултати, които тласкат група към тази цел. Те понякога каскадират от изпълнителния мениджмънт към всички служители. OKR са често срещана практика сред технологичните компании и много екипи за сигурност, с които работя.

Вземете например:

Цел: Подобряване на удостоверяването от лаптопи за разработчици в производство.

Тази цел не е лоша, но много възможности за измерване на риска са пропуснати.

Ще намалим рядък, въздействащ риск с количествено измерим метод.

Тези видове рискове обикновено са трудни за измерване.

Историческите данни (никога не са се случвали) лошо информират нашето бъдеще (може ли да се случи?).

С методите за прогнозиране и оценка можем да измерим колко евентуален бъдещ сценарий може да възникне, дори ако ни липсват исторически данни за този сценарий в миналото. Ние използваме „несигурността“ на групата като прокси за риск и ще я измерим. Ще управляваме когнитивните пристрастия, свързани с прогнозите.

ЦЕЛ: Напишете цел с „рисков сценарий“.

Вашата цел е да намалите риска, изразен в сценарий.

По-долу е споменатата по-горе цел, която е написана за намаляване на риска. Написано е с малко място за подобрение:

Цел: Подобряване на удостоверяването от лаптопи за разработчици в производство.

Това не е непременно лоша цел, въпреки че може да се подобри, като се пренапише като сценарий.

Цел: Намаляване на риска от „Противник е получил достъп до производство от лаптоп за разработчици през Q3.“

Те изглеждат подобни, нали?

  • Основната разлика е, че сценарият е вероятностен. Вероятни фрази могат да се прогнозират срещу. Прогнозата е добре проучена, обикновено се разбира (например: времето), количествена и измерва вашата несигурност.

Несигурността е онова нещо в мозъка ви, което ви кара да свиете рамене на набор от опции или да се чувствате силно за някоя от тях. Както се оказва, несигурността на дадена група може да бъде измерена праволинейно. Ще направим несигурността на експертите прокси за нашата цел на измерване.

  • Незначителната разлика е, че сценарият възнаграждава креативността на инженера.

Например, намалява ли количеството разработчици, които изискват производствени идентификационни данни, подобрява удостоверяването? Не, това достига малко. Но това би намалило риска и основният резултат е по-съвместим с модифицираната цел. Това беше по-добрата цел, така че може би нашите ключови резултати ще бъдат по-добри като резултат.

Целта на „рисковия сценарий“ не предписва решение. Той просто поставя чиста прогноза. Сценарият може да свърши по-добра работа, определяйки риска като бъдещо събитие, което трябва да се избягва.

Добрият прогнозируем сценарий включва обмислен микс от заплаха, вектор, актив или въздействие. Можете да решите творчески за конкретен обхват или риск, като добавите стесняване или разширяване на спецификата. Прогнозата трябва да реши конкретна времева рамка.

КЛЮЧОВИ РЕЗУЛТАТИ: Изберете етапи или показатели и се ангажирайте с прогноза.

Първо, лесните неща. Ключовите резултати трябва да бъдат измерими. В ранните дни на Google Мариса Майер каза:

„Това не е ключов резултат, освен ако няма номер.“

Една проста форма на измерване са двоични постижения: 1 за готово, 0 ако не е направено. Например: „Добавихме бизнес приложението XYZ към нашата платформа за единен вход“. Ако сте го направили, получавате "1"!

Друго е да изберете количествени показатели като „поправете X грешки“ или „намалете X инциденти“ или „наемете N инженери“. Те са необходими, общи и представляват цели на проекта и оперативни показатели. Вероятно сте свикнали с това. Те също могат да постигнат приятни ключови резултати.

Те обаче всъщност не измерват намаляване на риска, свързан с нашия сценарий. По-скоро те са изоставащ показател за извършената работа. Тази работа е създала стойност за намаляване на риска, но всъщност все още не сте измерили намаляване на риска. Просто приемате, че рискът намалява, поради вашите усилия.

Но с колко? Ами ако всъщност се увеличи?

Сравняване на показател за сигурност с измерване на сигурност

Традиционните показатели за сигурност са много полезни за тяхната информативна стойност. Те информират нашата несигурност за риск, но не представляват вероятностния характер на риска и често не изразяват огромната несигурност, която можем да имаме по отношение на конкретен сценарий.

Например, считам, че историческият брой на уязвимите места или честотата на регресиите не изразява пряко риск, но със сигурност помага да се информира несигурността ми дали ще се появи свързан сценарий или не в резултат на тези данни.

Това е така, защото стойността, която присвояваме на отделен показател, е в постоянен поток.

Всеки конкретен показател може да е моята най-информативна точка от данни ... докато нещо не го замести. Моята преценка би омаловажавала предишните данни веднага след като чуя нова информация, която крещи „о, глупости“ в лицето на старите данни или някакъв крехък модел, който се опитахме да създадем по този въпрос.

Сега да преминем към „твърдата част“. Нека направим това ОКР.

Това всъщност е много лесно, когато се закачите.

Пример OKR, който е проектиран да се измерва:

Както споменахме, ние ще изградим този OKR, така че да е съвместим за измерване на риска с техники за прогнозиране и оценка.

Ето пример OKR за малък екип за сигурност AWS:

Обективен:

Намалете вероятността „Производственият идентификационен номер AWS беше изложен на обществеността през Q3“.

Основни резултати:

  1. Комисиите, споменаващи AWS_SECRET_KEY, се появяват в слабата #security.
  2. Тръбопроводът за обратно резервиране ще бъде преместен в роля на AWS.
  3. Пълна тръба за сигнализиране на маймуни за сигурност към нашето откриване при повикване.
  4. Попълнете прогноза преди и след и лов на CloudTrail.

Първите ключови резултати (1–3) не изискват обсъждане. Това са само течаща работа на мелницата и можете да изберете каквото искате. Последният ключов резултат (# 4) е това, върху което ще се съсредоточим върху напред.

За да измерим този сценарий на риска, ще използваме панел за прогнози. Това ще укрепи способността ни да измерваме вероятния сценарий на основния риск на ОКР.

1. Преди да започнете работа: „Основна” прогноза.

Да приемем, че това е ОКР за третото тримесечие на годината. В началото на юни няколко разнообразни и обучени лица, запознати с ОКР, ще прогнозират вероятността сценарият да се осъществи с вероятностно изражение (Процентна вяра).

Нашите участници са маймуна (), еднорог (), крава () и пингвин (). Накратко ги калибрираме, за да мислят във вероятностен план (онлайн обучение). Те имат достъп до каквито и да са налични показатели, модели, следсмъртни проверки, одит на консултанти или инфраструктурни диаграми. Всичко е полезно и информира прогнозата им.

Горната прогноза има 78% сигурност, че ловът на CloudTrail няма да разкрие инцидент. Има 14% сигурност, че инцидентът може да бъде открит, и 6% сигурност, че ще бъдем в големи проблеми.

Сега, помислете, че отговор от 33% от панела за всяка категория би посочил пълна несигурност, сякаш нямат буквално информация или мнение. Сценарият можеше да бъде написан например на друг език. Тук не е така, участниците не вярват, че всяка опция е равна на другата. Те смятат, че е много вероятно да не се случи инцидент, като се има предвид познанията им за околната среда и възможните заплахи.

По този начин, този панел изразява мнение с вероятност, че най-вероятно няма да има инцидент в този период. Но инцидентът, който се открива, не е напълно безспорен. Това се случва в много други компании. Те трябва да вярват, че има някаква малка вероятност това да се случи.

Всъщност панелистът (Маймуна ) изглежда по-сигурен, че ще се намери нещо.

Добре е, че Monkey има различно мнение от групата. Ще обсъдим това по-късно - няма нужда панелът да се съгласи!

2. Сега свършете работата си, напреднете както обикновено.

Средата на тримесечието се фокусира върху постигането на целите ви, както обикновено. Просто вършете работа.

Както са посочени нашите цели, екипът създава предупреждение, рефакторира приложение за използване на AWS роли и разгръща „Маймуна за сигурност“. Дано се справят добре и да ги завършат всички!

Този метод няма влияние върху ежедневната работа, която вършите. Той просто насочва работата към измерим резултат. Атакувайте риска, но обикновено бихте го направили.

3. EOQ. Напреднахме! Сега сравняваме с основната линия.

Ние се ангажирахме да правим две неща в края на тримесечието.

Първо, ние полагаме усилия за ловене на регистрационните файлове на CloudTrail и проверяваме дали можем да разтърсим P0 инциденти от нашите разследващи усилия.

Второ, панелът отново измерва, с изключение на нашата несигурност за следващото тримесечие (Q4).

Нашият панел е въоръжен с нови знания. Напредъкът през тази четвърт и резултатът от ловът на CloudTrail значително ще промени нашите мнения по този сценарий.

Да допуснем, че екипът е успял в останалите си ключови резултати и оценката на нарушението се върна чиста.

Прогнозираме отново. Ето резултатите.

Сега можем да наблюдаваме колко сигурност панелът е спечелил или загубил въз основа на техните усилия. В този пример нашите убеждения се движат благоприятно още повече към сигурност (далеч от 33%). Работата ни повлия ли на сигурността на нашия панел? Този панел вярва в това.

В този случай подобрихме нашата сигурност около този риск. Имаме количествено подобрение от 5% в правилната посока.

4. Вземете ръководно решение, ръководено от данни.

Сега сте въоръжени за ефективно вземане на решения.

Изглежда това прогнозира нарушение в едно от всеки десет тримесечия.

  • Това достатъчно ли е?
  • Искаме ли да подобрим това допълнително или обслужваме други рискове?
  • Какъв е приемливият ни праг?
  • Колко усилия и ресурс са ни необходими, за да го надминем?

Защо този подход?

Хората са изградени да обработват различни източници на информация и бързо усвояват нова информация за вземане на решения.

През цялото тримесечие несъмнено ще получим информация, която променя нивото ни на сигурност относно рисковете, които сме избрали.

Тази информация идва от много места: самата работа, тенденции в индустрията, нарушения, може би доклади за уязвимост в други области на инфраструктурата, собствени изследвания за експлоатация, туит за разкриване на бомби и т.н.

Доверието ни в тези източници на информация обаче е динамично. Не можем да зависим от отделни статични показатели, които да представляват нашия риск, защото стойността им при вземане на решения се променя бързо. Бихме могли да използваме собствената си сигурност като прокси за тези рискове, за които се знае, че са измерими, силно проучени, с увеличаващи се насоки за подобряване на прогнозните методи като инструмент за измерване.

Всъщност извличането на експерти е важен фактор за вероятните оценки на риска в други отрасли, като ядрената, аерокосмическата и околната среда.

Не е ново, а просто ново за нас.

Изолиращи срещу рисковете от пристрастия.

Прогнозата е опасна, когато към нея не се подхожда строго. Когнитивните пристрастия са добре проучени и тези констатации трябва да се повтарят често. Има различни смекчаващи рискове от лошо прогнозиране.

Изследванията защитават, че прогнозирането може да бъде подобрено, когато:

  1. Панелистите са обучени да мислят вероятностно и за пристрастия.
  2. Панелистите се обединяват, за да комбинират и изглаждат въздействието на пристрастията. Разнообразието в перспектива е ключово!
  3. Панелистите многократно се сблъскват с резултата от своите прогнози (калибриране). (Онлайн обучение, Открито добро решение, Калибриране на увереността)
  4. Участниците в групата се насърчават да разложат сценарий на по-подробни части и им се предостави прозрачен достъп до наличните данни, за да ги разберат.
  5. Твърдо разбиране на истинския „Черен лебед“. Те заблуждават прогнозите.
  6. Не се опитвайте да прогнозирате и смекчите всеки риск, бъдете готови за неизбежен провал.
  7. Съкратете промоцията и заплатата от резултатите от OKR и прогнозите, за да избегнете появата на пясъци, което вече е проблем при управлението на работата на служителите.

Просто питането на участниците в прогнозата за „мислете бързо!“ Със сигурност ще ви даде лоши резултати. Един строг подход има по-високи разходи за измерване (срещи), но е далеч по-лесен от методите с грозни таблици за матрица на риска.

Но ... винаги "допускам нарушение", така че това не работи!

Напълно валидно е да приемете, че сте нарушили. Бих дал на всяка организация много голяма вероятност (99%), че някъде, до каквато и да е тежест, има някакъв вид състезателна дейност в система, която притежават. Това означава за мен „приемете нарушение“.

Въпреки това е нездравословно да вярваме, че всеки компонент на всяка система е компрометиран от всеки противник във всеки даден момент. Рационалните хора, дори стропачите на FUD, не стигат до този момент.

Дълбоко песимистичният ум, който е рационален, все още оставя място за съмнение, просто повече или по-малко от другите. Ако имате вяра, че усилията на хората ще подобрят рисковете, тогава можете да измерите това намаляване на несигурността във вероятностен план. Песимистът със сигурност не вярва, че работата им влошава нещата например.

Накратко, дори песимистичната основна линия може да бъде подобрена, а участието на няколко песимисти в панела всъщност е много, много добро нещо.

Бъдещето на оценка и прогнозиране на риска

В течение на много четвърти можем още повече да укрепим вероятностния метод. Можем да въведем Red Teams, Brier Scores и индустриална извадка, която да ръководи нашите прогнози. Можем да се споразумеем за стойността на данните и да гледаме как тя се колебае. Можем да "Chatham House" или да анонимни прогнози, за да споделим с екипи за партньорска сигурност.

Можем да подадем прогнозни резултати в симулации в Монте Карло, което ни позволява да извлечем уроци и опит от НАСА, ядрено лицензиране и други области, които са по-далеч от киберсигурността в разбирането на екстремните рискове.

Има много възможности за организациите да възприемат практика за прогнозиране на риска. Не е необходима огромна енергия, за да даде добри резултати. Започването на малки, като например на базата на риска OKR, може демонстративно да намали риска за вашата организация и да постави вашата организация на път към количествен риск.

заключение

OKR са често срещан начин за ръководство на инженерния екип. Създаването на ОКР, съвместими с техники за оценка и прогнозиране, може да ни позволи да измерим по-добре напредъка в намаляването на риска.

Тези методи не пречат на „как” даден екип върши работата си, той просто измерва „колко” може да се промени в резултат. Ако в момента нямате метод за измерване на риска, тогава всеки количествен метод би трябвало да е по-добър от този, който имате. Тази стратегия има минимално въздействие върху инженерните практики, като същевременно привежда екипа към измерима степен на намаляване на риска.

Допълнителна информация

Прогнозиране на риска: Представяне на високо ниво на този метод.

Прост анализ на риска: дълбоко гмуркане при прогнозиране на риска.

Убиване на малко пилешко: Изследване на ограниченията и възможностите за прогнозиране на риска.

Разлагане на риск за сигурност в сценарии: Разбиване на рисковете в йерархия на сценариите, от широки към по-подробни сценарии.

Мислене бързо и бавно: Нобелова награда изследвания на човешки грешки в познанието, най-вече под формата на пристрастия.

Супер прогнозиране: Изследване на това как грешките на познанието могат да бъдат смекчени и въоръжени в ефективни екипи за прогнозиране.

Как да се измери каквото и да е в риск от киберсигурност: Чудесен източник в защита на прогнозирането като метод за измерване. Силен дебат, който насърчава ролята на измерването при вземане на решения.

Ryan McGeehan пише за сигурността на Medium.