Вчера сайтът на ЦИК беше паднал за известно време. Информационно обслужване, фирмата, обслужваща изборния процес, излезе с разяснение на причината – масирана DDoS атака срещу сървърите ѝ (както и срещу сайтовете на МВР и ГРАО). Половин милиард заявки за 10 часа, идващи от компютри от цял свят, като в пикови моменти са стигали до милиони заявки в секунда. Заявките са били толкова много, че услугата CloudFlare, чиято цел е да спира такива атаки, също в началото не е успяла да филтрира достатъчно трафик. И предишни години по избори е имало атаки срещу сайта на ЦИК, но в доста по-малък мащаб и не са били усещани.
Тук трябва да отбележа, че освен, че бях в течение със случващото се, нямам повече информация от описаната в публикацията на ИО. И разсъждавам като страничен наблюдател.
Защо му е на някой да атакува сайта на ЦИК, и то толкова масирано и добре координирано? Докато DDoS атаки срещу сайтове на корпорации имат директен ефект върху приходите им, и те губят пари за всяка минута, в която сайтът им е паднал, то с информационния сайт на ЦИК случаят не е такъв. Всъщност на сайта на ЦИК има две важни неща – телефони за сигнализиране на нередност (които могат да бъдат намерени в кеша на гугъл, както и в кеша на CloudFlare, както видяхме) и новини. Очевидно липсата на сайт на ЦИК не смущава изборния процес.
Само че когато по време на референдум за електронно гласуване сайтът на ЦИК падне, това генерира страх у хората. Не без помощтта на някои медии, които рано-рано излязоха с тези като „Сайтът на ЦИК падна, представете си какво ще е, ако има електронно гласуване“.
Разбира се, погледнато рационално, нещата нямат нищо общо. Ако сега някой DDoS-не и събори този блог, това ще значи ли нещо за електронното гласуване? Не. Работата е там, че хардуерът и процедурите, с които се подготвяш да поддържаш информационен сайт са много по-различни от тези, с които би се поддържало едно електронно гласуване. DDoS атаките са нещо известно, и се вземат предвид при изготвяне на т.нар. threat model. Но дали за информационен сайт, било то и на ЦИК, е оправдано да се дадат десетки хиляди за хардуер (вкл. рутери, firewall-и, netflow analyzer-и, intrusion prevention, DDoS mitigation и т.н.)? Не разбира се. Защото дори някой злонамерен да изсипе милиони заявки, най-лошото, което може да стане е…нищо.
Съвсем по друг начин стоят нещата с евентуалното електронно гласуване. Там има много по-високи рискове и съответно са нужни много повече хардуер, софтуер, disaster recovery процедури и какво ли още не. Разбира се се появиха и съмнения за компетентността на държавата и на ИО да се справи с всичко това. И те са валидни притеснения, и макар че ИО имат компетенцията, случаят от вчера няма общо с това. Както моите познания в сферата нямат общо със сигурността на блога ми. Просто защото няма риск за нищо, ако блогът ми падне.
Само че тези технически детайли нямат значение. Няма значение и фактът, че при електронно гласуване ще може да се гласува 1 седмица преди самите избори, а ако не успееш, ще можеш да гласуваш и на хартия след това. Няма да има значение и кой е поръчал атаката. Защото политици и медии вече започват да използват падането на сайта вчера като аргумент против електронното гласуване. Най-вероятно ще го направят и когато се стигне до дебат по темата в парламента. И когато в парламента някой излезе и каже „сайтът на ЦИК падна, не можем да подложим гласа на българските граждани на такъв риск“, това ще звучи някак оправдано, макар да няма нищо общо с реалността.
Трудно е да се изчисли колко е струвала атаката вчера (няма публичен ценоразпис на „хакерски“ услуги) но това да генерираш толкова много заявки (чрез botnet или други методи) в продължение на 10 часа е в порядъка на десетки хиляди долари. А когато някой плаща такива пари, то той иска нещо в замяна. Очевидно това нещо не е хаос в изборите, защото падането на сайта не доведе до такъв (за разлика от организацията при предаването на протоколите).
Може би това, което е било купено, е страхът ни. Страхът от електронното гласуване. Тезата, че електронното гласуване може много лесно да бъде „съборено“, бавно, но сигурно ще се прокрадва в медийни публикации и в платени коментари под статии, докато накрая стане „известен на всички факт“.
Това са само хипотези, разбира се. Може да няма конспирация, може да няма „тъмни сили“, които са против електронното гласуване. А кой е поръчал атаката едва ли ще разберем. Но е добре да имаме едно на ум, когато някой се опитва да плати едни пари и срещу тях да получи страха ни.
Нещо не ми се връзва:
– Ясно е, че за сайта ще има много посещения и би трябвало да издържа на голямо натоварване. На тези избори логично беше да има още повече посещения, защото бяха с едни от най-сложното гласуване до момента.
– За да е ефективна срещу такъв сайт DDoS атаката трябва да е голяма по размер
– За голяма DDoS атака трябва или голям бот-нет или някакъв „усилвател“
– Големите бот-нет-ове не са много, вероятно са скъпи и с помощта на международно сътрудничество има вероятност да бъдат разкрити и ликвидирани.
– Ако има „усилвател“, то ефективно може да се разбере поне какъв е типа на „усилвателя“.
С други думи, този, който прави атаката плаща скъпо, за нещо, което има неясна ефективност и рискува да бъде хванат?
Докато ИО не дадат техническа информация за атаките (например с топ 100 000 на ИП-тата и друга информация от логовоете) , както и какви стъпки са предприели за разследване на инцидента, за мен случаят си остава много, много неясен.
„DDoS атаката продължава и към момента, но в следствие на професионалните усилия на екипа“ – добре де, настройката на cloudflare ли е професионалното усилие? платено ли е и колко на cloudflare или е използвана свободната услуга? … много въпроси… даже частни компании пускат един post mortem, в който се казва какво точно са направили за да решат даден проблем… и точно от такава липса на професионализъм се притеснявам, не разбирам за какъв страх пишеш….
@MilenG да, DDoS атаката е голяма по размер. Още информация от логовете се надявам да има скоро
@Георги Тодоров – CloudFlare препраща към сървърите на ИО. В началото До колкото разбрах, CloudFlare пропуска твърде много „лош“ трафик (де-факто не прави DDoS mitigation).
Много добра публикация, която съвпада с моите разсъждения по темата. Само две неща ще добавя:
1. Цените за DDoS съвсем не са толкова високи, колкото предполага автора. 😉
2. С помощта на CloudFlare лесно може да се филтрира трафик от държави различни от България и се съмнявам да не са се досетили за това. Със сигурност обаче са дошли и много заявки от България, заради множество хора опитващи се да пуснат оплаквания срещу опити да се саботира Референдума.
CloudFlare изобщо не е достатъчно решение, особено ако ползват безплатната версия.
При всички положения обаче защитата на електронното гласуване няма нищо общо със защитата на един сайт.
В България има специалисти, които могат (ако им се даде възможност), да предложат достатъчно сигурно решение за безопасно гласуване.
https://www.cloudflare.com/plans
В Business плана, е включен advanced DDoS security protection, както и SLA в който се твърди че е осигурен 24х7 online availability no matter the duration or the size of the attack.
Ta 200$ на месец определено не изглеждат като толкова голяма сума за да се опазиш добрия си облик (дори и нищо друго да не се случи). Ако пък са дадени – тогава се връщаме на SLA-a и действията ни към изпълнителя…
„, което беше посрещнато от екипи на „Информационно обслужване“ АД, съвместно с привлечени специалисти и водещи ИТ експерти от службите за сигурност.“
Това ме навежда на мисълта че сме били на free план обаче (или пък че не е потърсена помощ от отговорните)
Иначе съм съгласен с останалите заключения.
Божо, сигурен ли ти това което пишеш за cloudflare? защото и в момента съдържанието (actual content) се раздава от cdn-то на cloudflare, а не препраща към сървърите на цик, както предполагаш… моля информирай се и ти по-подробно, защото това е проблема, някво решение е направено, но никой не ти казва какво и как… даже на теб 😉
Частта с десетките хиляди е грешна на няколко десетки хиляди нива.
Можеш „да си наемеш“ ботнет от 10 000(които правят колко заявки в минута?) хоста за ден за между 100-500$
Ще се опитам да внеса малко повече яснота:
1) Атаката беше брутална за нашите скромни мащаби, но също така и разнообразна (т.е. микс от атаки). Достатъчно Gbps, дори след mitigation-а на CloudFlare – колко, не мога да споделя на този етап. За да хванеш Control Center-а, трябва да докопаш компютри или сървъри, които участват в атаката, да снифнеш трафика от и към тях, за да засечеш, как се командват и от къде. DDoS-ите не са толкова скъпо нещо в наши дни…
2) Post mortem ще се пише, когато приключат атаките и остане време да се анализират логове в детайли. Нищо не е погинало, но така е думата 🙂 Иначе и в момента текат действия от страна на ДАНС и партньорските служби, но от тях не чакайте изявления. Да не говорим, че не е законно да се публикува информация от разследване.
3) Има предостатъчно логове от началото до момента, гигабайти…Ще се анализират и ще си извадим поуки, поне що се отнася до времето за реакция.
4) За защита на сайта на ЦИК се използва платен пакет на CloudFlare, но какъвто и пакет да използваш, има атаки, които не могат да бъдат спрени на 100% (може да зачетете за Layer 7 / Slow Read атаките) – в нашия случай имаше микс от атаки, с доста динамична промяна на обема и държавите, от които идваше трафика.
5) Блокирането на трафик от държави извън България не помага в 99% от случаите, освен ако не си ОК да блокираш и легитимен трафик (например СИК-овете извън България).
6) През деня в неделя бяха инсталирани по-сериозни файъруоли, който да могат да поемат по-сериозно натоварване (около 100х), така че 10-те %, които минаваха все пак през CloudFlare да не са проблем.
5) Ще спомена също, че в стандартен режим на защита, CloudFlare очевидно не прави TCP Interception и практически не защитава от натрупване на half-duplex сесии – това беше изненада, защото SYN атаките са стара бира, но явно имаше нюанс в подхода. Нещата се нормализираха, след като услугата беше превключена в Paranoid Mode (I’m under attack) – решение, което има своите недостатъци – например интрузив екрана, който шашка потребителите и ги предупреждава, че сайтът е под атака. В крайна сметка, по-добре така, от колкото без сайт.
6) Специалистите, които бяха повикани, помагаха за live-migration-а на firewall-ите (които бяха взети „назаем“ от новата доставка за пилотния държавен облак), анализа на логовете и проверките за следи от проникване.
@inedkov [citation needed] 🙂 аз за тези натоварвания други цени намирам. За пиковите моменти обикновен DDoS „пакет“ не би стигнал, а тук има и умно управление на атаката.
Друго – не всичко се сервира от CDN-a, т.е. има трафик от CF към съвърите.
Васко е дал повече детайли, защото наистина в DDoS mitigation-а съм доста по-бос от него
@Bozho – пробвай в TOR или някъде другаде в ундърграунд маркетите 😉
Разбира се, че няма да откриеш адекватна информация или ‘ценова листа’ в публичното пространство 🙂
Както казах цената варира м/у 100-500 в зависимост от държавата, т.е. можеш да си купиш 2,3,4x10K хоста(пакета) за смешна сума пари.
Да не говорим, че наемането и използването на един ботнет не изисква почти никакви знания.
‘Умно управление на атаката’!?
Факт – някой си е платил. Дали е имал или не цел, няма как да знаем.
Като цяло, цялата дандания е супер преувеличена – безпрецедентна атака, 500млн. заявки(в рамките на часове), масирана хакерска атака(WTF).
Ако си технически неграмотен може и да си кажеш – „брей, работата верно е сериозна“
Цифрите са смешни, ‘атаката’ като цяло може да бъде организирана и от някой 14 годишен хлапак.
Няма лошо да си чешем езиците, разбира се.
@inedkov виж коментара на Васко, след това и post mortema, като се появи. Вече имам повече инфо и 14 годишен няма да може 😉 фактът, че с включен cloudflare е паднало го прави не чак толкова тривиално. Съгласен съм, че звучи по-гръмко, отколкото е, но далеч не е ‘без нищо’
@Bozho, видях коментара му, но там не пише нещо, от което може да се добие някаква представа, освен че x на брой хора са опитвали да овладеят ситуацията!?
Единственото, което успях да разбера е, че CloudFlare не е бил адекватно конфигуриран.
CloudFlare няма ограничения в броя пакети за секунда, които може да поеме, стига да сте си закупили и конфигурирали правилно, правилният пакет.
Също така не съм убеден в частта „Достатъчно Gbps“.
При 500млн заявки в рамките на 10 часа за какви GBps става дума? Освен ако не говорим за информацията, за старта на атаката с пиковите 65млн заявки, които ориентировъчно в най-добрият случай са около 70GBps(което стига да е вярно отразено, може да считаме за т.нар. атака)((които са в рамките на една нормална атака за CloudFlare)) и което въпреки всичко е нищо в сравнение с това, което може да поеме CloudFlare. И разбира се, тук отново говорим хипотетично.
Все пак ще се радвам да видя официална, детайлна и адекватна информация, в която се казва нещо повече.
Обърнете внимание на частта за България (статията е на руски език):
Грузить по полной программе Зачем госкорпорации понадобилась система для организации DDoS-атак.
После этого сотрудник болгарской компании, как утверждает Вяря, заявил: «Сейчас я вам представлю продукт для организации DDoS-атак». Названия у программного обеспечения не было. Сотрудник добавил, что «продукт» умеет организовывать DDoS-атаки на сетевом уровне. Такие атаки «забивают» ресурсы сервера паразитными пакетами, из-за чего система перестает принимать полезные пакеты трафика.
Система представляла собой «коробку» с ПО для DDoS-атак, установленную на одном из трафикообменников. Для нее была выделена специальная полоса с максимальной мощностью в 10 Гбит/секунду. Специалисты Packets Technologies добавили: можно легко увеличить трафик, установив еще одну «коробку» с ПО (в 2010 году атака именно такой силы, 10 Гбит/секунду, была совершена на серверы Wikileaks; в 2013-м мощность крупнейшей DDoS-атаки в истории интернета — голландский хостер Cyberbunker против компании Spamhaus — достигала 300 Гбит/секунду: по формулировке The New York Times, она «замедлила интернет»).
Сотрудники болгарской компании рассказали Вяре, что их система позволяет совершать «коктейльные», то есть смешанные по видам атаки — такие намного сложнее отражать.
Закончив с теоретической частью, сотрудник компании запустил VPN-соединение и Tor-браузер, обеспечив себе анонимность (начало такой атаки отследить практически невозможно). Набрал в браузере IP-адрес — открылась страница с крайне простым интерфейсом. Наверху размещалась адресная строка, ниже — около десятка названий подвидов DDoS-атак, рядом с каждой — пустая ячейка, которую можно отметить галочкой. Внизу — кнопка для выбора полосы атаки (например, мощность можно уменьшить с 10 Гбит/cекунду до 100 мбит/секунду). «Можно не на всю катушку, если жертве достаточно поменьше», — поясняет Вяря.
Сотрудники компании ввели в строке интерфейса mil.gov.ua — адрес сайта министерства обороны Украины. В соседнем окне открыли страницу сервиса, по которому можно определять работоспособность сайтов. Затем включили программу на полную мощность. В интерфейсе появился текстовой лог, в котором mil.gov.ua преобразовался в IP-адрес. Возник график о том, что атака достигла 10 Гбит/секунду. Сервис работоспособности показал, что сайт недоступен. Его попробовали открыть в браузере, но он не загрузился. Через пару минут атаку остановили; сайт снова стал открываться.
Потом они попробовали атаковать сайт украинского министерства обороны на мощности в 100 Мбит/секунду — он снова перестал работать.
«Давайте проверим на Slon.ru», — якобы сказал Бровко, до этого молчавший. «Слон» атаковали на мощности 10 Гбит/секунду. Он перестал открываться и «лежал» несколько минут (главный редактор «Слона» Максим Кашулинский подтвердил «Медузе», что 5 февраля 2015 года они зафиксировали атаку, которая на две минуты обрушила сайт).
«А что если сайты пользуются защитой — не пробьете?» — спросил Вяря. Ему ответили, что в этом случае придется узнавать реальный адрес сервера (все сервисы защиты пропускают атаку через себя, а реальный адрес сервера маскируют), и у них есть соответствующая методика. Вяря уточнил, сколько стоит система, на что Бровко, по его словам, сказал: около миллиона долларов.
Дали атаката не е била директно към сървъра и да са заобиколили CF?
вече да 🙂
Мога да кажа само едно – ако и на следващите избори се повтори подобно нещо, тогава ИО наистина няма да имат извинение.
Цялата тази история с CF и т.н. ми е толкова смешна, че чак не се трае.
Първо – ние имаме ли ISP-та дето се хвалят с SLA и т.н.? – Имаме.
Второ – ние имаме ли специалисти в тая държава, които да са компетентни? – Май имаме поне няколко.
Трето – колко народ е нужен, за да се изгради добра защита на подобен сайт? – Не чак толкова много.
И за да не съм лаконичен: Можем да спрем подобна атака, без каквато и да е помощ от страна на third party услуги, защото сайтовете на подобни звена се host-ват, къде? – Точно така – в България – в „държавата“ България.
А в тази държава се правят опити да се цензурират нелегални сайтове за хазарт (макар и некадърно).
Следователно трябва да можем и да цензурираме още няколко сайта от външната страна на нашите ISP-та (дори и да е некадърно направено – а.к.а да доведе до проблеми с достъпа до сайта от чужбина).
Всеки които желае да има достъп от чужбина по време на изборите, ще трябва да мине през VPN/proxy, намиращото се в автономните сегменти на нашите „велики“ доставчици на Интернет услуги 🙂
Т.е. топката може да се прехвърли в ръцете на нашите мили ISP-та, които в замяна ще искат едни мили парички, за да няма после новини „всяващи страх“…
Цялата работа си е „българска“ работа, така че няма какво да се чудим защо, кой и как.
Нито на гражданите им пука, нито на държавата, нито на който и да било друг извън нея (a.k.a CF и другите подобни).
Истината е една – ако ние не си решим проблема, тогава ако ще и всички пари на света да имаме – пак ще сме си същата некадърна държава.
(Посочете ми един държавен IT проект, който да е за пример в ЕС – само един…)
уточнение: един български държавен IT проект