Posts tagged отворени данни

Данни канят

7

В началото на юли кабинетът на вицепремиера Румяна Бъчварова организира(хме) конференция за отворени данни, с името „Данни канят“. (Пиша чак сега, защото сега намерих „вдъхновение“).

Конференцията имаше live streaming, благодарение на което Боян Юруков записа видео, така че може да гледате цялата конференция:

Панелисти бяха политици, хора от НПО-сектора и бизнеса. Първата презентация беше на Антон Герунов (началник на кабинета на г-жа Бъчварова), в която той показа няколко визуализации на база на отворени данни. Там се вижда например „любопитния“ ръст на регистрациите по настоящ адрес преди местни избори.

В този момент ще се опитам да спра да звуча като press release, и само ще припомня, че порталът за отворени данни съществува от есента, след сътрудничество с тогавашния заместник министър на транспорта, доц. Камен Спасов, и Общество.бг. След това порталът се премести на сървър на правителството и се официализира благодарение на кабинета на г-жа Бъчварова.

Във видеото ще видите, че до края на годината ще бъдат отворени поне 120 масива от данни, а надявам се и повече. Но количественото изражение не е най-важното. Да, броят масиви ще излезе по медиите и след 2 дни всички ще са забравили за този „напън за прозрачност“ (както може би им изглежда на някои). Важното е, че се създава култура в администрацията и в гражданите към отваряне и анализиране на данни (колкото и това да звучи като клише).

На конференцията говорихме и за проблемите. А те не са малко. Актуалността на данните, пълнотата им, форматите, в които се публикуват, механизмите за тяхното коригиране, механизмите за изискване на още данни. Защото ако влезете на портала за отворени данни, ще видите, че някои масиви имат проблеми. Нерядко се случва даден регистър в държавата да се пази в Excel. Съответно, за да се запише като csv (машинно-четим), служителите ползват „Save as .csv“. Което и аз наивно си мислех, че работи. Само че то не работи, защото ги записва semicolon-separated и не в UTF-8. И това е един проблем, който в момента мисля как да реша трайно и в мащаб. Всъщност, това е част от работата като съветник – техническа помощ при отваряне на данните. Пиша 50-редови SQL-заявки, скриптове за конвертиране на „грешни“ .csv файлове в „правилни“ такива.

Ръчното отваряне на данни е един начин, но тази практика може лесно да бъде прекъсната от някой директор на дирекция или бъдещ министър или просто да „отмре“ с времето. Затова по новата оперативна програма има условия за допустимост на проекти, според които ако няма автоматизиран интерфейс за отворени данни, няма и пари.

Но дори с такива интерфейси пак няма всичко да е розово. Явор Алексиев от ИПИ цитира нещо много важно: „Една от огромните ми лични фрустрации като икономист в България е ужасяващият нагон на хората да се втурват към грандиозни анализи, космически всеобхватни изводи и тотално самоубедени обяснения при положение, че напълно очевидно самите им факти са неверни, неточни, непълни.“ Събирането на пълните и правилни данни и тяхното коригиране, чрез обратна връзка от потребителите, ще е предизвикателство.

В момента се броят на пръсти работещите с данни от държавата, дори медиите не го правят (с малки изключения). И съответно още по-голямото неизвестно, поне за мен, е дали хората ще ги използват и дали ще добавят стойност. Би трябвало, но може и да се окаже, че много хора дават акъл как да се ползват данните, за да се направи някое приложение (дори с бизнес-модел), но никой не прави такива. Аз например не съм направил нищо с отворените данни, а много добре знам какви масиви има. Та съм лош пример в това отношение.

Един интересен аспект засегна Стийв Кайл – според него отворените данни главно са средство за социални иновации и имат шанс да намалят неравенството. Защото, наред с всичко друго, неравенството съществува и заради неравномерния достъп до информация.

Какво ще стане от тук нататък зависи от всички – от политическото желание да се продължава отварянето на данни, от администрациите, които ги отварят, и от гражданите, бизнеса, и отново политиците и администрацията, които ги ползват. Общо взето, нещо се движи в добра посока, но има много фактори, преди то да стане наистина полезно. Ако сме очаквали отворените данни да ни решат проблемите бързо и лесно – не, това е поредното нещо, което не е панацея, и за което трябва усилие от всички. А на „това ли е най-важното“, отговорът е „и това е важно“.

А, и още нещо. „Прозрачност“ не значи някой да ни звънне по телефона и да ни каже „да знаеш, на изборите ще има много гласоподаватели, които са си сменили настоящия адрес, само за да изберат даден кмет в малко населено място“. Прозрачността е данните да ги има, а ние да се разровим в тях и да открием нередностите, след което да ги сигнализираме. Иначе държавата може да публикува всичката си информация, по достъпен начин, в реално време, а ние да си седим на дивана и да цъкаме с език „ех, всичко на тъмно правят“. А ако данните ги няма и държавата наистина „крие“ нещо, то ние трябва ги поискаме (защото държавата не е хомогенна – една дирекция може и да си крие данните, но в този момент министърът да не иска да крие тези данни). Така че – данните ни канят да сме любопитни и изискващи.

Share Button

Софтуерът на държавата – с отворен код и отворени данни

2

С това click-bait заглавие ще ви разкажа накратко за конференцията на Астел (Асоциация Телекомуникации) на тема електронно управление – мисията възможна, на която презентирах и аз.

С по едно изречение за двата панела – официален и граждански. В първия участваха Антон Герунов и Калина Чернева от кабинета на вицепремиера Бъчварова и представиха няколко неща – ще има интегрирана система за човешките ресурси в държавата – наемане на хора, йерархия, кариерно развитие – всичко. Има фокус и върху отворените данни и процесът по качване на приоритетните масиви на портала вече е започнал. Също така започва новата оперативна програма „Добро управление“ (ОПДУ), където „имаме новина“ – изискванията към всички поръчки за софтуер са: да бъдат с отворен код, да имат интерфейс за отворени данни и да имат интерфейс за интеграция с други системи.

Накратко, това означава, че данните на администрациите вече няма да се пазят в мазета, че софтуерът ще е прозрачно-разработван и ще получаваме поне малко по-качествени резултати, и не на последно място – че системите в държавата няма да са островчета, а ще са реално интегрирани една с друга.

(В случая не се явявам говорител на кабинета, защото за тези изисквания има някакъв принос и Общество.бг със съответните си кампании. Което отбелязах и в моята презентация)

След това Гроздан Караджов (председател на транспортната комисия в парламента) сподели някои коректни разсъждения за електронното управление (и някои нюанси, с които не съм съгласен – напр. че техническите детайли нямат такова значение). След него зам-министърът на транспорта Валери Борисов говори по много теми.

Аз говорих за визията на Общество.бг за електронно управление – отворено, координирано и фокусирано върху гражданите. Ето и слайдовете:

(В останалата част от гражданския панел говорихме за неформалния egov форум, който се събира всеки месец, както и за електронно гласуване, с Илия Кръстев, Михаил-Ернесто Михайлов и проф.Михаил Константинов)

Имаше, разбира се, притеснения дали фирмите ще са доволни от това да правят всичко с отворен код, и дали това няма да проблем за сигурността. Темата е дълга, но моята теза е, че дори малки проекти са по-сигурни, когато са с отворен код. А фирмите нямат причина да не са доволни, ако пишат добър софтуер. Даже напротив – тези проекти ще им бъдат реално портфолио, не на брошура с „направихме хубави проекти“, а нещо, което бъдещи клиенти могат да видят.

Преди една година предложението за отворен код звучеше неприемливо на много хора. Днес вече е факт. Преди една година ползването на данните на държавата беше мистично умение, което малко хора (като Боян Юуруков) притежават. Днес държавата събира данните си на едно място, за да е удобно на ползващите ги. Надяваме се да успеем да постигнем и другите цели – например данъци да се плащат с два клика на мишката, а фирма да се открива с три.

И това не е нещо, което искам да приписвам като заслуга на един човек или организация. Това са стъпки, възможни заради сътрудничеството между няколко такива, включително, разбира се, експерти в държавата.

Но за да не ме обвините в слагане на розови очила – това са само първите стъпки. По-сложното – реализацията на тези „визии“ – предстои, а тя ще се сблъска силно с всевъзможни препятствия. След още една година може и нищо да не е станало, но може и да сме се качили в класациите по отворени данни и електронно управление, а държавата да работи по-ефективно. Ще видим.

Share Button

Отворени данни

3

Какво значи „отворени данни“? Няма да давам десетки линкове с дефиниции и примери, а ще обясня с едно изречение – данните, с които разполагат администрациите (и някои фирми) трябва да бъдат публично-достъпни във формат, удобен за четене от компютър, с цел отваряне на възможности за изграждане на полезен софтуер, базиран на комбиниране на тези масиви от данни. Т.е. когато държавата има регистър на аптеки, регистър на лекарства и работно време на търговски обекти, тя няма причина да си ги „кътка“ в екселски файлове на някой Пентиум 1 в мазето на някоя агенция, а е редно да ги публикува в стандартни, отворени формати (като .csv, xml, json), така че ентусиасти или реални бизнеси да могат да добавят стойност, изработвайки продукти, като например приложение, показващо къде са най-близките аптеки, където можете да си намерите лекарства по здравна каса. Или приложение, с което през смартфон да проверите кога ще дойде автобусът. (Отворените данни, разбира се, са анонимни, т.е. държавата не бива да казва на света къде живеете и къде работите, макар и да знае това.)

Разни изследвания, които сега не мога да цитирам, твърдят, че отварянето на данните на държавата води до 2% повишаване на брутния вътрешен продукт (и световната банка намеква същото). Така че освен, че „разни момчета ще си играят да правят уебсайтчета с данните“, това отваря врати и за реални бизнес-начинания.

„Това звучи добре, ама в наш’та държава – едва ли“, ще си кажат много хора. И макар към момента някои администрации, от добро желание, да публикуват част от данните си в „полу-удобни“ формати, като цяло положението е зле. Боян Юруков най-добре знае колко трудно се събират данни от държавата, и съм убеден, че малко хора биха имали такъв устойчив ентусиазъм, и то без финансова възвращаемост.

Е, само че порталът за отворени данни на България вече е факт – opendata.government.bg. За да се стигне до това бяха нужни „координирани усилия“ (извинявайте за клишето) между Общество.бг (група доброволци и фондация, на чийто управителен съвет съм член), Министерство на транспорта, информационните технологии и съобщенията и Дирекция „Модернизация на администрацията“ към Министерски съвет. Да, ние, петима „младежи“, си говорихме с държавата (и то с няколко институции) и накрая се появи нещо полезно.

Изчаквам скептиците и мрънкащите да преглътнат шока. И не, нямало е обществена поръчка под масата, за която едно НПО (съкращение, превърнато в мръсно напоследък) е получило едни пари. За нула лева и нула стотинки държавата получи един портал за отворени данни. Така че – може, стига да има желание.

Направихме и прототип – pharmacies.obshtestvo.bg – гореописания пример с аптеките, работещи със здравна каса.

Порталът, разбира се, не е изработен от нулата – той е стабилна, популярна система с отворен код, която ние само модифицирахме, инсталирахме и конфигурирахме („аха! мръсници, използват труд наготово!“), в пълен унисон с кампанията ни за използване на отворен код в държавата – всички GitHub repo-та можете да видите в официалното съобщение на Общество.бг

(Като казвам „ние“, най-често имам предвид другите четирима координатори в горния линк (Тони, Митьо, Жоро, Петко), защото моето участие беше сведено до няколко срещи и помощ с инсталацията. И въпреки, че не мога да си припиша кой знае какви заслуги за пускането на портала, все пак съм част от групата.)

Какво ще стане оттук нататък? Ще бъде ли това поредната хубава инициатива, която никой няма да използва, а следващата власт ще зарови? Може и така да се получи, но според мен продължението ще е по-позитивно. По няколко причини. Първо, Дирекция Модернизация на Администрацията не е политически-обвързана, и ще бъде там и при следващото управление, за да поддържа портала си. Общество.бг също ще съдейства, без значение от това коя партия е на власт. Не само това, ами в предложения за изменения на Закона за достъп до обществена информация (които надявам се ще бъдат гласувани скоро) такъв портал се регламентира, и всяка администрация става длъжна да отваря данните си в машинно-четим вид (като в крайна сметка те се появяват и в портала). Не на последно място – всички тези предпоставки създават условия за реално използване на отворените данни, а оттам и на съзнателното им търсене от страна на гражданите и бизнеса.

В заключение, държавата понякога е отворена към промени в положителна посока и към помощ от страна на граждански организации. И се надявам хората както да оценят това, така и да се възползват от него, вместо да изсипят дежурното „няма да се оправим“.

Share Button

Данни

5

Как се вземат решения? В държавата? А в големите компании?

Самопровъзгласените мениджъри и много от поне българските държавници смятат, че решения се вземат или ако някой така усеща, че е правилно, или ако мнозинството мисли по определен начин. Шефът имал предчувствие, че трябва продуктът да се промени по едикакъв си начин. Министърът смятал да прокара решение, защото мнозинството хора около него смятали, че е правилно. Това е много рискован подход. Понякога работи, понякога не.

Как трябва да се вземат решения? С помощта на данни. Много данни. Големите компании събират всякакви т.нар. метрики за продуктите си, за потребителите си, за пазара, и според изследване на IBM мнозинството от менижърите (CIO) планират и вземат решения на база на анализ на големи масиви от данни. Данните са и основен начин на работа в науката – за да докажеш нещо, трябва да имаш данни за него.

В държавата нещата трябва да се случват по аналогичен начин. Но в България данните не са на почит. Много малко политици цитират данни, а когато го правят, то е тенденциозно и преувеличено. Когато се обсъждаше Белене не видях никой да извади данни за потребление, цени у нас и в съседните държави. Нито политиците, нито пресата. Изданията на Икономедия правят приятно изключение тук, защото включват доста графики и таблици, но като изключим тях и някои „апокрифни“ блогове и онлайн издания, данните се игнорират. Но не само от медиите и политиците, а и от хората. Хората не признават данните, когато те показват теза, различна от тяхната. И обичат да се основават на анекдотични наблюдения. Неведнъж съм спорил с хора за достоверността на данните. „Това не може да е вярно, аз съм говорил с хора, те казват друго“ … „Виж по улиците какво става, не гледай данните“ … „Те си ги пишат както им е удобно“. Дори един приятел беше чул някого да казва „Е много ясно, че в София има повече от 2 милиона души – виж по улиците колко много хора има“.

Проблемите са много. Първо, хората нямат понятие от статистика. В главата на таксиджията средната работна заплата не може да е 800 лева, след като той е говорил с много пътници и те са вземали по-малко. И не трябвало да се броят заплатите на разни мениджъри, дето вземали по 50 хиляди лева, щото така се вдигала изкуствено средната заплата. И това, че двама души с 50 хиляди лева заплата не могат да повлияят на средата заплата на 6 милиона души е отвъд познанията му. Второ, хората смятат, че някой съзнателно манипулира статистиките. Нищо, че те излизат едни и същи от 3 различни източника, и че всъщност никой няма интерес да манипулира някои от тези данни. Защото сме израснали (не без причина) с концепцията, че за всичко ни лъжат. Трето, медиите не смятат за нужно да предоставят сериозни данни, защото така или иначе хората не ги разбират и не ги зачитат. Четвърто, данните понякога се представят тенденциозно. Изваждат се от контекст, тълкуват се според интереса на тълкуващия. Пето, понякога (но далеч не толкова често) наистина данните са неверни – събирани са с определена цел.

Само че дори данните да позволяват различно тълкуване, винаги е добре да ги има. По много, от много източници. За да може всеки да ги тълкува, вместо някой да му внушава мнението си. Защото когато едно решение се базира на данни, то е по-вероятно да е правилно. Служебното правителство анализира ситуацията с енергетиката и за първи път се появиха адекватни данни за реалното потребление и реалните нужди. Наскоро за 1-ви път видях данни на НСИ за заетостта в хотелиерския и ресторантьорския сектор във връзка със забраната за пушене на закрито, и излизаше, че заетостта е спаднала незначително. Забележете, че ако за това разчитаме на това, което виждаме, следват коренно-различни изводи – на собственика на квартална кръчма в Ямбол ще му изглежда, че забраната е убила целия бизнес, защото и той, и неговите колеги от другия квартал са затворили. Ако питате мен, живеещ в центъра на София, няма никаква промяна – всички заведения са пълни. Затова обективната истина е в данните. Стига методиката на събирането им да е правилна, но затова статистиците са учили висше – за да знаят по-добре от средностатистическия българин как се събират данни.

Не че има какво да направим за тези проблеми – пробвал съм да споря с хора, които не признават данни, и колкото и рационално да звуча, това не се приема. Всъщност има какво да направим – да изискваме данни. Включително отваряне на данните от държавния апарат (Open Data). И се надявам данните да получат повече внимание като основно средство за подпомагане вземането на решение – в рамките на образованието, в управлението, в медиите. За да може човек сам да прави изводите, а не да разчита някой да ги прави вместо него, или да му подхвърля парчета от цялата картинка с цел да формира дадено мнение. Иначе ще се лутаме между случайни решения с неясен резултат.

Share Button
Go to Top