Резюме

  В студията се анализират нови проблемни области и възможности за генериране, съхраняване и интерпретиране на огромния поток от данни, циркулиращ както в Интернет пространството, така и в локалните компютърни мрежи. Свързването на информация, данни, компютри, хора, машини и микрообекти в един немислим досега конгломерат създава нов потенциал за развитие на науката, формиране на колективен интелект, развиване на условия за прогнозиране на бъдещи процеси и вземане на решения, които подпомагат както усъвършенстване на  бизнеса, така и подобряват значително условията на живот на хората.

   Обект на изследване са и особеностите на Интернет технологиите, които въздействат на човека и обществото и водят до нови възприятия и интерпретации на социалните и медийни реалности. В настоящото проучване се търси още връзката между данни, информация, знание и технологии, които са взаимосвързани и подпомагат ускореното развитие на съвременния бизнес, и формиране на по-прозрачни форми за управление на  обществото.

   „Големите” данни променят света на икономиката, обществото, администрацията и медиите. Комуникационните и компютърни технологии непрекъснато се развиват и усъвършенстват и това се отразява както на бизнеса, така и на потребителите като се модифицират моделите за поведение и трансформира съществуващата управленска култура.

    Благодарение на закона на Мур, който продължава да оказва влияние на хардуерните и софтуерни компоненти на компютърните платформи, на всеки 2 години се променят възможностите за обработка и съхраняване на данни. В последните няколко години се появиха мощни компютърни центрове, които са в състояние по един завладяващ въображението начин и с помощта на специални алгоритми, да структурират огромни обеми от данни, които свързват както хора така обекти и предмети, така че експертите по обработка на данни могат да правят реалистични микропрогнози, досега невъзможни, за бъдещи процеси. Откритият тип данни се възприемат като нов тип технология и бизнес както в публичния, така и в частния сектор на икономиката. За много организации „откритият тип” данни представляват истинско предизвикателство, като в случая се правят опити да се адаптират инфраструктурите на бизнеса към новите изисквания за обработка на данни, така че да се получат реални ползи в бъдеще и усъвършенства  потенциала   за развитие, в резултат на  новите ресурси за прогнозиране.

    Например, ЦЕРН /Европейска организация за ядрени изследвания/ генерира огромен поток от данни, които могат да бъдат отнесени към "Големите данни". Ускорителят на частици  разполага с 100 мегапикселови камери, които могат да правят около 40 милиона снимки за секунда. За отбелязване е, че само Големият адронен ускорител/LHC/ генерира 35 петабайта данни на година, които изискват мощни компютърни центрове, за да бъдат съхранявани и впоследствие обработвани. Друг популярен пример е, че един реактивен самолет по време на полета си от Лондон до Ню Йорк генерира около 10 терабайта данни на всеки 30 минути.

    През 2013 г. данните [1]  в Интернет, осигурени основно от потребителите се изчисляват на около 1000 екзибайта. Всеки екзибайт се равнява на един квинтилион байтове. Отвореният тип данни, свързани с прогноза на времето и съхранявани от Националната асоциация за изследване на Океана и атмосферата /САЩ/ на базата на прогнози осигурява печалба годишно, равняща се на 10 млрд. долара. Всеки ден човечеството създава 2.5 квинтилиона байта от данни, като 90% от данните по света са създадени в последните 2 години. Всяка минута се публикуват 100 хиляди „туита” по целия свят. „Гугъл” получава 2 милиона заявки за търсене на информация всяка минута.

    Данните идват не само от постинги в социалните и медийни сайтове, но и от мобилните сигнали и съобщения, пазарни електронни транзакции, от разнообразни сензори като камери, небостъргачи и други. Това, което в момента съществува като Интернет на вещите позволява да се анализира и измерва начина на живот на хората в големите градове, може да се наблюдава реалния трафик по пътищата, да се определи, кои сгради използват енергията по най-ефективен начин.

    Светът става все повече свързан с помощта на компютри като тук се включени не само хората, но и многобройни обекти. Например уличните лампи в Бирмингам разполагат със сензори, които изпращат информация, относно състоянието на облаците в града, за да се осигури хипер-локално прогнозиране на времето. В Норвегия повече от 40 000 автобусни спирки се постват данни в туитър, като пътуващите могат да оставят съобщения относно своя опит и преживяване. Сензорите на определени обекти позволяват на хората да разказват истории, относно ежедневния си живот в градовете и това променя начина на поведение.

С помощта на лабораторията на МИТ за изучване на живота в града се наблюдават 5000 места в Сиатъл за събиране на отпадъци, като се  осигурява геолокация, поставяне на тагове, и проследяване на отпадъците, като за един период от 3 месеца се получават точни данни, в кои райони рециклирането на отпадъци е най-ефективно.

МИТ още използва данни от прогнози на времето, за да осигури по-добре управление на таксита в Сингапур, като се прогнозира точно, къде и кога се очаква дъжд. Такситата могат да достигнат до определени места, благодарение на микропрогнозите, 10 минути преди валежа. Веригата супермаркети "Теско" е инсталирала сензори в магазините, за да ограничи потреблението на светлина и топлина, с цел оптимизиране на разходите. Теско използва системата на АйБиЕм за анализ на данни. Компанията за компютърен дизайн "Автодеск" изпълнява проекти в няколко  града като  Сан Франциско, Ванкувър, Бамберг, за да направи 3D визуализация, базирана на мрежи от различни данни, за да установи как  функционират градовете и отговарят ли на предварителното планиране. Проектът се използва още, за да се включат по-активно гражданите в дизайна на градската среда. Под формата на 3D карта се наблюдава, как се променят градовете и живота в тях. Със специални приложения, хората започват по-активно да взаимодействат с местата, където живеят, могат да получават информация в реално време за магазини,  с 20% отстъпка за деня, или да им се посочи най-близкия кафе-бар.

Експертите казват, че в момента ние изграждаме дигитално копие на физическия свят и това ще окаже дълбока промяна на начина на живот. Big data се превръщат в нова модерна форма на Big Brother.

     Контролът на информацията се изземва от ръцете на гражданите и се поема от големите компании, които използват данните, за да си осигурят по-голяма и по-ефективна печалба. Опасността е, че "смарт" градовете се превръщат в реалност, хората не са в състояние да контролират начините, по които са наблюдавани, както и информацията, която те предоставят на институциите е извън  контрол. Условието, за да функционират умните градове изисква да бъдат събирани и анализирани

огромно количество данни и то всеки ден, и всяка минута. Проблемът е как и от кого ще се използват данните.

    Някои от тенденции [2] за усъвършенстване на интернет технологиите до 2020 са следните:

·  Очаква се броят на ползвателите на интернет услуги да достигне цифрата 5 млрд;

·  Технологията предполага по-голямо географско разделение на /по-развити в технологично отношение райони и по-слабо развити области/;

·  Интернет ще се превърне в всеобхватна мрежа, с включени различни устройства, машини, дрехи, стоки, вещи от бита, т.е.  броят на включените хора и компютри ще намалява като дял от общото количество потребители;

·  През 2012 г. всеки месец по мрежата се обменят около 44 екзабайта информация, очаква се количеството данни да нарасне до зетабайтове през 2020;

·  Интернет се ориентира основно към мобилни, безжични технологии;

·  През 2014 г. около 2,5 млрд.души ще използват 3G и 4G мрежи за обмен на данни;

·  Към 2015г. по-голяма част от услугите ще бъдат съсредоточени в "компютърни облаци". Очаква тази технология към 2015г да генерира 45 билиона долара печалба;

·  Ще се увеличи броят на зeлен тип технологии /Internet green/, т.е.ще се ограничи потреблението на електроенергия за захранване на устройствата, свързани с мрежата. В момента разхода на електроенергия за поддържане на Интернет е около 588 млрд. Кв/ч за PC и монитори и 167 млрд за модеми и рутери;

·  Управлението на съдържанието, данните и информацията ще се превърне в напълно автоматизиран процес;

·  В бъдеще няма да се разчита на непрекъсната връзка с интернет пространството, търсят се други протоколи за обмен на информация, ориентирани към отлагане на комуникацията за един по-късен етап. Интернет ще привлича все повече хакери. Към 2012 г. 57% от инцидентите са в Северна Америка, 23% в Европа, 6% в Азия, 4% в Близкия изток, 2% в Южна Америка, 6% в Австралия и Нова Зеландия.

Мрежата от данни е мрежа, чиито локални особености се определят от метаданни и глобалните теми се дефинират от хиперданни, като вместо web-линкове може да използваме мрежова нишка (Web Thread).

Мрежата от данни още означава:

• да се свържат произволен брой от обекти, а не само два обекта;

• да има мрежа от отдалечени обекти;

• ясни имена (а не анонимни автори, както при класическата мрежа);

• дефинирането на обекти е обективен процес, а не субективен;

• синтатичност във всички възможни посоки;

• семантичен подход към нещата.

  Web thread се отнася към точното дефиниране на мрежови места. За разлика от уеб-връзките, уеб-нишките свързват огромен брой елементи автоматично в едно и също време. Тази технология е многопосочна, т.е. действа във всички възможни посоки на киберпространството. Мрежата от данни може да бъде изградена на основата на мрежа от нишки, т.е., когато личността създаде нови машинни агенти, те започват да оперират самостоятелно на базата на специфичното знание, което човек е въвел в тях. Или казано по друг начин, уеб-агентите са неща, които краен потребител вижда пред себе си, мрежата от данни е това, което професионалистите разбират като визия за семантична мрежа.

  Нова Спивак още през 2008 г. в платформата twine отбелязва, че хиперданните са данни, относно данните и обясняват типични семантични и конкретни теми в локален контекст. Хиперданните се отнасят към данните така, както хипертекста към текста.

Хипертекстовете са текстове с хипервръзки към други документи. Подобно на тях хиперданните са данни с връзки към други данни. Метаданните и хиперданните изразяват семантики, или още, по какъв начин локални данни се съотнасят към други данни, или как локални теми се свързват с широка мрежа от теми.

     DBpedia[3] поддържа мрежа от данни и е един от най-големите мултифункционални онтологични домейни, като данните се извличат от Wikipedia.

Мрежата съдържа и описва около 2,18 млн. „неща“ и над 218 млн. факти.

DBpedia използва RDF-системата като гъвкав модел за представяне на данни и извличане на структурирана информация с цел публикуване в мрежите. Намира приложение и SPARQL езикова система за откриване на данни. Dbpedia може да извлича информация по дадена тема на следните езици: английски, немски, италиански, португалски, полски, руски, шведски, норвежки, финландски.

В мрежата са включени около 80 000 човека, 293 000 места, 62 000 музикални албума, 36 000 филма, 489 000 линкове към снимки, 2 млн. връзки към уеб-страници, 207 000 категории в Wikipedia, 2 млн. външни връзки, базирани на RDF-схемата. Всеки ресурс се описва с помощта на кратка анотация на английски и всички други включени езици. Брой на публикувани резюмета на книги, филми, научни области:

• на английски – 2 180 000;

• немски – 329 000;

• френски – 289 000;

• полски – 151000;

• италиански – 188 000;

• китайски – 82 000; и т.н.

   Идеята за изграждане на мрежа от данни произхожда от опитите да се изгради семантична структура на съществуващата мрежа. Експертите се опитват да разрешат проблемите, свързани с неспособността на машините да разбират електронните страници. Основната цел на Семантичната мрежа [4] е да представя анотирани страници с помощта на мета атрибути и категории, за да се даде по-голяма възможност на машините да интерпретират текстовете и да ги поставят в подходящ контекст.

   Този подход се оказа неуспешен, защото анотацията е твърде сложен за хората процес, особено за онези без необходимата технологична подготовка. Новите подходи са ориентирани в посока подобряване на машинния достъп до знание, закодирано в страници, предназначени за ползване от хората. Друг проблем е, че някои страниците съдържат много излишна информация, неразпознаваема от машините.

Именно идеята на Web of  Data идва като резултат от всички тези въпроси и ограничения, както и съществуването на огромно количество данни, разпръснати по целия свят. Обикновено групите от данни съдържат знание относно конкретни области и са от типа на: книжни, музикални, енциклопедични данни, бизнес резултати, кино и са изолирани помежду си. Ако успеем всичко това да го свържем по подобие на линковете между уеб-страниците, тогава машините ще могат по-ефективно да обработват информацията и знанието в конкретни области. Този процес се превръща в глобален и генерира появата на нови услуги, идеи и приложения.

    Според изследователската група Forrester Research [5] в близките 3–5 години новото поколение мрежа от типа Web3D ще осигури една интерактивна, емерсивна среда, много по-богата за потребителя, отколкото съществуващата в момента. Технологията ще надхвърли използвания сега статичен, ориентиран към текста, графичен интерфейс. Web3D ще позволи на хората да се представят визуално с помощта на аватари, които могат да се движат в пространството, да комуникират помежду си, да взаимодействат с други обекти и информация, да изградят един нов дигитален свят, приличащ на реалния. При тези случаи възможностите на платформите и медиите, ориентирани към знанието, ще бъдат още по-големи и по-ефективни .

Социалните мрежи, облачните ресурси създадоха огромни очаквания и породиха глобален бизнес, но в момента се търси нещо ново като следващото поколение неща, които биха засегнали живота на всеки един човек.

Според руския сайт rbcdaily [6] това е следваща "суперконцепция” за бизнес, ориентиран към данни. Това ново направление ще спомогне за появата  както на по-ефективни бизнес модели, така и ще се усъвършенстват средствата за навигация и съществуващите маркетингови системи. Откритите данни- представлява общодостъпна информация, публикувана в формати, които могат да бъдат обработени на компютър.

Днес съществува един огромен океан от публични данни,  намиращи се в различни сайтове, страници на административни агенции, персонални и професионални мрежи, които изискват свързване и преструктуриране така, че да придобият някакъв смисъл и да носят на хората полезна информация, за да се вземат наистина адекватни решения на персонално и социално ниво за решаване на проблеми, за които досега не съществува решение.

През 2008 г. Крис Андерсън [7], редактор на сп.Wired, написва интересна статия, озаглавена "Краят на теорията". Андерсън обяснява начините, по които компютрите, алгоритмите и данните са в състояние да генерират по-проницателни, полезни, точни и ясни резултати, отколкото тези от специалисти или експерти в отделни области, които традиционно разработват целеви хипотези и използват изследователски техники, за да докажат твърденията си.Този революционен възглед има отношение както към популярните схващания, така и към изследователски техники, използвани от бизнес- фирми, държави, журналисти и учени. Идеята се заключава в това, че данните и информацията, осигурявана от хората, машините, стоките, природата може да ни разкрие тайни, които ни гарантират по-голяма власт и нови умения да вникнем в непознатите до сега неща.

С други думи, не е необходимо повече да спекулиране с нещата и да формулиране хипотези, а просто да дадем възможност на машините да ни отведат към  определени образци на поведение, тенденции, социални връзки, икономически, политически и природни взаимоотношения. Напълно е вероятно да получим неочаквани данни за всеки един от нас, извлечени от Google, Facebook и други големи уеб-платформи.  Например да се установи корелация от прозрения, относно това какви специфични цветове, форми, дизайн могат да  ни помогнат  да се превърнем в по-ефективни изследователи.Това е възможно и при сравняване на различни категории заявки за търсене, харесване, разговори и като резултат да получим отговор, на какви стимули реагираме най-много.

Друг пример е как по-развитите търговски вериги анализират големи количества данни, относно отделните продажби /свързани с кредитни карти или потребителски карти/ и могат да прогнозират бъдещо поведение на купувачите, без те да подозират, че са склонни на такъв тип реакции.

    Съществува и друг популярен пример,  с американската търговска верига "Таргет", която е в състояние, благодарение на натрупаните данни за купувачите да прогнозира в детайли социалния живот на тинейджърите, дори да предвиди   бременността на момичетата, само чрез сравняване на информацията в огромната база данни на своите компютри, относно навиците за покупки.

    Нещо повече националните, разузнавателни агенции, по дефиниция, изследват и притежават огромно количество непублични данни за отделни ползватели на Интернет услугите и на базата на това със специални алгоритми и програми са в състояние да правят прогнози, относно бъдещи заплахи и рискове за националната сигурност. Има и много противници на събиране на такъв тип данни, но пък хората често пъти са склонни доброволно да предоставят в Интернет мрежите огромно количество персонални данни, относно своите интереси и поведение. Информационни материали за големите проекти, свързани с открит тип данни могат да се извлекат, на практика  от генерираната информация от потребителя в големите социални медийни платформи /Twitter или Wikipedia/. Полът, географското разположение, приходите, социалните и икономически фактори всички те играят роля и оказват влияние на събраната информация. Хората  от различни места и с различно образователно ниво  обикновено притежават или осигуряват различен тип информация за тривиални неща. Тоест съществува огромен риск да игнорираме важни данни,  ако не отчетем нюансите на тези социални, икономически и политически различия.

     Големите масиви от данни, без съмнения, са полезни за дефиниране и преодоляване на важни проблеми, стоящи пред обществото. Важно е да се отбележи, че невинаги е необходимо е допустимо да се предоверяваме прекалено много на данните, за сметка на теорията. Може би един ден ще стигнем до положението, когато достатъчно количество данни могат да ни дадат отговор на по-голяма част от социалните въпроси/при подходящо  съчетание на информационни блокове и изнамиране на алгоритми за  анализ на взаимодействието между тях/.

Наблюденията показват, че почти винаги ще съществува разделение между отделните държави, относно достъпа до компютърни технологии, неумения да се обработват данни, различни подходи за генериране, продуциране и използване на информация и технологии. Според публикация на "Ню Йорк Таймс" [8] от 11.04.2013, като се позовава на едно изследване  на "Харвард Бизнес ревю", през 2020 г. в интернет пространството ще има около 40 трилиона гигабайта информация, в сравнение с 2005 г. когато данните са били 130 милиарда гигабайта. Това се дължи основно на новите технологии, които генерират огромно количество персонални и административни  данни. От тази гледна точка учените, занимаващи се със структуриране и обработване на тази информация ще играят ролята на магьосници в ерата на Big Data.

    В един материал на "Бизнес уик" [9], от 7 август 2013 г. се търси връзката между открития тип данни, мобилни приложения и корпоративно знание. Бъдещите пазарни лидери ще бъдат основно компании, които ще са в състояние да използват своето уникално знание, интелектуална собственост и умения по извличане на данни, за да създават продукти, които са в съответствия с контекста, ще могат да се предсказват бизнес резултати и  лидерите ще се учат от огромния     поток информация, събирана всеки ден в  компютърните центрове на фирмата. Големите данни променят ежедневно отношението към информацията, възприемана като ценност. Също се осигуряват условия, да се предскаже какво е следващото поколение технологии и услуги, и от  какви експертизи ще се нуждае бизнеса в близките години.Тези нови модели водят до процеси, известни с наименованието "когнитивно изчисление на данни" и като следствие развиване на  уеб-платформата, които разбират какво човек има предвид, когато задава един или друг въпрос.

Науката, ориентирана към  анализа на потока от данни ще се превърне в  най-привлекателната работа в бъдеще. Специалистите в тази област ще използват основно математически модели за анализ на данни и визуализиране на информацията, като резултатите ще се използват за вземане на компетентни решения в една или друга област на човешката практика. В последните няколко години възникнаха десетки университетски програми, под различно наименование, за да се отговори на изискванията на пазара на труда, относно отворения тип данни.

     През есента на 2013 г. Колумбийският университет  стартират нови магистърски програми в тази сфера.Университетът в Сан Франциско предлага програми по аналитични  информационни умения от няколко години. Други учебни заведения, които предлагат обучение по  науката за данните са Ню-Йоркския университет, Станфорд, Джордж Масон, Университета в Сиракуза, Калифорнийския университет. Рейчел Шутт, старши научен изследовател в лабораторията"Джонсън" описва по следния начин наука за данните "хибридна дисциплина между компютърни науки, инженерен софтуер и статистика". Ориентирана е към любознателни студенти, с развито мислене, които предпочитат да изследват неструктурирани ситуации и да търсят порядък в хаоса. Учебните програми предполагат приложение в различни области на живота и оттук изискванията за голям брой специалности да се изучават в  подобни дисциплини. Отчита се факта, че новото поколение деца са израснали и са свидетели на  развитието и усъвършенстване на практиката в Интернет по запис,  обработка и споделяне  на данни: например телевизията “Нетфликс” ги консултира, какви филми да гледат, "Амазон" им казва какви книги да четат. Тоест университетските  програми обхващат един огромен свят на Интернет - приложения, използвани за различни практически цели. Професор Крис Уигинс от Колумбийския университет посочва, че студентите бързо схващат, че се подготвят в една перспективна област и в бъдеще ще бъдат  не само конкурентоспособни, но и търсени на пазара.

     Според изследванията на института за глобални анализи "Маккензи" САЩ се нуждаят от голям брой дипломирани студенти, с умения да работят  с голямо количество данни. Съгласно наблюденията института ще възникнат около 500 хиляди нови работни места и за това броят на студентите трябва да бъде увеличен с 60% в областта на обработка, анализ и структуриране на  данни. Още ще са необходими 1.5 млн. мениджъри и поддържащ състав за интерпретиране и осмисляне на данни. Тук именно влизат и различни категории журналисти, специалисти по реклама, маркетинг и комуникации.

На американския пазар средната заплата на подобни дипломирани специалисти варира от 89 100 $ до 100 000 $. В "Маккензи" смятат, че  подобни работни места, свързани с интерпретиране на данни стават незаменима част от всяка компания и в момента се води истинска битка между работодателите за привличане на  подобни експерти.

Изследванията, провеждани в последните години недвусмислено показват, че открития тип данни оказват значително влияние върху развитие на бизнеса и повишаване на печалбата в следните направления: подобрява се  разбирането на потребностите на клиентите; повишава се качеството на вземаните решения; засилване на конкурентоспособността на компанията; променя се качеството на услугите и иновациите; реализира се  по-добър контрол на разходите; повишава се продуктивността; значително намалява  времето за доставка на продуктите до пазара; и увеличават  потенциалните възможности на фирмата.  Крайната цел на тези нови технологии е в близко бъдеще да бъдат  изградени университети, икономика и правителства, базирани на данни.

    В професионалните речници по трансфер на знание понятието “данни” се дефинира като фактическа информация /наблюдаема или статистическа/, използвана като база за обосновка на взети решения. В частност Мийдоу /2000г./ дефинира данните като поредица от прости символи от типа на цифри и букви, а информацията, въпреки че няма универсално възприето значение, според него, има отношение към оценка, проверка за истинност и използване на данните. Други учени дефинират данните по следния начин:

§  неинтегрирани символи /Спайкервет/;

§  прости наблюдения /Дейвънпорт/;

§  мрежа от дискретни факти /Дейвънпорт и Прусак/;

§  текст, който  съдържа отговори на частичен проблем /Дедън/.

В публикациите на страницата на института „Маккензи” [10] се посочва, че съществуват най-малко пет ясно разграничени пътя, които показват значението на големите данни за съвременните организации:

·  данните позволяват информацията да бъде по-полезна и по-прозрачна за мениджъри и служители;

·  организациите създават и съхраняват по-голяма част от информацията в дигитална форма, т.е. появяват се възможности за  по-детайлно вникване в същността на процесите и използване на информацията за  прогнозиране на бъдещо развитие;

·  по-точно се дефинират сегментите от потребители и това води до подобряване на гамата от продукти и услуги;

·  комплексните, аналитични данни водят до усъвършенстване на процеса по вземане на решения;

·  големите данни допринасят за създаване на следващо поколение продукти и услуги- например като се използват интегрираните в продуктите сензори се преминава към по-качествени услуги и ремонти, преди да са настъпили непоправими вреди за стоката.

  Бизнес структури, които могат най-добре да се възползват от новите технологии, свързани с  обработка на данни са: компютърни фирми; компании в сферата на електронните услуги; информационен сектор, финанси, застраховане и държавна администрация.

   Очакванията са, че към 2018г. САЩ, благодарение на университетски курсове и програми ще разполагат с около 140-150 000 добре подготвени експерти, с аналитични умения. Можем само да си зададем въпроса: Къде се намираме ние? Отговорът е ясен,  отдалечени сме от тези реалности на десетки години, но това е  и предизвикателство за бъдещите студенти и преподаватели. Университетът  във Вашингтон например, предлага  и свободни курсове за студенти   по системата Coursera за онлайн обучение.  Друг пример за приложение на тези нови тенденции може да бъде даден със   студентите от Северна Каролина, които изучават тази специалност и разработват проект за да намалят броя на 'джънк мейл" на базата на публични данни, с които разполага пощата в този щат. Важно условие за развитие на  бизнеса и практиката по използване на 'открит тип данни" е да се научат студентите да общуват ефективно, да представят резултатите си визуално и да владеят различни знания, свързани с управление на бизнеса.

    Хиперданните се получaват ежедневно от различни устройства и сайтове: сензори, които осигуряват информация за климатичните промени, постинги в социалните мрежи, потребителски снимки и видео, данни извлечени от смартфони и GPS сигнали.

Отворения тип данни [11] притежават 4 основни измерения: обем; скорост; разнообразие и истинност:

§  Обем-всеки ден в туитър се генерират 12 терабайта информация.

§  Скорост - в някои от случаите 2 минути са прекалено много за вземане на решения, например за прехващане на измами в мрежата. Всеки ден се анализират около 5 милиона търговски дейности, за идентифициране на потенциални измами. Друг пример в тази област е анализът на 500 млн. позвъняване всеки ден, свързани с оплаквания на потребителите.

§  Разнообразие: големите данни могат да придобият следните форми- структурирана и неструктурирана информация от типа на текстове, сензорни данни, аудио, видео, кликване свързани с обмен на важна информация, запис на файлове. Нов поглед към нещата се формира, когато анализираме тези данни заедно и обединени в едно цяло. Пример, за това е мониторинг на 100 млн. записи на видео в реално време, от камери за наблюдение в различни обекти. Или друг пример в тази посока е преглед на годишния растеж на данните над 80% - под формата на документи, видео, снимки за подобряване процесите по задоволяване потребностите на консуматорите.

§  Истинност: 1 на всеки 3 лидери в бизнеса не вярват на информацията, която използват при вземане на решения.

   В последните години възникнаха много нови технологии, някои от които ще оцелеят други ще бъдат модифицирани и те са от типа на облачни ресурси, мобилни комуникации, "големи" данни, социални мрежи. Тези тенденции променят и подходите за правене на бизнес. Освен тях се появиха и популярни масови изрази като "интернет на вещите", взаимодействие "машини-машини /M2M/, "консумеризация на ИТ" и така в този порядък.  Изследователите от Американската асоциация за напреднала наука смятат, че се нуждаем от предефиниране на понятието информация и какво представлява то, като се вземат предвид новите пробиви в областта на квантовите компютри. Информационната революция по дефиниция е квантова революция, поради факта, че електронните средства са базирани на законите на квантовата механика. Манипулиране на частиците на квантово равнище води до промяна на технологиите и най-вече тези свързани с различни видове сензори. Въпрос на време е машините да започнат да улавят огромния обем от информация на квантово ниво, което ще позволи създаване на технологии, за които хората в момента могат само да мечтаят.

  Списанието "Harvard Business Review" [12] в една публикация от 2013 г. нарича науката за данните "най-привлекателната работа през 21 век", която и предлага най-много обещания за революционизиране на  бизнеса. Учените, които се занимават с управление на данни ще се превърнат в магьосниците в ерата на "открития тип данни".Те обработват масивите данни, с помощта на  математически модели за анализ и създават истории или визуализират въздействието им, за да ги обяснят по-добре на мениджърите. Университетът в Сан Франциско ще дипломира и първия випуск от магистърска програма за анализ на данни. Рашел Скут, старши изследовател в Колумбийския университет разглежда науката за данните като хибрид между компютърни науки и инженерна статистика. Много от курсовете в тази сфера са ориентирани в посока познаване на мрежата, програмиране, системно мислене, формиране на аналитични умения, техники за визуализиране на информация, комуникационни практики за представяне на данни.

През ноември 2013 г. се проведе международен експеримент, като се използва науката за данните и се включват в огромна мрежа ученици на възраст от 13 до 18 години от целия свят и техните учители, за да се анализират, измерят и картографират вижданията им за света. Тази инициатива ще помогне да се сравнят мнения, мисли, проблеми, грижи и вярвания на младите хора, като се използват специални програми за визуализация на данните.

    Он-лайн версията [13] на "Гардиан" има специална рубрика посветена на темата и смята, че открития тип данни безсъмнено ще бъдат полезни за анализ и преодоляване на много важни  проблеми, засягащи съвременните общества. Необходимо е обаче да не се подценява ролята и класическата теория за анализ на социалните проблеми. Според "Гардиан" един ден може би ще достигнем до такова критично равнище на данните, че да можем да отговорим смислено на основните въпроси, които ни засягат като хора. Но проблемът е, че почти винаги ще съществува дигитално разделение на обществата, тоест наличие на данни, които не са достъпни до хората и възниква постоянният въпрос кой и как ще използва информационните и комуникационни технологии и за какви цели.

    Паул Бауер [14], един от големите бизнес експерти в тази област, в едно интервю изяснява ролята на открития тип данни от гледна точка на бизнеса. Досега бизнеса е обръщал основно внимание на решения, базирани на вътрешно структурирани данни и информация циклично постъпваща към организацията от външната среда. В момента вниманието се измества в посока" неструктурирани данни". Структурираните данни са тези, които са представяни под формата на числа и код. От друга страна, неструктурираните приемат две основни форми: полу-структурирани данни- текстове и е-поща и напълно неструктурирани: снимки, видео, глас. Те могат да осигурят огромно количество информация, но трябва да бъдат интерпретирани. И сега се работи активно върху изнамиране на средства, с помощта на които да се обработват подобни масиви от данни.

Например, работи се върху програми и метод за извличане на текстове от неструктурирани документи в PDF формати и конвертирането им в структурирани ценности. Другата  цел е да се осигури колкото се може по-широк поглед върху контекста, свързан с определен тип неструктурирани данни. "Големите" данни разширяват нашия поглед върху бизнеса, чрез изграждане на  голям спектър от разнообразни данни, които могат да бъдат анализирани, така че да получим допълнителна контекстуална информация, с цел вземане на по-компетентни решения.  Като допълнение може да се изтъкне, че процесът на развитие на открит тип данни е предсказуем в посока обем и скорост, така че все по-мощни бизнес, аналитични инструменти ще спомагат за усвояване на данните и гарантиране развитие на бизнеса.

Тъмната страна на данните: откритият тип данни са полезни за бизнеса и управлението, но и могат да доведат до невероятни разкрития. Те са особено чувствителни към теми като лична информация и тайна. В едно изследване, публикувано на страниците на сп. "Нейчър" [15] се посочва, че са необходими четири основни показатели като място, време, данни, вид разговор, за да се идентифицира даден човек с вероятност  95%  и определи коя е истинската му самоличност.

  Според Винсент Блондел, професор в Католическия университет в Лувен, Белгия, след като разполагаме с някои основни елементи информация от порядъка на: език, пол, зип-код, вече е възможно да идентифицираме хората. Аби Ушер, ръководител на офиса по иновации във фирмата "HumanGeo Group" отбелязва че през 2014 г. ще има много повече мобилни устройства, отколкото хора и това ще формира една "хуманитарна сензорна мрежа". Тази информация може да се използва в частния сектор за ясно дефиниране на консуматорите и изпращане на персонални оферти, на компютрите на потребителите, в зависимост от техните предпочитания, реалната ценност на продукта и води до разбиране на макротенденции и съвкупности, т.е.  тип информация необходима  на търговеца, къде точно да разположи офисите си и магазините за продажба, така че да максимализира печалбата си.

  Големите данни масово ще се използват и в публичния сектор. През 2012 г. администрацията на Барак Обама е обявила програма за изследване на „открит” тип данни и поемане на инициативи за развитие на процесите в тази сфера. За целта са отделени 200 мл. долара. Този тип данни ще намерят най-вече приложение при управление на големи бедствия. Данните ще позволяват на администрацията да функционира по нов и  продуктивен начин. Тази технология ще позволи още на правителствата  да извършват масово наблюдение върху поведението на хората и техните навици.

Ив-Александър фон Монджой един от авторите на статията в сп. “Нейчър” казва, че свързаните данни дават възможност да се идентифицира някой, който вече чете новинарски материал, постингите които прави този човек в туитър и това променя из основи идеята за анонимност и неприкосновеност. Появяват се и нови проблеми, предизвикани от отворения тип данни, тоест дигитална уединеност и неутралност се превръщат и в главни направление в политиката.

   В книгата [16] "Големите данни: революция която променя начина на живот, работа и мислене” е цитиран един случай в Ню Йорк, където специален екип към общината си е поставил за цел да направи списък със собствеността в града, наброяваща около 900 000 единици. Като се свързват в едно данни от 19 различни агенции,  показващи например дали собственикът на имота е склонен да не плаща данъци, има ли започнати процедури за определени възбрани върху имота, или за липсващи социални услуги. Екипът изследващ данните се натъква на интересни зависимости: при около 70% от имотите съществува някакъв обществен проблем, докато до този момент инспекторите посочват, че при 13% от сградите има някаква неуредица.

Доказва се по недвусмислен начин, че откритият тип данни е необходим за разрешаване на конкретни проблеми на града. Великите идеи идват от разбирането, че не живеем в изолиран свят. Необходими са хора в управлението, които да разберат, че потока от данни ще играе критична роля за живота на хората през 21. век.

Важни дати [17], свързани с развитието на технологиите за обработка на големи масиви от данни:

§  Експлозията от данни е относително ново явление. Например към 2000 г. само 1/4 от цялата световна информация е дигитална. Останалата част от данните се съхраняват на хартия, филмови ленти, архиви на аналогови медии. Благодарение на бума на компютърните технологии на всеки три години информацията, записана в компютърни центрове се удвоява. През 2013 г.  около 2% от информацията е не-дигитална.

§  През 2012 г. американският президент започва специална инициатива /Big Data Research and Development Initiative/ за изследване на проблемите в сферата на големия тип данни, за проекта се отпускат милиони долари. В програмата се включват Националната фондация за наука, Отдела за наблюдение на Земята към НАСА.

§  Бизнесът, свързан с управление на информацията помага на организациите да видят ползите от разпространението на данни. В последните години компании като Оракъл, АйБиЕм, Майкрософт и САП заделят над 15 млрд. долара, за да закупят софтуер от специализирани фирми, за управление и анализ на данни. Новопоявилата се индустрия осигурява 100 млрд. долара капиталовложения и ръст от около 10% всяка година.

§  Според изследване на IBM, днес 90% от данните са създадени в последните 2 години. Тези огромни масиви от данни се развиват благодарение на разпространението на различни ресурси за публикуване, социални медии, дигитални снимки, видео, записи на телефонни разговори, GPS данни и други. 46% от американските фирми отговарят по време на проучване, че огромната информация и данни, натрупани в бизнеса е голямо предизвикателство за тях. 34% от запитаните посочват, че управлението на разнообразието от данни е най-голямото предизвикателство за компаниите в последните години.

§  Данните непрекъснато се разширяват, като примери ще посочим, че всяка минута фирмата “Ейпъл” получава заявки за зареждане на 47 000 приложения;  водещите марки и организации индексират около 34 000 харесвания на минута; създават се 571 нови сайтове; Google получава милиони заявки за търсене, в рамките на секунди; консуматорите харчат около 2 млн. и 72 хил. долара за пазаруване по мрежата.

§  Експертите отбелязват, че към 2018 година на света ще са необходими около 140-190 хиляди специалисти, с аналитични умения и около 1.5 млн. мениджъри за управление на открития тип данни. Всяка година с около 40-60% нараства обемът от данни в големия бизнес. В сектора на медийните услуги и финансови транзакции това нарастване е 120%.

§  Проектът "Aadhar" на правителството в Индия ще доведе към 2014 г. до появата на най-голямата база данни, с биометрични характеристики.  Aadhar предствлява 12 цифров уникален номер, който ще притежава всеки индийски гражданин /Unique Identification Authority of India (UIDAI).

§  Според Gartner развитието на пазара на данни през 2012 г. е осигурил 28 млрд. долара разходи за ИТ инвестиции на глобално ниво.Тази година очакванията са за 34 млрд. инвестиции. В тези суми, разходите за анализ на социалните мрежи и аналитични инструменти за обработка на съдържание ще заемат 45% от всички инвестиции.

§  По-горните факти според изследователите са само върха на айсберга. С помощта на технологиите за обработка на открит тип данни ще възникнат нови възможности за бизнеса, ще се формират нови световни ценности.

    Задължението компетентно и надеждно да се управляват данните, така че да се запазят индивидуалните свободи на хората и правата на потребителите на услуги ще стане повече от наложително както за бизнеса, така и за висшата администрация. В едно изследване проведено през 2012 г. сред 541 професионалисти по бизнес технологии, относно доверието от страна на мениджърите  към ролята на Big Data за развитие на бизнеса и публикувано в "Information week [18]" през 2013 г. се очертават следните резултати и тенденции:

·  Експертизата, относно открития тип данни е неопределена  и скъпа услуга - 38% от анкетираните;

·  Местата за съхраняване на данни и платформите за извличане на информация са с доста високи разходи за бизнеса -33%;

·  Мениджърите не са убедени в достатъчна степен, че анализът на големия тип данни създава възможности за развитие на бизнеса - 31%;

·  Данните не са винаги точни - 21%;

·  Аналитичните инструменти не са вградени активно в платформите за обработка на данни - 22%;

·  Технологиите Hadoop и NoSQL са трудни за усвояване - 17%;

·  Данните не са достатъчни за прогнозиране на бизнес развитието - 13%;

·  Технологиите за обработка на данни не отговарят на изискванията за измерване ефективността на мениджмънта - 12%;

·  Липса на персонални притеснения, относно качествата на средствата за измерване на данните - 16%.

Бизнес модели и фази [19] за използване на откритият тип данни в съвременните компании:

·  Бизнес мониторинг -  това е начална фаза, през която бизнесът започва да наблюдава как данните могат да повлияят на крайните резултати. Обикновено се правят сравнения с предишни периоди от историята на фирмата.

·  Анализ на данните - това е следваща стъпка, при която се въвеждат различни технологии за извличане на данни и обработка на статистики от бизнес средата. Избират се достъпни на пазара платформи за анализи и се интегрират в отделните бизнес процеси; дефинират се проблемни области и ограничители при интерпретация на информацията.

·  Оптимизация на бизнеса - интегриране на всички аналитични ресурси в една обща мрежа, с цел подобряване на маркетинговите позиции, анализ на финансовите ресурси, разпределение на продуктите, оценка на нагласите на купувачите и въвеждане на специални алгоритми за обработка на данни.

·  Предаване стойност на данните - пакетиране на данните по направления /това са специални приложения, предназначени за смартфони, с цел създаване на възможности консуматорите да имат достъп до новите услуги, като зареждат програмите  на свои мобилни устройства/.

   Другата посока на развитие в тази фаза е интегриране на аналитичните инструменти директно в продукта и създаване на така наречените "интелигентни" стоки"; изграждане на стабилни отношения с клиентите и предефиниране на опита на купувачите.

Примери за успешно функциониращи бизнес модели, базирани на данни са: автомобили, които изучават поведението и навиците на шофьорите; телевизионни програми, които разпознават автоматично, какви са предпочитанията на зрителите, какво харесват, кои канали следят, кои филми записват на мобилни и преносими компютри.

·  Метаморфоза на бизнеса е последната фаза - като тук е налице промяна на моделите за правене на бизнес,  наблюдение поведението на пазара и въвеждане на нов тип иновативни услуги, консултации директно насочени към потребителя, от какво точно се нуждае, за да промени навиците си и поведението при работа с продукта.

Някои от популярните технологии [20], свързани с натрупване, събиране, съхраняване и анализ на големи данни:

§  Сензори: данните се генерират от различни ресурси, включително видео камери, телескопи, химични и биологични сензори, монитори за наблюдение на околната среда и милиони персонални и организационни уеб страници;

§  Компютърни мрежи: данни събирани от масивни компютърни мрежи като част от Интернет;

§  Складове за съхранение на данни: магнитни дискове, книги в дигитален вид, библиотеки с цифрови ресурси;

§  Кластърни компютърни системи: хиляди компютърни възли, локални мрежи, суперкомпютри /Китай, САЩ, Япония/ и софтуерни архитектури,  предназначени за колекции на данни;

§  Облачни компютърни системи: центрове за данни, сървъри от типа на Amazon Web Services, корпоративни складови за данни;

§  Алгоритми за анализ на данни: огромните обеми от данни изискват автоматични системи за обработка-техники за идентифициране на аномалии и извличане на знание. Софтуерните алгоритми са нови форми за изчисления, включващи комбинирани статистически анализи, оптимизация на резултати, изкуствен интелект, статистически модели. Например Netflix използва машини за е-обучение и тренинг, с помощта на които могат да се прогнозират интересите на зрителите като се сравнява поведението им при гледане на видео и филмова продукция, както и проследяване на историята на интересите им. Като резултат могат да се генерират модели за бъдещо поведение от прегледа на навиците на милиони зрители за гледане на филми.

    Технологии за анализ на данни предполагат развитие в бъдеще на високоскоростни мрежи, изграждане на специални мрежови инфраструктури, широколентови услуги; програмиране за кластерни компютърни архитектури-въвеждане на  разпределени компютърни системи, изобретяване  на нови методи за програмиране; разширяване на възможностите на компютърните облачни ресурси-разпределени равномерно по целия свят; развиване на системи за машинно учене и нови аналитични техники-разработване  на  алгоритми които да свързват ситуации от реалния свят, с данни събрани от трилиони микро компютърни елементи и съответните приложни програми за извличане на данни; усъвършенстване на възможностите на машините за търсене на данни, въвеждане в университетите на програми, свързани с  наука за данните и достигане на нови нива за развитие на  научни изследване под формата на eScience; сигурност и защита на данните, ефективни платформи за защита на персоналните данни, изграждане на нови криптиращи системи.

 Например хората в момента се наблюдават от много източници: видео камери, АТМ устройства, магазини, летищни системи за сигурност, градски мрежови архитектури за наблюдение и това засилва опасността от  неправомерно използване на лични данни за политически или комерсиални цели. От тук се появяват изисквания за нов тип лидерство базирано на обучение , знание и компетенции свързани с новите технологии и базирани на eScience. Open City /http://opencityapps.org/ е група от доброволци, които създават специални приложения с отворен тип данни, за да подобрят прозрачността на управлението и разбирането на гражданите за същността на администрацията.

   При търсене на информация, относно „големите” данни в Reuters могат да се открият  около 23,300 новинарски публикации, блогове по темата - 1260, видео0-материали - 15, снимки - 11. В уеб-страницата на BBC /bbc.co.uk /има общо 5881 резултати по темата, разпределени по следния начин: новинарски материали - 5577, спорт - 229, ТВ и радио програми посвeтени на тематиката -10 и iplayer - 1. В “Ню Йорк Таймс” публикациите по темата достигат 13 6000. В сайта на английския "Гардиан" има най-много резултати по темата, няколко десетки хиляди. Електронната версия на вестника поддържа и специална рубрика, наречена „Big data”. Според ресурсите в Webopedia/http://www.webopedia.com/ понятието „Големи данни” е широко разпространен израз по света, използван за описание на огромни обеми от структурирани и неструктурирани данни, които са толкова големи, че не могат да бъдат обработени с помощта на традиционните техники и софтуер за анализ на данни. Терминът, се използва и от предприемачите за  обозначаване на нов тип технология /вкл. инструменти и процеси/, която една организация използва, за да управлява и съхранява огромното количество с данни, с които разполага. Примери за открит тип данни са: "петабайтове” /1,024 терабайта/ или екзабайтове /1,024 петабайта/, или още това са данни съдържащи милиарди или трилиони записи на  информация, създадени от милиони хора, с помощта на различни ресурси /компютърни мрежи, продажби, потребителски центрове, социални медии, мобилни устройства и т.н./. Данните обикновено не са структурирани, те още са непълни или недостъпни. Организациите в този случай срещат трудности при създаване, манипулиране и управление на данни.

Големите данни, обикновено, създават проблеми при използване на традиционни аналитични средства и процедури за обработката им и изискват нови  подходи и методи за анализ. Компании като АйБиЕм предлагат решения на проблемите като разработват системи от типа на IBM PureData System за Hadoop /използва се за обработка и анализ на данни/ и IBM PureFlex System. Платформата позволява на фирмите, от различни сектори на икономиката, да анализират, администрират, управляват потока от данни, като същевременно се  гарантира сигурността на бизнес активите.  В областта на "открития тип данни" Google създава ключова технология, известна като  MapReduce, или това е мрежа от супер сложни алгоритми, с цел дистрибуция на  огромни блокове от данни, преминава се към изграждане на супер скоростни центрове за данни, които работят като складове за компютърни услуги. Накратко същността на технологията се заключва в следното:  картата с операциите е ориентирана към паралелна обработка на данни, тоест мрежата от файлове се разделя на входа на по-малки части. С други думи, ако определен персонален файл е прекалено голям и изисква  дълго време за обработка се разделя на по-малки. Разделянето на данни не нарушава първоначалната логическа структура на информацията и се  създава нова карта със задачи. Разделените файлове се обработват, с помощта на система за  запис/четене. Крайната цел е да се ограничат задачите, които обработва информационната система, без да се загуби по някакъв начин  първоначалната информация. Прилагането на тази технология в практиката става с помощта на Hadoop проекти. Новите аналитични платформи за обработка на големите данни са- Hadoop MapReduce и Hive. Езици използвани за програмиране на платформите са  Java, Perl, Python, Ruby и R. Компании, които използват технологията за паралелна обработка на данни са Amazon, Yahoo, Facebook, New York Times.

   Опитът в Европа е по-ограничен и в момента съществуват много политически, икономически, административни пречки за въвеждането в практиката на технологии за обработка на „големите” данни. Европейската комисия, например, подпомага разработване на специален портал, посветен на новата технология, като се предпочита използване на термина "открит тип данни". Според разбиранията на ЕС технологията "открит тип данни" се отнася към всички публични регистри, които са достъпни за определени заинтересовани групи. Комисията фокусира вниманието си върху генериране на ползи от повторно използване на „открития” тип данни за целите на информационния и обществен сектор. Това са още всички данни, които се събират и обработват от администрацията от типа на: геоинформация; статистики; данни, свързани с прогнози на времето; данни от обществени проекти, дигитални библиотеки и книги. Комисията поддържа разработването на технологии, за обработка на открития тип данни, поради четири основни причини:

§  публичните данни притежават потенциал да бъдат използвани за развиване на нов тип услуги и продукти. Като цяло икономическата изгода от използване на подобни данни се равнява на 40 млрд. Евро. за година, в рамките на ЕС;

§  по-ефективно справяне със социалните предизвикателства-наличието на по-голям процент отворен тип данни подпомага намирането на нови, иновативни решения на  социални проблеми;

§  постигане на по-голяма ефективност при споделяне на информация и данни между отделните административни структури;

§  засилване на участието на гражданите в политическия и социалния живот на общността и увеличаване на прозрачността на управлението.

     ЕК е подготвила и стратегия в тази област с няколко важни елемента:

·  Адаптиране на законовата рамка за повторно използване на данните- изработване на по- либерални закони в областта и предприемане на нови демократични мерки.

·  Мобилизиране на финансови инструменти в помощ на изследване и проучване, свързани с открития тип данни и разработване на програми за по-ефективна инфраструктура.

·  Подобряване на координацията и споделянето на опит, в рамките на ЕС, между отделните страни при анализ на открития тип данни.

    Ключът за социалната промяна може да се намери в развитието на комуникационните технологии и медии.  От тази гледна точка, може да се каже, че обществото представлява мрежа от комуникационни системи, ориентирани към ключови, пресечни точки, където информация значима за хората   се съхранява и оттам се предава до други части на социалната система. Във всяка определена епоха доминиращия модел за комуникация се  свързва силно с определен  тип знание и този процес автоматично води до овластяване на  определени групи, които контролират комуникацията и използват знанието, кореспондиращо с наложилата се в практиката технология. Именно с подобни ефекти се сблъскваме, когато се изследват проблемите, свързани с "открития" тип данни. Технологията, която става доминираща в момента е Интернет и от известно време онези  организационни структури, които не са в състояния да следват логиката на мрежата отпадат от големия бизнес. Технологиите променят не само обществото, но и  моделите за правене на бизнес и в зависимост от това, как се възприемат от хората могат както значително да ускорят развитието на науката, образованието, икономиката, демокрацията,  така и да доведат до по-голяма изолация на определени групи и общества, вземане на по-трудни решения в социалната сфера и поява на нови глобални проблеми, изискващи огромни средства за разрешаването им в бъдеще.

Бележки