Big Data е последната връзка при прогнозиране на метеорологичните условия. По света хиляди компании, научни центрове, институции и т.н. използват големите данни, за да намерят модели, където и да се намират, големи данни. В метеорологията, наука, която също има огромно и огромно количество данни, Big Data също има своите полезни приложения. Е модерен и мощен инструмент, той може да се използва по много начини. Въпреки че сте посочени като едно нещо, можете да постигнете много различни прогнози в зависимост от това, което търсите. Разбира се, достигна и до метеорологията и тук ще ви разкажем какво прави и как.
Първо, нека си спомним това предвиждането на времето винаги е било една от основните потребности на хората. Преди хиляди години прогнозите за времето бяха много важни, дори повече от днес, за оцеляването. Технологичното развитие не беше толкова авангардно, всяка нестабилност може да има сериозни последици. Въпреки че винаги е имало тази необходимост да се предотврати времето, едва при пристигането на Аристотел можем да измислим термина метеорология. Той го нарече „метеорологичен“, името, което даде на книгата си, около 340 г. пр. Н. Е.
Големи данни в прогнозите
Логиката на атмосферното поведение не спира да се развива оттогава. Все по-бързо и по-бързо. От термометъра, изобретен от Галилео през 1607 г., до компютърни симулации, базирани на данни, събрани от сателити. В момента сме изправени пред големи данни, мнозина са съгласни с това това е най-революционният инструмент, откакто съществува интернет и не е за по-малко. Сякаш това беше бъдеще на научната фантастика, днес можем да кажем, че е реално.
Както коментирахме, Големите данни започват да поемат отговорността днес, като дават тази друга гледна точка на метеоролозите. Където не можеха да отидат или вярваха, че са прави, без да са, Големите данни ви показват какво е било скрито или незабелязано, също с никога не достигнато ниво на точност. Има компании, които вече предлагат тези услуги днес. Институции, правителства и компании, които използват големи данни, за да предвидят климата. Но как е целият този процес? Как се прави? Как се възползваме? След това ще видим и разберем как е възможен целият този процес на технологични иновации.
Как работят големите данни?
Приблизително, Големите данни поставят повече от гледането към небето, за да се съсредоточат върху данните, и че те се обработват правилно. За да можете да разберете повече в неговия мащаб последиците от метеорологията, първо трябва да обясните как работи.
Big Data има основното си действие в това, което се нарича 4 V.
Volumen
Това означава количеството данни. Цялото това количество събрани данни е това, което е известно като обем. Тя може да варира в зависимост от това какво се прилага, понякога имаме много данни, а друг път „по-малко“. Тоест, можем да преминем от 1.000 милиона данни до няколко трилиона, в зависимост от това кои се анализират.
скорост
Това означава, скоростта, с която се генерират данните. Те идват от необходимостта да ги заснемете, съхраните и обработите. Колкото повече данни има, толкова по-бързо се съхраняват те, толкова повече има за анализ. Скоростта е от двойно значение при прогнозите за времето, тъй като събитията се случват в реално време и трябва да бъдат обработени възможно най-скоро.
разнообразие
Понякога има формат как тези данни идват, друг път други. Всеки тип данни има своя собствена класификация. Друг път някои липсват (има техники за отстраняване на това, или грешките биха били огромни), а друг път те идват във видео форми дори. Съществува съвсем различна маса данни, която в Big Data отговаря за въвеждането на поръчка, логика, която трябва да бъде добре анализирана. Например, измерванията на температурата от термометър „не могат“ да бъдат поставени в същия пакет като сателитните измервания отпред.
Достоверност
Свързани с скобите на предишната точка. Това означава, че данните най-накрая стават чисти, без "странни" неща. Екипите за управление на големи данни трябва да имат безпристрастен екип, обучен да поддържа добра структура. Последиците от лошата достоверност на данните имат много негативни последици. За да добиете представа, все едно група механици са приключили ремонта на автомобил и са забравили да завинтват две колела.
Пример за достоверността на данните
Имаме много записи от много области. Нека си представим, че имаме температури, нива на влажност, ветрове и т.н. Но ние имаме грешка и ни липсват някои температурни записи за дадена област, по каквато и да е причина, и не можем да получим достъп до информация каква температура е записана. Разполагаме с общо 30 данни и две от тях, без накрая температура.
Това, което може да се направи, например, е да се изчисли средната температура на тези региони, за да се определи точно възможната температура, на която може да се разчита в липсващия запис, но също и с много малки граници на грешка. Стойностите са резервни части, и след това изчислението може да се приложи на практика. Ако тези данни липсваха, компютрите нямаше да ги разпознаят, създаване на черна дупка в данните и тотално грешни прогнози.
Как се получава?
В метеорологията, както във всяка област, данните идват под формата на променливи. Тоест, всеки един се обработва по начина, по който принадлежи. И макар да изглежда много заплетена и сложна, задачата става „лесна“ за анализаторите на Big Data. Променливите, които можем да запишем в метеорологията, въпреки че те все още са данни, те могат да принадлежат към различни семейства. Тоест променлива е всякакви данни, които могат да бъдат класифицирани, но те не винаги са еднакви.
Изображението по-горе, предоставено от НАСА, показва пример за течения около планетата. В случая с НАСА те имат голям брой спътници, които им позволяват да наблюдават и измерват явления по целия свят в реално време.
Big Data може да прочете всяка следа, която нещо оставя за нещо и това може да се счита за данни. Мнозина, когато мислят за Big Data, бързо ще се замислят, когато използваме мобилни телефони, сърфираме в интернет, щракваме върху страница, купуваме елемент онлайн или го харесваме във Facebook. Това е само "малка", но плътна част, да, тя е много надеждна и добре кодирана. Но от своя страна оставяме физическа / виртуална следа, като GPS местоположението, където се намираме, благодарение на мобилните телефони. Тук вече започваме да смесваме виртуалния свят с физическия. И разбира се, физически движения, физически покупки, според възрастта, какво избираме, всичко това винаги се архивира, и разбира се, може да се превърне във все повече и повече данни.
Променливите могат да бъдат категорични
Категоричните променливи са тези, които представляват стойности или ограничени променливи, които не означават непременно конкретна величина. Те представляват качеството на нещо, което описват. По същество тяхната особеност е ограничението на това, което те представляват. Те могат да бъдат класифицирани в две полета.
Номинални категориални променливи
Те са тези, които представляват нещата в едно и също поле без логическа връзка всеки. Например: Името на регионите, които показват откъде са записите, като град, автономна общност, пощенски код и др.
Редови категориални променливи
Те са тези, които може да представлява величината на нещо, като скалата на Дъглас в нивото на вълната, нивото на скалата, с която торнадо могат да бъдат класифицирани според тяхната величина и т.н.
Променливите могат да бъдат числови
Числовите променливи са тези, които представляват стойности или променливи в рамките на една величина и могат да бъдат измерими. Те представляват количествени стойности. Тяхната уникална характеристика е, че могат да представят много широк диапазон от измервания на метеорологични явления. Те се класифицират по два начина
Непрекъснати числови променливи
Непрекъснатите променливи са тези, които отговарят за измерването на нещо установено. Примери за тях биха били индексът на влажност, температура, скорост на вятъра, количество валежи и т.н.
Дискретни числови променливи
Това са тези те следят нещо установено. Тоест, колко пъти е валял за една година в даден регион, колко пъти е валял сняг и т.н.
Всички променливи се обработват
След като всички променливи са класифицирани, те се обработват благодарение на компютри, винаги контролиран от анализатори на Големи данни. Допреди няколко години количеството данни, които бяха на разположение, въпреки че беше много голям, нямаше проблеми, които да бъдат анализирани от анализаторите на данни. Анализът на големи данни обаче е отговорен за анализа на тези масивни данни, където процесите на анализ, които са били обичайни до днес, ще отнемат много време (дори говорим за дни), за да дадем отговор Не само това, големите данни са по-ефективни и точни, като „играят“ с променливите между тях.
Всичко това произхожда това, което преди сме коментирали 4 V на Big Data, постигайки скорост, надеждност и метеорологични модели, които дават невероятно точни прогнози за супер кратък период от време.
Големите данни като зараждаща се дисциплина
Добър пример би бил да се говори за компанията ACCIONA, която има Център за контрол на възобновяемата енергия (CECOER). Това е най-големият център в света където целта е да се осигурят решения в реално време, за милионите данни, които се събират от неговите съоръжения, както биомаса, вятър и слънчева енергия. Той създава около 3000 годишни графика, които вземат всички тези данни, за да се приспособят към необходимото търсене. Друго предимство на CECOER е приемането на инциденти, които те имат от своите съоръжения, като по този начин 50% от тях се решават дистанционно. Останалите 50% са физически фиксирани от операторите. По този начин, Acciona получава своята възобновяема енергия, повече от алтернативна енергия, днес е решение.
CECOER АКЦИЯ
Друг важен факт за големите данни днес е недостигът на специалисти по данни. Това е зараждащо се поле, и това се натъкна на някои предварително замислени стандарти. Могат ли големите данни наистина да помогнат толкова много за развитието на прогнозите, да докладват за ползите на компаниите, да могат да предвидят толкова много неща и да оправдаят разходите за анализ на големи данни? Да, но това е нещо, което се вижда малко по малко. Нарастващото търсене на изследователи на данни успоредно с резултатите и чрез разбиране на нуждата от тях на всички места. Вярно е, че вече работят много екипи за големи данни с впечатляващи резултати, но точно сега откриваме, че има по-голямо търсене. Анализаторите на големи данни са много търсени.
Съответно, ние живеем революцията, която те предполагат в развитието, но от самото начало. Както всяка индустрия, сега сме свидетели на нейния потенциал, но той не е напълно развит, това е нещо, което времето ни подготвя. Едно нещо вече е очевидно, настоящият му потенциал, другото докъде може да стигне. Вашите резултати няма да ни оставят безразлични.
Карта на модела на IBM
The Weather Company на IBM е частна компания, която предлага до 26 милиона дневни прогнози за времето. IBM от самото начало се откроява, заедно с Google, като една от най-новаторските компании в тази област. The Weather Company е изключително ангажирана с хората, вземайки информирани решения за времето. Това е най-голямата мрежа в света от лични метеорологични станции. Най-големите световни марки в авиацията, енергетиката, застраховането, медиите и правителството зависят от The Weather Company за данни, технологични платформи и услуги.
Големи данни срещу изменението на климата
Глобален пулс на ООН, инициатива за големи данни на Обединените нации и Western Digital Corporation, подписаха съюз за съвместна борба срещу изменението на климата. Този проект, ръководен от ООН и Western Digital Corp., обединява учени в областта на цифровите иновации от цял свят за да атакувате проблема по по-ефективен начин. Сред тях намираме сътрудници от много различни сектори сред тях. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... са част от тези, които участват в този проект.
Ние също намираме Център за суперкомпютри в Барселона (BSC), това е четвъртият модел от поредицата MareNostrum. Суперкомпютър за анализ на големи данни ключов в много области, сред тях е и борбата за изменението на климата. Той беше пуснат в експлоатация в края на юни тази 2017 г. Това е третият най-бърз компютър в Европа, в него е направена инвестиция за инсталирането на 34 милиона евро от Министерството на икономиката, индустрията и конкурентоспособността на Испания. Той има капацитет от 14 петабайта, т.е. 14 милиона гигабайта. Той достига 11,1 петафлопса, тоест варварството от 11.100 XNUMX милиарда операции в секунда.
Големи данни в бъдещето на метеорологията и в живота ни
В един променящ се свят, където промените стават все по-бързи и все по-изненадващи, е трудно да се предскаже бъдещето на нещо. Това, което със сигурност знаем, е това Големите данни са останали, и че прогнозите, направени както метеорологични, така и в други области, ни оставят недоумени. Някои ще останат скептични, други ще го отрекат, трети ще го видят като нещо далечно. Но истината е, че вече живеем с него.
И до днес знаем, че Big Data предвижда много дъждове, сезони на урагани и дори с голяма точност броя на медалите, които една страна може да спечели на Олимпийските игри. Той също така предвижда кой, къде и кога ще бъде извършено престъпление (ако някой е гледал филма "Доклад за малцинствата", това му е минало през ума, нали?). Голяма информация бързо се движи към предвиждане на бъдещето на много области, и то е, че дори Amazon започва да го предвижда и наскоро започна да прави пратки, дори преди клиентите да направят покупки. Бъдещето беше до днес, често несигурно. Но се променя бъдещето е предсказуемо.
Знаем, че потенциалът му ще нараства. Кой знае, може да е необмислено да предвидиш кой предвижда (Големи данни) нещо. Но с достатъчно данни, Ще могат ли големите данни да очакват глобалния климат с огромно очакване? Да. Точно както можете да предвидите, че нашите действия биха дали различни сценарии на тези, дадени по-рано, тъй като всяко действие има своето ехо в бъдеще, а Големите данни го знаят и преоценяват, давайки нов нов сценарий.
Всичко може да се очаква. Ще можем ли да знаем в близко бъдеще какво ще ни се случи? С какви проблеми ще се сблъскаме? Кога и къде ще удари ураган? Какво ще трябва да продължим да го решаваме? С подобряването на техниките компютрите се подобряват в ефективност и скорост, това поле продължава да се развива ... Най-вероятно е, че вместо да отговорим „кой знае“, може би най-подходящото нещо ще бъде да кажем „нека попитаме големите данни“.