Cenni alla teoria del processamento dati
Download
1 / 40

Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012 - PowerPoint PPT Presentation


  • 125 Views
  • Uploaded on

Cenni alla teoria del processamento dati. Gerardo Fratini LI-COR Biosciences GmbH/Inc. Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012. In cosa consiste il processamento dei dati?.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012' - darius


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

Cenni alla teoria del processamento dati

Gerardo Fratini

LI-COR Biosciences GmbH/Inc.

Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012


In cosa consiste il processamento dei dati?

  • Gli strumenti EC raccolgono una grande quantità di dati istantanei (vento, concentrazioni, temperature..)

  • L’insieme di questi dati è noto come “dataset raw” (“grezzo”)

  • Questi dati devono essere:

    • Selezionati in base a criteri di qualità

    • Calibrati/corretti, se necessario

    • Sintetizzati in statistiche (medie, varianze, covarianze)

    • Trasformati in flussi (medi) ed altri parametri utili all’analisi

    • Utilizzati per definire la qualità dei flussi calcolati



Tipico dataset raw Eddy Covariance

  • Un dataset raw EC completo contiene almeno:

Dati eddy ad altafrequenza (10-20Hz) misuratida un anemometro, uno o piùanalizzatoredi gas e, opzionalmente, altristrumenti “veloci” come termocoppie o trasduttoridipressione

Dati bio-meteorologicia bassafrequenza (0.01-1Hz) misuratidastrumentidispostinella footprint del sistema EC

Meta-dati: carateristiche del sito (luogo, altezzacoperturavegetale..) e dellastazione EC (strumentiutilizzati, altezzadimisura, separazioniecc..)


Dataset raw: Dati EC ad alta frequenza

  • Un dataset raw EC ad alta frequenza:

  • E’ acquisito a 5, 10 o 20 Hz

  • Contienedatidivento, temperaturasonica, concentrazionedei gas diinteresse, T e P dicelladeglianalizzatori, diagnosticastrumentale

  • E’ tipicamente organizzato in file di 30 minuti (18000 righe se gli strumenti collezionano a 10Hz), a volte file giornalieri o addirittura mensili

  • Ogni file contiene un’intestazione con nomi variabili e unità di misura.


Dataset raw: Dati EC ad alta frequenza

Timestamp, è sempre bene averlo nei file

Le densità molari sono le misure “native” degli analizzatori (sempre bene averle nei file)

T and P di cella (per strumenti closed-path) sono essenziali per calcolare le concentrazioni e correggere i flussi

Componenti del vento, temperatura sonica, diagnostica dell’anemometro

La diagnostica (AGC, RSSI, CI) può essere usata per filtrare dati invalidi

Concentrazioni dei gas (frazione molare o rapporto di mescolamento) hanno senso solo per strumenti closed/enclosed path (LI-7200)


Dataset raw: Dati EC ad alta frequenza

  • Sono usati dai software di processamento per:

  • Calcolaremedie, varianze e covarianze

  • Calcolare flussi non corretti, e poi correggerli

  • Calcolareparametriditurbolenzautiliall’analisi

  • Calcolare la risposta in frequenza del sistema Eddy edapportare la relativacorrezione


Dataset raw: Dati bio-met a bassa frequenza

  • Un dataset biometeorologico a bassa frequenza:

  • E’ acquisito a 0.01 - 1 Hz

  • Contienedati meteo (T, P, RH..), datidiradiazione, proprietà del suolo, misure relative allavegetazione..

  • E’ tipicamente organizzato pochi file (mensili, annuali), diversi dai file EC veloci

  • Spesso è presentato come una media ogni 30 min di dati misurati più velocemente

  • E’ tipicamente in formato testo (CSV, tab-separated..)


Dataset raw: Dati bio-met a bassa frequenza

  • Sono usati dai software di processamento per:

  • Misure lente ed accurate di T, RH, P vengono usate per migliorare l’accuratezza nel computo dei flussi

  • Dati di radiazione possono essere usati per correggere i flussi per certi analizzatori

  • Dati di PAR possono essere usati per determinare se ad ogni istante è “giorno o notte”, e parametrizzare di conseguenza alcune correzioni


Dataset raw: meta-dati

  • Meta-dati essenziali:

  • Informazioni sul sito di misura e sulla stazione

  • Setup strumentale

  • Descrizione del dataset EC ad alta frequenza


Dataset raw: meta-dati

  • Sono usati per:

  • Importare ed interpretare i file EC ad alta frequenza

  • Importare ed interpretare i file bio-met a bassa frequenza

  • Determinare la sequenza dei passaggi di processamento

  • Parametrizzare le correzioni dei flussi


Formato dati GHG

2012-04-04T163000_AIU-0288.ghg

(1.37 MB)

date

(4 April 2012)

start time(16:30:00)

ID


Formato dati GHG

File di meta-dati

Dati EC ad altafrequenza

  • 34 colonne x 1800 righe

  • 4.7 MB

  • 555 righe

  • 11 KB


Formato dati GHG

File meta-dati

File bio-met a bassafrequenza

  • 27 colonne x 30 righe

  • 7 KB

  • 215 righe

  • 4 KB



Categorie di passaggi di processamento

  • A partire dal dataset raw, un processamento dati completo implica:

Controllostatisticodelleserietemporalia bassaedaltafrequenza, finalizzatoallarimozionedidatiinvalidi

Calibrazionedelleserietemporali, se questa non puòessereeffettuatadirettamenteall’internodellostrumentodimisura

Correzione delle serie temporali, per inevitabili imperfezioni di setup

Calcolo dei flussi non corretti, o prima stima dei flussi

Correzione dei flussi

Calcolo di ulteriori parametri di interesse


1/6 Controllo statistico delle serie temporali

Rimozionedegli spikes

Rimozionedivalorifisicamenteimpossibili

Riconoscimentoedeventualerimozionediserietemporaliproblematiche (tipicamente per cause strumentali)


2-3/6 Calibrazione e correzione serie temporali

Calibrazionedativento per l’angolod’attacco

Calibrazioneper eventuali derive strumentali note

Correzioneper ildisallineamentodeglistrumentirispetto al flussomisuratoedaltreimperfezionidi setup


4/6 Calcolo dei flussi non corretti

Equazionegeneraleflussodi un gas:

Flussodicaloresensibile:

Flussodicalorelatente:

Flussodiquantitàdimoto:


5/6 Correzione dei flussi

  • Effetti delle fluttuazioni della densità dell’aria

  • Perdite di informazione dovuti a limiti intrinseci degli strumenti e a limiti del setup in campo (“perdite spettrali”)

  • Correzione degli effetti dell’umidità atmosferica sulle misure anemometriche

  • Correzioni specifiche per peculiarità di alcuni strumenti, ad esempio:

    • Correzione spettroscopica per l’analizzatore di metano LI-7700

    • Corrrezione per gli effetti di riscaldamento dell’analizzatore di CO2/H2O LI-7500(A)


6/6 Calcolo ulteriori parametri di interesse

  • Parametri della turbolenza utili alla selezione dei risultati validi

  • Parametri micro-meteorologici per l’analisi dei risultati

  • Spettri e cospettri per valutare:

    • La “qualità” del sito per misure Eddy

    • La qualità dell’istallazione strumentale

    • La qualità delle misure effettuate dagli strumenti

  • Area campionata (footprint), per l’intepretazione ecologica dei flussi



Software di processamento “fatti in casa”

  • Tradizionalmente, ogni gruppo di ricerca sviluppava “in casa” delle routine di calcolo per i flussi per i propri siti:

    • Vantaggi

    • (in teoria) Si sa esattamente cosa si e’ implementato

    • Si puo’ accedere al codice sorgente e modificarlo a piacimento ed in base alla necessita’

    • Svantaggi

    • La sequenza di operazioni e’ molto complessa: il codice di calcolo e’ complesso a sufficienza da necessitare un ingegnere del software

    • Quasi mai i software fatti in casa vengono validati esaustivamente


Progetti software EC

  • Alcuni software “fatti in casa” sono stati distribuiti, arricchiti ed ampiamenti validati. In altri casi, software EC sono stati pensati esplicitamente per la comunita’ e non per uso interno.

  • Tra i più noti, rinomati ed usati:

    • EdiRe, R. Clement (Università di Edimburgo, UK)

    • EddySoft, O. Kolle (Max Planck Institute, Germania)

    • TK3, T. Foken & M. Mauder (Univ. di Göttingen, Germania)

    • Alteddy, I. Elbers (Università di Wageningen, Olanda)

    • EddyPro/ECO2S, Univ. Tuscia / IMECC / LI-COR Biosciences

    • EddyUH, I. Mammarella (Università di Helsinki, Finlandia)


EddyPro

Cos’è EddyPro?

  • Un software per il calcolo e l’analisi dei flussi Eddy Covariance

  • Il primo progetto Eddy Covariance open-source

  • Una piattaforma per lo sviluppo, la verifica e la condivisione di nuovi metodi legati all’EC

  • 100K+ linee di codice Fortran 90 e C++

  • Il primo software EC ufficialmente validato tramite confronto 6 altri rinomati software EC


Perché EddyPro?

  • Perché nessun’altro software EC:

  • E’ sia gratuito che open-source

  • E’ statoesplicitamenteprogettato per essereusato con profittosiadaespertichedainesperti

  • Assicura un supporto tecnico dedicato

  • Assicura manutenzione e sviluppo in futuro


Breve cronologia di EddyPro

  • Feb 2011: Il consorzio IMECC-EU rilascia ECO2S, “Eddy COvariance COmmunity Software”

  • Apr 2011: LI-COR rilascia EddyPro Express

  • Dec 2011: LI-COR rilasciaEddyPro 3.0 (anchenoto come “EddyPro Advanced”)

  • Apr 2012: LI-COR rilascia EddyPro 4.0


Cosa fa EddyPro?

  • EddyPro importa:

  • Dati EC ad altafrequenzapraticamente in ogniformato

  • Dati bio-meteo a bassafrequenza

  • Meta-datiriguardantiilsitoedil setup strumentale


Cosa fa EddyPro?

  • EddyPro produce:

  • Flussicorrettidienergia e massa

  • Stima dell’incertezza random per tutti i flussi

  • Stima della footprint

  • Parametri di turbolenza e micro-meteorologici

  • Controllidiqualitàper idati raw e per tutti I flussi

  • Spettri e cospettri per analisi della turbolenza


Ottenere flussi in tre semplici passi con EddyPro Express

Descrizione del dataset raw, del sito e del setup strumentalenellapaginaProject Creation

Selezionare le variabili da usare per calcolare i flussi nella pagina Dataset Selection

Cliccare Run > Express Mode


Ottenere flussi in tre semplici passi con EddyPro Express

Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation


Ottenere flussi in tre semplici passi con EddyPro Express

Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation

Seleziona il formato dei dati raw


Ottenere flussi in tre semplici passi con EddyPro Express

Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation

Seleziona un file di meta-dati o crearne uno nuovo


Ottenere flussi in tre semplici passi con EddyPro Express

Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation

Descrivere il sito, il setup strumentale ed il contenuto dei file raw usando il “Metadata File Editor”


Ottenere flussi in tre semplici passi con EddyPro Express

Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation

  • Ma se i vostri dati raw sono in formato LI-COR GHG lo Step 1 si riduce a: vai allo Step2!

  • I file LI-COR GHG sono auto-descritti

  • Informazioni sul sito e sul setup strumentale sono dentro ad ogni file GHG

  • I dati bio-meteorologicisonomemorizzatiinsiemeaidati ad altafrequenza, dentro ad ogni file GHG


Ottenere flussi in tre semplici passi con EddyPro Express

Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection


Ottenere flussi in tre semplici passi con EddyPro Express

Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection

Selezionare la cartella dove sono contenuti i file raw, e quella dove mettere i risultati


Ottenere flussi in tre semplici passi con EddyPro Express

Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection

Pochi settaggi come il tempo di media. Nella maggior parte dei casi, i settaggi di default faranno al caso vostro.


Ottenere flussi in tre semplici passi con EddyPro Express

Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection

Selezionare le variabili da utilizzare per i flussi, nel caso in cui più variabili alternative siano disponibili nei file raw


Ottenere flussi in tre semplici passi con EddyPro Express

Step 3CliccaRun > Express

  • Clicca semplicemente

  • ed EddyPro:

  • Importerà i dati raw estraendo le variabili scelte

  • Interpreterà i meta-dati per applicare la sequenza di operazioni e le parametrizzazioni più opportune in base al setup strumentale ed al sito

  • Applicherà le opzionidicorrezionepiùcondiviseedadeguate

  • Produrràflussicorretti e informazionididiagnostica, controllodiqualità e analisideiflussi


ad