Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012

1. Cenni alla teoria del processamento dati Gerardo Fratini LI-COR Biosciences GmbH/Inc. Corso su Tecniche Eddy Covariance, Todi 12-14 e 17-19 Settembre 2012

2. In cosa consiste il processamento dei dati? • Gli strumenti EC raccolgono una grande quantità di dati istantanei (vento, concentrazioni, temperature..) • L’insieme di questi dati è noto come “dataset raw” (“grezzo”) • Questi dati devono essere: • Selezionati in base a criteri di qualità • Calibrati/corretti, se necessario • Sintetizzati in statistiche (medie, varianze, covarianze) • Trasformati in flussi (medi) ed altri parametri utili all’analisi • Utilizzati per definire la qualità dei flussi calcolati

3. 1. Tipico dataset Eddy Covariance

4. Tipico dataset raw Eddy Covariance • Un dataset raw EC completo contiene almeno: Dati eddy ad altafrequenza (10-20Hz) misuratida un anemometro, uno o piùanalizzatoredi gas e, opzionalmente, altristrumenti “veloci” come termocoppie o trasduttoridipressione Dati bio-meteorologicia bassafrequenza (0.01-1Hz) misuratidastrumentidispostinella footprint del sistema EC Meta-dati: carateristiche del sito (luogo, altezzacoperturavegetale..) e dellastazione EC (strumentiutilizzati, altezzadimisura, separazioniecc..)

5. Dataset raw: Dati EC ad alta frequenza • Un dataset raw EC ad alta frequenza: • E’ acquisito a 5, 10 o 20 Hz • Contienedatidivento, temperaturasonica, concentrazionedei gas diinteresse, T e P dicelladeglianalizzatori, diagnosticastrumentale • E’ tipicamente organizzato in file di 30 minuti (18000 righe se gli strumenti collezionano a 10Hz), a volte file giornalieri o addirittura mensili • Ogni file contiene un’intestazione con nomi variabili e unità di misura.

6. Dataset raw: Dati EC ad alta frequenza Timestamp, è sempre bene averlo nei file Le densità molari sono le misure “native” degli analizzatori (sempre bene averle nei file) T and P di cella (per strumenti closed-path) sono essenziali per calcolare le concentrazioni e correggere i flussi Componenti del vento, temperatura sonica, diagnostica dell’anemometro La diagnostica (AGC, RSSI, CI) può essere usata per filtrare dati invalidi Concentrazioni dei gas (frazione molare o rapporto di mescolamento) hanno senso solo per strumenti closed/enclosed path (LI-7200)

7. Dataset raw: Dati EC ad alta frequenza • Sono usati dai software di processamento per: • Calcolaremedie, varianze e covarianze • Calcolare flussi non corretti, e poi correggerli • Calcolareparametriditurbolenzautiliall’analisi • Calcolare la risposta in frequenza del sistema Eddy edapportare la relativacorrezione

8. Dataset raw: Dati bio-met a bassa frequenza • Un dataset biometeorologico a bassa frequenza: • E’ acquisito a 0.01 - 1 Hz • Contienedati meteo (T, P, RH..), datidiradiazione, proprietà del suolo, misure relative allavegetazione.. • E’ tipicamente organizzato pochi file (mensili, annuali), diversi dai file EC veloci • Spesso è presentato come una media ogni 30 min di dati misurati più velocemente • E’ tipicamente in formato testo (CSV, tab-separated..)

9. Dataset raw: Dati bio-met a bassa frequenza • Sono usati dai software di processamento per: • Misure lente ed accurate di T, RH, P vengono usate per migliorare l’accuratezza nel computo dei flussi • Dati di radiazione possono essere usati per correggere i flussi per certi analizzatori • Dati di PAR possono essere usati per determinare se ad ogni istante è “giorno o notte”, e parametrizzare di conseguenza alcune correzioni

10. Dataset raw: meta-dati • Meta-dati essenziali: • Informazioni sul sito di misura e sulla stazione • Setup strumentale • Descrizione del dataset EC ad alta frequenza

11. Dataset raw: meta-dati • Sono usati per: • Importare ed interpretare i file EC ad alta frequenza • Importare ed interpretare i file bio-met a bassa frequenza • Determinare la sequenza dei passaggi di processamento • Parametrizzare le correzioni dei flussi

12. Formato dati GHG 2012-04-04T163000_AIU-0288.ghg (1.37 MB) date (4 April 2012) start time(16:30:00) ID

13. Formato dati GHG File di meta-dati Dati EC ad altafrequenza • 34 colonne x 1800 righe • 4.7 MB • 555 righe • 11 KB

14. Formato dati GHG File meta-dati File bio-met a bassafrequenza • 27 colonne x 30 righe • 7 KB • 215 righe • 4 KB

15. 2. Cenni al processamento dei dati e al calcolo dei flussi

16. Categorie di passaggi di processamento • A partire dal dataset raw, un processamento dati completo implica: Controllostatisticodelleserietemporalia bassaedaltafrequenza, finalizzatoallarimozionedidatiinvalidi Calibrazionedelleserietemporali, se questa non puòessereeffettuatadirettamenteall’internodellostrumentodimisura Correzione delle serie temporali, per inevitabili imperfezioni di setup Calcolo dei flussi non corretti, o prima stima dei flussi Correzione dei flussi Calcolo di ulteriori parametri di interesse

17. 1/6 Controllo statistico delle serie temporali Rimozionedegli spikes Rimozionedivalorifisicamenteimpossibili Riconoscimentoedeventualerimozionediserietemporaliproblematiche (tipicamente per cause strumentali)

18. 2-3/6 Calibrazione e correzione serie temporali Calibrazionedativento per l’angolod’attacco Calibrazioneper eventuali derive strumentali note Correzioneper ildisallineamentodeglistrumentirispetto al flussomisuratoedaltreimperfezionidi setup

19. 4/6 Calcolo dei flussi non corretti Equazionegeneraleflussodi un gas: Flussodicaloresensibile: Flussodicalorelatente: Flussodiquantitàdimoto:

20. 5/6 Correzione dei flussi • Effetti delle fluttuazioni della densità dell’aria • Perdite di informazione dovuti a limiti intrinseci degli strumenti e a limiti del setup in campo (“perdite spettrali”) • Correzione degli effetti dell’umidità atmosferica sulle misure anemometriche • Correzioni specifiche per peculiarità di alcuni strumenti, ad esempio: • Correzione spettroscopica per l’analizzatore di metano LI-7700 • Corrrezione per gli effetti di riscaldamento dell’analizzatore di CO2/H2O LI-7500(A)

21. 6/6 Calcolo ulteriori parametri di interesse • Parametri della turbolenza utili alla selezione dei risultati validi • Parametri micro-meteorologici per l’analisi dei risultati • Spettri e cospettri per valutare: • La “qualità” del sito per misure Eddy • La qualità dell’istallazione strumentale • La qualità delle misure effettuate dagli strumenti • Area campionata (footprint), per l’intepretazione ecologica dei flussi

22. 3. Software per il processamento Eddy Covariance

23. Software di processamento “fatti in casa” • Tradizionalmente, ogni gruppo di ricerca sviluppava “in casa” delle routine di calcolo per i flussi per i propri siti: • Vantaggi • (in teoria) Si sa esattamente cosa si e’ implementato • Si puo’ accedere al codice sorgente e modificarlo a piacimento ed in base alla necessita’ • Svantaggi • La sequenza di operazioni e’ molto complessa: il codice di calcolo e’ complesso a sufficienza da necessitare un ingegnere del software • Quasi mai i software fatti in casa vengono validati esaustivamente

24. Progetti software EC • Alcuni software “fatti in casa” sono stati distribuiti, arricchiti ed ampiamenti validati. In altri casi, software EC sono stati pensati esplicitamente per la comunita’ e non per uso interno. • Tra i più noti, rinomati ed usati: • EdiRe, R. Clement (Università di Edimburgo, UK) • EddySoft, O. Kolle (Max Planck Institute, Germania) • TK3, T. Foken & M. Mauder (Univ. di Göttingen, Germania) • Alteddy, I. Elbers (Università di Wageningen, Olanda) • EddyPro/ECO2S, Univ. Tuscia / IMECC / LI-COR Biosciences • EddyUH, I. Mammarella (Università di Helsinki, Finlandia)

25. EddyPro Cos’è EddyPro? • Un software per il calcolo e l’analisi dei flussi Eddy Covariance • Il primo progetto Eddy Covariance open-source • Una piattaforma per lo sviluppo, la verifica e la condivisione di nuovi metodi legati all’EC • 100K+ linee di codice Fortran 90 e C++ • Il primo software EC ufficialmente validato tramite confronto 6 altri rinomati software EC

26. Perché EddyPro? • Perché nessun’altro software EC: • E’ sia gratuito che open-source • E’ statoesplicitamenteprogettato per essereusato con profittosiadaespertichedainesperti • Assicura un supporto tecnico dedicato • Assicura manutenzione e sviluppo in futuro

27. Breve cronologia di EddyPro • Feb 2011: Il consorzio IMECC-EU rilascia ECO2S, “Eddy COvariance COmmunity Software” • Apr 2011: LI-COR rilascia EddyPro Express • Dec 2011: LI-COR rilasciaEddyPro 3.0 (anchenoto come “EddyPro Advanced”) • Apr 2012: LI-COR rilascia EddyPro 4.0

28. Cosa fa EddyPro? • EddyPro importa: • Dati EC ad altafrequenzapraticamente in ogniformato • Dati bio-meteo a bassafrequenza • Meta-datiriguardantiilsitoedil setup strumentale

29. Cosa fa EddyPro? • EddyPro produce: • Flussicorrettidienergia e massa • Stima dell’incertezza random per tutti i flussi • Stima della footprint • Parametri di turbolenza e micro-meteorologici • Controllidiqualitàper idati raw e per tutti I flussi • Spettri e cospettri per analisi della turbolenza

30. Ottenere flussi in tre semplici passi con EddyPro Express Descrizione del dataset raw, del sito e del setup strumentalenellapaginaProject Creation Selezionare le variabili da usare per calcolare i flussi nella pagina Dataset Selection Cliccare Run > Express Mode

31. Ottenere flussi in tre semplici passi con EddyPro Express Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation

32. Ottenere flussi in tre semplici passi con EddyPro Express Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation Seleziona il formato dei dati raw

33. Ottenere flussi in tre semplici passi con EddyPro Express Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation Seleziona un file di meta-dati o crearne uno nuovo

34. Ottenere flussi in tre semplici passi con EddyPro Express Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation Descrivere il sito, il setup strumentale ed il contenuto dei file raw usando il “Metadata File Editor”

35. Ottenere flussi in tre semplici passi con EddyPro Express Step 1Descrizione del dataset raw, del sito e del setup strumentale: Project Creation • Ma se i vostri dati raw sono in formato LI-COR GHG lo Step 1 si riduce a: vai allo Step2! • I file LI-COR GHG sono auto-descritti • Informazioni sul sito e sul setup strumentale sono dentro ad ogni file GHG • I dati bio-meteorologicisonomemorizzatiinsiemeaidati ad altafrequenza, dentro ad ogni file GHG

36. Ottenere flussi in tre semplici passi con EddyPro Express Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection

37. Ottenere flussi in tre semplici passi con EddyPro Express Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection Selezionare la cartella dove sono contenuti i file raw, e quella dove mettere i risultati

38. Ottenere flussi in tre semplici passi con EddyPro Express Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection Pochi settaggi come il tempo di media. Nella maggior parte dei casi, i settaggi di default faranno al caso vostro.

39. Ottenere flussi in tre semplici passi con EddyPro Express Step 2Selezionedellevariabili per calcolareiflussi: Dataset Selection Selezionare le variabili da utilizzare per i flussi, nel caso in cui più variabili alternative siano disponibili nei file raw

40. Ottenere flussi in tre semplici passi con EddyPro Express Step 3CliccaRun > Express • Clicca semplicemente • ed EddyPro: • Importerà i dati raw estraendo le variabili scelte • Interpreterà i meta-dati per applicare la sequenza di operazioni e le parametrizzazioni più opportune in base al setup strumentale ed al sito • Applicherà le opzionidicorrezionepiùcondiviseedadeguate • Produrràflussicorretti e informazionididiagnostica, controllodiqualità e analisideiflussi