CMS – wyzwalanie na miony w oparciu o komory RPC

1. CMS – wyzwalanie na miony w oparciu o komory RPC Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009

2. CMS - Compact Muon Solenoid Całkowita waga: 12 500 t Średnica: 15 m Długość: 21.6 m Pole magnetyczne: 4 Tesla Karol Buńkowski, UW

3. Dlaczego wyzwalanie w LHC? LHC 2  2875 paczek protonów 1011protonów / paczka E = 7 TeVnaproton 40 milionów przecięć paczek /s ~ 20oddziaływań proton-proton co każde25 ns, W wyniku których powstają setki cząstek Odpowiedz detektora ~1 MBytedanych (skompresowancyh)  4  1013 Bytes (4000 GB) / s Strumień danych niemożliwy do zapisania Karol Buńkowski, UW

4. Dlaczego wyzwalanie w LHC?(2) Większość ze zdarzeń jest nieinteresująca („klasyczna” fizyka) Sygnatura: niskiepędy poprzeczne (pT) Interesują nas Bardzo żadkie zdarzenia w którychpowstały nowe ciężkie cząstki Rozpadają się one na wysokoenergetyczne obiekty: dżety hadronowe, leptony, fotony Sygnatura: wysokiepędy poprzeczne (pT) Karol Buńkowski, UW

5. System wyzwalania („tryger”) zapisz odrzuć Ocenia wybrane, zgrubne dane z każdego zdarzenia i na ich podstawie decyduje czy Zapisać zdarzenie do pamięci masowej Czy też go odrzucić Karol Buńkowski, UW

6. System wyzwalania i akwizycji danych w CMS • Tryger pierwszego stopnia (Level 1) • Dedykowana elektronika • @ 40 MHz • Analizuje każde zdarzenie •  przetwarzanie potokowe; wypracowanie decyzji - 3.2 s, w tym ~2 s transmisja danych Wyjście ≤100 kHz Bufory odczytowe na 128 przypadków = 3.2 s • Tryger wyższego stopnia • Farma ~1000 komputerów, wykonujących algorytmy selekcji przypadków – analiza danych w czasie rzeczywistym: • Stopniowa rekonstrukcja przypadku • Uwzględniona kinematyka i topologia przypadku • Informacje z trackera, pełny tracking • Redukcja przypadków ze 100 kHz do100 Hzzapisywanych na taśmach magnetycznych • Event Builder • switching network • (~512 FED512 BuilderUnits) • Całkowita przepustowość ok. 500 Gbit/s Karol Buńkowski, UW

7. Tryger pierwszego stopnia (Level 1) Calorimeter Trigger Muon Trigger DAQ RPC hits CSC hits DT hits ECAL Trigger Primitives HCAL Trigger Primitives Podsystemy trygera: Identyfikują sortują obiekty trygerowe, Link system Segment finder Segment finder RegionalCalorimeterTrigger Track finder Pattern Comparator Track finder 40 MHz pipeline 4+4 m 4 m 4 m MIP+ISO bits GlobalCalorimeterTrigger Global Muon Trigger Algorytmy GT: cięcia uwzględniają lokalizacje i koincydencje obiektów 4 m e/, J, ET, HT, ETmiss Global Trigger Status L1A TTC system TTS system ` 32 partitions Detectors Frontend Karol Buńkowski, UW Seminarium Oddziału Fizyki i Astrofizyki Cząstek IFJ, 26 maja 2009

8. Tryger mionowy Identyfikacja mionów, zakładana efektywność >95% dla mionów z pT> 40 GeV Odpowiednio dokładny pomiar pędu i znaku mionów(po cięciu na ok. 25 GeV/c częstość trygera < 12.5 kHz) Jednoznaczne przypisanie mionu do zdarzenia (przecięcia paczek) Niski poziom fałszywych trygerów i „duchów” Trzy niezależne podsystemy: CSC – pokrywy RPC – beczka i pokrywy DriftTube– beczka • Dwa stopnie: • lokalne segmenty śladów w komorach • Track Finders (TF) – budowanie pełnych śladów, pomiar pędu poprzecznego mionu • dobra rozdzielczość przestrzenna i co za tym idzie pędowa • przy wyższej zajętości możliwe niejednoznaczności pozycji lub czasu Rozpoznawanie śladów oparte na porównywaniu z wzorcami (Pattern Comparator PAC) Mniejsza rozdzielczość przestrzenna (2-4 cm w R-φ) Bardzo dobra rozdzielczość czasowa komór  pewne przypisanie znalezionego mionu do przecięcia paczek. Odporność na wysoką częstość Global Muon Trigger – dopasowanie i scalanie mionów z trzech podsystemów Karol Buńkowski, UW

9. Tryger mionowy L1 i HLT – efektowność i wyjściowa częstość Przerwy między kołami Płaski rozkład pT5-100 GeV/c Świetlność 2 × 1033 cm−2s−1 || Level 1 – elektronika Level 2 – rekonstrukcja mionów tylko na podstawie systemu mionowego i obiektów L1; progi Level 3 – pełna rekonstrukcja z wykorzystaniem trackera. W razie potrzeby wymaganie izolacji mionu. Karol Buńkowski, UW

10. RPC PAC Muon Trigger System zaproponowany i zaprojektowany przez warszawską grupę CMS Współpraca: Komory: Włochy, CERN, Korea, Pakistan, Chiny, Bułgaria Elektronika: Polska (Warszawa), Włochy, Finlandia Karol Buńkowski, UW

11. isolator graphite - bakelite readout strips + + 2 mm -  HV HV RPC - Resistive Plate Chambers Detektor gazowy, zoptymalizowany do detekcji mionów w warunkach CMSu • Podwójna wnęka gazowa (szerokość: 2 mm) ze wspólnymi paskami odczytowymi • Paski odczytowe: szerokość: 0.5 – 4 cm, długość: 20 -100 cm • Napięcie zasilające ~9.5 kV • Mieszanka gazowa: 96.2% C2H2F4, 3.5% isoC4H10, 0.3% SF6 • Rozdzielczość czasowa~1 ns • Efektywność> 95% • Szum~5 Hz cm2 Karol Buńkowski, UW

12. Link Board Link Board Link Board Synchronization Unit & LMUX FEB FEB FEB FEB FEB FEB Tryger mionowy RPC PAC Detector Counting room Control & diagnostic LVDS cables Ghost Buster & Sorter Trigger Board GB & Sorter SYNCH. & LDMUX PAC Optic Links 90 m @ 1.6 GHz 1732fibers PAC 1640 Link Boards in 136Boxes, Steered byControl Boards To theGlobal Muon Trigger PAC Data Concentrator Card RMB To Data Acquisition 108 Trigger Boards in 12 Trigger Crates Data transmission @ 320 MHz Resistive Plate Chambers Up to 6 layers of detectors. Karol Buńkowski, UW

13. Złożoność systemu Detektor: • 2000komór, kilkanaście typów różniących się kształtem i szczegółami konstrukcji • 165 000 pasków– 1-bitowych kanałów elektronicznych Elektronika trygera: • 12 typów płyt elektronicznych • ~2 000 sztuk płyt elektronicznych • Kilometry kabli (elektrycznych i optycznych) • System synchroniczny, wszystkie układy pracują z tym samym zegarem 40 MHz • Elektronika oparta na programowalnych układach FPGA • Wszystkie płyty kontrolowane przez komputery – rozbudowana diagnostyka i monitoring; oprogramowanie sterujące Karol Buńkowski, UW

14. TriggerBoard • Najbardziej złożona płyta w systemie: • wejście: 18 linków optycznych @ 1.6 GHz, strumień danych ~17 Gbitów/s • dystrybucja danych po płycie z częstością 320 MHz • 12 warstw, w tym dwie specjalne warstwy ceramiczne • mieści m.in.: • 4 chipy PAC wykonujące algorytm trygera, • chip GBS sortujący znalezione miony • chip RMB odpowiedziały za akwizycje danych Karol Buńkowski, UW

15. TechnologiaFPGA Field Programmable Gate Array– chip z w pełni konfigurowalną logiką logic functions generator – 16 bit memory Carry and control logic, gates, MUX, etc. Synchronization to clock Look -up Table Flip-Flop Programmable interconnection lines Block RAM Input-output logic Logika jest tworzona w dedykowanych językach, np. VHDL (Very High Speed Integrated Circuits Hardware Description Language) • Np. AlteraStratix II (EP2S90F1020C3, ~2005 rok), użyty jako PAC: • 72768 LUTs • 4.5M bitów pamięci RAM • 902pinów • bloki DSP (Digital Signal Processing), układy mnożące Karol Buńkowski, UW

16. Przegląd problemów • Komory: projektowanie, produkcja, testowanie, instalacja, uruchamianie. • Elektronika: projektowanie, testowanie, instalacja, integracja. • Testy odporności radiacyjnej układów elektronicznych . • Rozwój i testowanie firmwaru dla układów FPGA. • Zintegrowane z elektroniką oprogramowanie do konfiguracji, kontroli, monitoringu i diagnostyki systemu: • Rozproszony, wielowątkowy system komputerowy; dedykowany software oparty na oprogramowaniu rozwijanym przez CMS, • Umożliwia monitoring trygera w czasie rzeczywistym oraz zaawansowane procedury testowe, • Bazy danych: struktura detektora i elektroniki, dane konfiguracyjne, dane o stanie systemu. • Synchronizacja systemu (przypisanie danych do właściwego przecięcia, synchronizacja danych podczas transmisji). • Rozwój i optymalizacja algorytmów trygera. • Symulacja systemu, analizy jakości działania • Akwizycja danych, analizy offline (jakość komór i trygera). Karol Buńkowski, UW

17. 3/4 Algorytm trygera: Pattern Comparator (PAC) Sygnały z komór są porównywane do predefiniowanych wzorców torów mionów. Wzorce odpowiadają mionom o rożnym pT Mion – koincydencja sygnałów z kilku warstw komór, z pasków pasujących do (przynajmniej jednego) wzorca. • Komory tworzą 6(beczka) lub 4 (pokrywy) warstwy otaczające punkt oddziaływania. 1152 pasków w każdej warstwiejeden pasek = 0.3125˚ PłaszczyznyRPC • Wymagana liczba „zapalonych” płaszczyzn: • Beczka: 6/6lub 5/6lub4/6 lub3/4 wewnętrznych płaszczyzny • pokrywy: 4/4 or 3/4 • Liczba „zapalonych” płaszczyzn daje „jakoś” rekonstrukcji śladu. „Jakość” jest używana przy sortowaniu i śladów i „zabijaniu duchów” paski Wzorzec – zestaw bramek AND o wejściach podłączonych do odpowiednich pasków Karol Buńkowski, UW

18. Implementacja PACa w układach FPGA Aby obsłużyć cały detektor potrzeba 300chipów PAC (stosunkowo dużych układów FPGA). Każdy analizuje max 576 pasków i zawiera 3 000 – 14 000 wzorców. Wzorce są na stałe wkompilowane w firmware. Każdy PAC zawiera inne wzorce, każdy jest kompilowany oddzielnie (~godzina/PAC) Wzorce są generowane na podstawie symulacji mionów w CMSie. Zaawansowane algorytmy wybierania wzorców tak, aby osiągnąć możliwie najlepsza efektywność i czystość trygera minimalizując jednocześnie liczbę wzorców (wzorce muszą się zmieścić w używanych chipach FPGA) Karol Buńkowski, UW

19. Link Boards Trigger Crates Data processing Trigger algorithm Transmission Transmission Transmission Control Diagnostic Control Diagnostic DAQ DQM HLT CCU VME DB On-line Software System diagnostyki i monitoringu • W firmwarze każdego układu FPGA zaimplementowano obok algorytmów trygera rozbudowaną warstwę diagnostyczną: • moduły odczytu diagnostycznego – podglądanie danych płynących przez system • generatory pulsów testowych • wielokanałowe liczniki i histogramy pozwalające mierzyć częstość sygnałów z komór i częstość mionów • Moduły weryfikujące poprawność transmisji + liczniki błędów • Sterowane, odczytywane i analizowane przez software Detector • Zastosowane w testowaniu systemu: • Testy implementacji algorytmów (porównywanie z emulatorem) • Testy poprawności podłączeń kabli • Testowanie prototypów, debugowanie, itd.. Karol Buńkowski, UW

20. Monitoring online Monitoring statusu elektroniki: periodyczny odczyt rejestrów informujących, czy układy elektroniczne działają poprawnie, sprawdzanie wartości liczników błędów transmisji Monitoring działania komór RPC Liczba sygnałów czas paski Monitoring trygera – częstość wyjściowych mionów Karol Buńkowski, UW

21. Synchronizacja systemu trygera Czyli „Zsynchronizujmy zegarki” Czyli Problem jednoczesności zdarzeń w praktyce Karol Buńkowski, UW

22. Synchronizacja systemu trygera (1) 14m = 42ns 4.2m = 14ns Różnice w czasie lotu mionów do różnych komór > 25 ns • Jeszcze większe różnice w czasie propagacji sygnałów z komór do Link Board-ów(od 33 do 107 ns) • A przecież w PACach chcemy mieć koincydencję sygnałów w 25 ns! Karol Buńkowski, UW

23. Synchronizacja systemu trygera (2) dystrybuowane do wszystkich płyt z jednego miejsca (system TTC podłączony do LHC). Na odbiornikach odpowiednio opóźniany, aby skompensować różnice w długościach światłowodów W Link Boardach sygnały z pasków są najpierw synchronizowane do zegara 40 MHz („kwantyzacja czasowa”) przy pomocy „okienka synchronizacyjnego. Następnie dodatkowo opóźniane o całkowitą liczbę taktów zegara. Cel: na wyjściu wszystkich LB sygnały pochodzące z tego samego przecięcia pojawiają się dokładnie w tym samym momencie. „Układem odniesienia” jest zegar 40 MHz. Początek układu wyznacza sygnał startujący odliczanie przecięć (czyli taktów zegara). W ten sposób definiowany jest ten sam moment” w całym systemie. Optymalną pozycję okienek i opóźnienie danych można obliczyć dla każdego LB z: • Czasu lotu mionu do komory • Czasu propagacji sygnałów po kablach z RPC do LB winOpeni = (timin + iTTC+ offset) % 25 ns didata = a – int[(timin + offset)/25ns] + bi - (1*) + ciwin+ (2SM) Karol Buńkowski, UW

24. Synchronizacja sygnałów RPC- miony kosmiczne Karol Buńkowski, UW

25. Wrzesień 2008 - Halo wiązki LHC w systemie RPC Karol Buńkowski, UW