Download
icecube detector readout n.
Skip this Video
Loading SlideShow in 5 Seconds..
IceCube Detector Readout PowerPoint Presentation
Download Presentation
IceCube Detector Readout

IceCube Detector Readout

125 Views Download Presentation
Download Presentation

IceCube Detector Readout

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. IceCube Detector Readout Karl-Heinz Sulanke EL-Gruppe DESY Zeuthen K.-H. Sulanke, DESY Zeuthen

  2. Inhalt • Einführung • IceCube DAQ allgemein • DOM (Digital Optical Module), kurz • DOR (Digital Optical module Readout card), ausführlicher • DOR-Produktion und -Test • Schlussbemerkung K.-H. Sulanke, DESY Zeuthen

  3. Amundsen-Scott South Pole Station Südpol Skiway Dome AMANDA IceCube K.-H. Sulanke, DESY Zeuthen

  4. IceCube Detector K.-H. Sulanke, DESY Zeuthen

  5. Bohrhütte und Schlauchtrommel K.-H. Sulanke, DESY Zeuthen

  6. Deployment K.-H. Sulanke, DESY Zeuthen

  7. December 2010: 86 Strings im Eis! 5160 DOMs K.-H. Sulanke, DESY Zeuthen

  8. IceCube DAQ, Hardware Komponenten • DAQ basiert auf standard IT-Technik (PC-Farm, Switches,…) • Ethernet für Datentransfer • drei “custom made” Hardware Komponenten: • DOM (Digital Optical Module), im Eis • MCU (Master Clock Unit) + DSB (Domhub Service Board) • GPS-signal-fanout • by J. Przybilski, LBNL Berkeley • DOR (DOm Readout-card) • by K.-H. Sulanke, DESY Zeuthen • Spezialkabel für DOM <-> DOR Verbindung • Schwedische Firma Ericsson K.-H. Sulanke, DESY Zeuthen

  9. IceCube DAQ Block Diagram DORs DOMs K.-H. Sulanke, DESY Zeuthen

  10. DOM (Digital Optical Module) K.-H. Sulanke, DESY Zeuthen

  11. DOM Mainboard Block Diagram 10/24/2014 K.-H. Sulanke, DESY Zeuthen 11

  12. DOM Montage und Test in Zeuthen • Jürgen Pieper aus der Elektronikwerkstatt • Etwa 1500 DOMs wurde in Zeuthen montiert • Klimakammer fuer Langzeit-Tests (R. Nahnhauer) mit Hilfe von LED + Lichtleitfasern K.-H. Sulanke, DESY Zeuthen

  13. String Kabel (Ericsson) 10/24/2014 K.-H. Sulanke, DESY Zeuthen 13

  14. IceCube Kabel (3 km lang) • 16+2 Quads, 0.9 mm Kupferdraht, „solid wire“ • Je ein Quad, bestehend aus zwei verdrillten Paaren, für 4 DOMs • 145 Ohm Impedanz, DC-Widerstand <140ohm / 2.5 km • Wichtig (!) wenig crosstalk zwischen den Drahtpaaren • >50 db suppression near end cross talk • >30 db suppression far end cross talk • Akkurate mechanische Konstruktion nötig K.-H. Sulanke, DESY Zeuthen

  15. DOR (Dom Readout card) • 8 DOMs pro Karte, 32 bit PCI Businterface, DMA fähig • In System Firmware Update per Software • 96V DC und Kommunikation (je 2 DOMs) über ein twisted wire pair • DOM Datenrate, >= 20KB / DOM, -> 48KB -Kommunikation, Paket-basierend inkl. 32 bit Checksumme • Zeitkalibration, Genauigkeit besser als 5ns, -> 3ns - virtuell : 5160 gleichlaufende Uhren im Eis !!! • GPS Interface (UTC, ASCII Time String -> PCI) • DOM Power-Switch (96V) inkl. Strom / Spannungsauslese • DOM Power-Ramping • DOM Power-Überwachung per Firmware K.-H. Sulanke, DESY Zeuthen

  16. DOR_rev0 K.-H. Sulanke, DESY Zeuthen

  17. DOR_rev1b K.-H. Sulanke, DESY Zeuthen

  18. DOR - DOM Readout card, Revision 1b Power Control Ch0..Ch3 96 V On Cur Vol Comm. Ch0 ADC / DAC PLL 20MHz 10Mhz 1PPS Time-string 10MHz In0 In1 In_sel DOM quad cable Comm. FPGA Osc. 10MHz Comm. Ch1 ADC / DAC SRAM 1 MByte Cfg Comm. Ch2 ADC / DAC Local Bus 33MHz DOM quad cable PLD FLASH 2 MByte Cfg Req Comm. Ch3 ADC / DAC PCI FPGA JTAG JTAG PLD FPGA PLL-In_sel JTAG Mem. Bus PCI Bus 33MHz K.-H. Sulanke, DESY Zeuthen

  19. Cable Interface Scheme FPGA +48V 10 ADC 10 Bit PREAMP -48V Cable Con. 8 DAC 8 Bit RS485 alternative use K.-H. Sulanke

  20. Rx, 3500m Kabel ASK Encoding, 1MBit/s Tx • Derzeit implementiert • DC-free, über Trafo eingekoppelt, 1=pulse, 0=kein Signal, • Ist default encoding für den DOM nach power on • DOM-Datenrate von 50 KByte/sec K.-H. Sulanke, DESY Zeuthen

  21. Rx / Tx Data Path, one Wire Pair PCI Bus FPGA Comm. DAC Framing, Encoding Tx_FIFO_A,B 32 8 8 Data_in Data_out Cable Con. Empty AlmEmpty ReadEna WriteEna Address Decoder 2 Wire Pair Control (8) State Machines 4 BusCycle 2 Message_rcvd InterruptControl 1 Interrupt Comm. ADC Diff. Rec. DeFrame, Decoding Rx_FIFO_A,B 10 8 Data_out Data_in AlmFull Empty WriteEna ReadEna Internal FIFOs will be replaced by external SRAM K.-H. Sulanke

  22. Firmware, ein Beispiel • Statemachine zur Steuerung der halbduplex Kommunikation mit den DOMs A,B K.-H. Sulanke, DESY Zeuthen

  23. Zeitkalibration Kalibrations-Zyklus komplett in Firmware realisiert initiert durch Software, typ. 1 x pro Sekunde 10/24/2014 K.-H. Sulanke, DESY Zeuthen 23

  24. Time Calibration automatic, every few seconds In-ice DOMs IceTop for 76 DOMs Time

  25. 8B10B Encoding, 2MBit/s Tx Rx, 3500m Kabel • Verdoppelung der Datenrate • Erste Labortest waren o.k. (1 x DOR + 8 DOMs), auch Mix von ASK / 8B10B • Bei vollen Domhub ( 8 x DOR, 60 DOMs) , unter Linux, gab es Probleme • Linux-Treiber, zu hohe Gesamtdatenrate ? • Firmware –Bug ? K.-H. Sulanke, DESY Zeuthen

  26. DOR Bestückung • Prototypen, Bestueckung in der Zeuthener Elektronik-Werkstatt • Serienfertigung für etwa 800 boards extern • Hersteller I: Mittelstaedt / ESL GmbH, Bln. Tempelhof • etwa 30+60 boards • kostengünstig, aber … • veraltete Produktionsanlagen (Stand Ende 2004) • Probleme (keine Erfahrungen) mit dem BGA-Löten • kein Löten unter Schutzgas (war in Aufbauphase) K.-H. Sulanke, DESY Zeuthen

  27. DOR Bestückung, fortgesetzt • Hersteller II: Intratec / Elbau GmbH, Bln. Weissensee • etwa 800 boards geliefert • moderne Produktionsanlagen • Löten unter Schutzgas • keine Probleme mit BGAs • geringe Probleme, verursacht durch Handbestückung • LED 180° gedreht (1x) • einzelne Pins nicht gelötet (~4x) • Komplettangebot inkl. Materialbeschaffung möglich • kann empfohlen werden K.-H. Sulanke, DESY Zeuthen

  28. R1B0674D05 Rev. 1b abs. Nr. Serien Nr. DOR Test • Erste Firmware-Tests unter DOS, 130 Mhz Pentium, 32MB Speicher -> Borland_C, Templates fuer Linux Treiber (by John Jacobsen) • Nach Herstellung, 100%-iger Funktionstest Test unter Linux • Test Software von Arthur Jones, LBNL Berkeley, California • Selbsttest mit Hilfe rückgeführter Ausgänge / Testadapter • Testlog wird im DOR-Flash abgelegt • einmalige Nummer per Server vergeben und aufgeklebt K.-H. Sulanke, DESY Zeuthen

  29. DOR Fehleranalyse, bezogen auf 225 Boards • sofort funktioniert (Fa. Intratec) : ~85 % • nach “einfacher” Reparatur, Ausbeute : ~ 98% • LP-design, Fehler durch schlechte Footprint-Libraries • schlechte Pad Geometrie versursacht Lötfehler • z.B. SO-8 Footprint mit zu kurzen Pads • echte Bestückungsfehler • durch verbogene Pads (schlechter Lieferzustand) • durch Handbestückung • durch schlechten Lötpastendruck (selten) • defekte Bauelemente: 2x • 5V/5V - DC / DC Wandler • Operationsverstärker OPA237NA K.-H. Sulanke, DESY Zeuthen

  30. 10 MHz, 1 pps. Time String Power Supplies Fans Monitors CPU DSB Card DOR card DOR card DOR card DOR card DOR card DOR card DOR card DOR card Cat5-cable with: • 10 MHz • 1 Pulse per Second • RS-232 Time String From GPS Unit DOM hub K.-H. Sulanke, DESY Zeuthen

  31. DOM hub (Industrie-PC) DOM Power Supplies Power Distr. Card Chassis Fans Hard Drive DOR Cards (2 of 8 shown) Backplane with 12 PCI slots CPU DSB for GPS distr. ~300 W running 60 DOMs K.-H. Sulanke, DESY Zeuthen

  32. Rack with DOMhubs LEDs for Rx, Tx and DOM-Power PCI Bus access K.-H. Sulanke, DESY Zeuthen

  33. Unterkunft ->Zukünftiges IceCube Lab K.-H. Sulanke, DESY Zeuthen

  34. IceCube Lab im Winter K.-H. Sulanke, DESY Zeuthen

  35. Schlussbemerkungen • IceCube Auslese funktioniert zuverlaessig, Detektor uptime >99% • Firmware / Software Entwicklungsaufwand war betraechtlich • Kommunikations-Protokoll zu komplex (?) • PINGU als evtl. IceCube Erweiterung, 10 Gev...100 GeV • Auslese basierend auf PCIe, uTCA, ATCA (?) • Verwendung der existierenden Software moeglich (?) • Besseres Encoding (?), z.B. PSK (Phase Shift Keying) K.-H. Sulanke, DESY Zeuthen

  36. Verwendete Quellen Animationen, entnommen dem IceCube docushare/public/ „Design and Performance of the IceCube Electronics“, Vortrag von R.G. Stokstad (LBNL Ca.), 2005 eigene Dokumente und Bilder 10/24/2014 K.-H. Sulanke, DESY Zeuthen 36

  37. Danke für die Aufmerksamkeit ! K.-H. Sulanke, DESY Zeuthen

  38. Backup Slides K.-H. Sulanke, DESY Zeuthen

  39. IceCube String Main Cable 60 optical sensors DOM Base with HV 1400 m generator Electrical feedthrough for power + data OM Spacing: 17 m Photomultiplier DOM Board Gel Glass pressure String sphere. Rated to 10000 psi. Outer diameter: 13" 2400 m 10/24/2014 K.-H. Sulanke, DESY Zeuthen 39

  40. DOR Leiterplatte • Entwurf: Reiner Roitsch, Berlin • 8 Lagen, 311 x 122 mm, SMD beidseitig • Technik: part. chem NiAu auf Cu • 3 BGAs, 484 / 256 / 100 pins • Herstellung • Fa. Mittelstaedt, schlechte Qualität • Fa. Gillett, schlechte Daten-Vorverarbeitung • Fa. straschu, ausreichend gute Qualität 10/24/2014 K.-H. Sulanke, DESY Zeuthen 40

  41. Drill tower Hot water generator Hose reel IceTop tanks The drilling site in January, 2005

  42. Each 2 m dia. IceTop tank contains two Digital Optical Modules. The freezing of the water is done in a controlled manner to produce clear ice.

  43. Data Packet Format 10/24/2014 K.-H. Sulanke, DESY Zeuthen 43

  44. Zeitkalibration • Kalibrations-Zyklus komplett als Firmware realisiert • initiert durch Software, z.B. 1 x pro Sekunde K.-H. Sulanke, DESY Zeuthen

  45. 1.74 ns rms All 60 DOMs Timing verification with flashers {

  46. Alte und neue Station (im Bau befindlich) K.-H. Sulanke, DESY Zeuthen

  47. Polemarker K.-H. Sulanke, DESY Zeuthen