html5-img
1 / 47

IceCube Detector Readout

IceCube Detector Readout. Karl-Heinz Sulanke EL-Gruppe DESY Zeuthen. Inhalt. Einführung IceCube DAQ allgemein DOM (Digital Optical Module), kurz DOR (Digital Optical module Readout card), ausführlicher DOR-Produktion und -Test Schlussbemerkung. Amundsen-Scott South Pole Station.

xuxa
Download Presentation

IceCube Detector Readout

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. IceCube Detector Readout Karl-Heinz Sulanke EL-Gruppe DESY Zeuthen K.-H. Sulanke, DESY Zeuthen

  2. Inhalt • Einführung • IceCube DAQ allgemein • DOM (Digital Optical Module), kurz • DOR (Digital Optical module Readout card), ausführlicher • DOR-Produktion und -Test • Schlussbemerkung K.-H. Sulanke, DESY Zeuthen

  3. Amundsen-Scott South Pole Station Südpol Skiway Dome AMANDA IceCube K.-H. Sulanke, DESY Zeuthen

  4. IceCube Detector K.-H. Sulanke, DESY Zeuthen

  5. Bohrhütte und Schlauchtrommel K.-H. Sulanke, DESY Zeuthen

  6. Deployment K.-H. Sulanke, DESY Zeuthen

  7. December 2010: 86 Strings im Eis! 5160 DOMs K.-H. Sulanke, DESY Zeuthen

  8. IceCube DAQ, Hardware Komponenten • DAQ basiert auf standard IT-Technik (PC-Farm, Switches,…) • Ethernet für Datentransfer • drei “custom made” Hardware Komponenten: • DOM (Digital Optical Module), im Eis • MCU (Master Clock Unit) + DSB (Domhub Service Board) • GPS-signal-fanout • by J. Przybilski, LBNL Berkeley • DOR (DOm Readout-card) • by K.-H. Sulanke, DESY Zeuthen • Spezialkabel für DOM <-> DOR Verbindung • Schwedische Firma Ericsson K.-H. Sulanke, DESY Zeuthen

  9. IceCube DAQ Block Diagram DORs DOMs K.-H. Sulanke, DESY Zeuthen

  10. DOM (Digital Optical Module) K.-H. Sulanke, DESY Zeuthen

  11. DOM Mainboard Block Diagram 10/24/2014 K.-H. Sulanke, DESY Zeuthen 11

  12. DOM Montage und Test in Zeuthen • Jürgen Pieper aus der Elektronikwerkstatt • Etwa 1500 DOMs wurde in Zeuthen montiert • Klimakammer fuer Langzeit-Tests (R. Nahnhauer) mit Hilfe von LED + Lichtleitfasern K.-H. Sulanke, DESY Zeuthen

  13. String Kabel (Ericsson) 10/24/2014 K.-H. Sulanke, DESY Zeuthen 13

  14. IceCube Kabel (3 km lang) • 16+2 Quads, 0.9 mm Kupferdraht, „solid wire“ • Je ein Quad, bestehend aus zwei verdrillten Paaren, für 4 DOMs • 145 Ohm Impedanz, DC-Widerstand <140ohm / 2.5 km • Wichtig (!) wenig crosstalk zwischen den Drahtpaaren • >50 db suppression near end cross talk • >30 db suppression far end cross talk • Akkurate mechanische Konstruktion nötig K.-H. Sulanke, DESY Zeuthen

  15. DOR (Dom Readout card) • 8 DOMs pro Karte, 32 bit PCI Businterface, DMA fähig • In System Firmware Update per Software • 96V DC und Kommunikation (je 2 DOMs) über ein twisted wire pair • DOM Datenrate, >= 20KB / DOM, -> 48KB -Kommunikation, Paket-basierend inkl. 32 bit Checksumme • Zeitkalibration, Genauigkeit besser als 5ns, -> 3ns - virtuell : 5160 gleichlaufende Uhren im Eis !!! • GPS Interface (UTC, ASCII Time String -> PCI) • DOM Power-Switch (96V) inkl. Strom / Spannungsauslese • DOM Power-Ramping • DOM Power-Überwachung per Firmware K.-H. Sulanke, DESY Zeuthen

  16. DOR_rev0 K.-H. Sulanke, DESY Zeuthen

  17. DOR_rev1b K.-H. Sulanke, DESY Zeuthen

  18. DOR - DOM Readout card, Revision 1b Power Control Ch0..Ch3 96 V On Cur Vol Comm. Ch0 ADC / DAC PLL 20MHz 10Mhz 1PPS Time-string 10MHz In0 In1 In_sel DOM quad cable Comm. FPGA Osc. 10MHz Comm. Ch1 ADC / DAC SRAM 1 MByte Cfg Comm. Ch2 ADC / DAC Local Bus 33MHz DOM quad cable PLD FLASH 2 MByte Cfg Req Comm. Ch3 ADC / DAC PCI FPGA JTAG JTAG PLD FPGA PLL-In_sel JTAG Mem. Bus PCI Bus 33MHz K.-H. Sulanke, DESY Zeuthen

  19. Cable Interface Scheme FPGA +48V 10 ADC 10 Bit PREAMP -48V Cable Con. 8 DAC 8 Bit RS485 alternative use K.-H. Sulanke

  20. Rx, 3500m Kabel ASK Encoding, 1MBit/s Tx • Derzeit implementiert • DC-free, über Trafo eingekoppelt, 1=pulse, 0=kein Signal, • Ist default encoding für den DOM nach power on • DOM-Datenrate von 50 KByte/sec K.-H. Sulanke, DESY Zeuthen

  21. Rx / Tx Data Path, one Wire Pair PCI Bus FPGA Comm. DAC Framing, Encoding Tx_FIFO_A,B 32 8 8 Data_in Data_out Cable Con. Empty AlmEmpty ReadEna WriteEna Address Decoder 2 Wire Pair Control (8) State Machines 4 BusCycle 2 Message_rcvd InterruptControl 1 Interrupt Comm. ADC Diff. Rec. DeFrame, Decoding Rx_FIFO_A,B 10 8 Data_out Data_in AlmFull Empty WriteEna ReadEna Internal FIFOs will be replaced by external SRAM K.-H. Sulanke

  22. Firmware, ein Beispiel • Statemachine zur Steuerung der halbduplex Kommunikation mit den DOMs A,B K.-H. Sulanke, DESY Zeuthen

  23. Zeitkalibration Kalibrations-Zyklus komplett in Firmware realisiert initiert durch Software, typ. 1 x pro Sekunde 10/24/2014 K.-H. Sulanke, DESY Zeuthen 23

  24. Time Calibration automatic, every few seconds In-ice DOMs IceTop for 76 DOMs Time

  25. 8B10B Encoding, 2MBit/s Tx Rx, 3500m Kabel • Verdoppelung der Datenrate • Erste Labortest waren o.k. (1 x DOR + 8 DOMs), auch Mix von ASK / 8B10B • Bei vollen Domhub ( 8 x DOR, 60 DOMs) , unter Linux, gab es Probleme • Linux-Treiber, zu hohe Gesamtdatenrate ? • Firmware –Bug ? K.-H. Sulanke, DESY Zeuthen

  26. DOR Bestückung • Prototypen, Bestueckung in der Zeuthener Elektronik-Werkstatt • Serienfertigung für etwa 800 boards extern • Hersteller I: Mittelstaedt / ESL GmbH, Bln. Tempelhof • etwa 30+60 boards • kostengünstig, aber … • veraltete Produktionsanlagen (Stand Ende 2004) • Probleme (keine Erfahrungen) mit dem BGA-Löten • kein Löten unter Schutzgas (war in Aufbauphase) K.-H. Sulanke, DESY Zeuthen

  27. DOR Bestückung, fortgesetzt • Hersteller II: Intratec / Elbau GmbH, Bln. Weissensee • etwa 800 boards geliefert • moderne Produktionsanlagen • Löten unter Schutzgas • keine Probleme mit BGAs • geringe Probleme, verursacht durch Handbestückung • LED 180° gedreht (1x) • einzelne Pins nicht gelötet (~4x) • Komplettangebot inkl. Materialbeschaffung möglich • kann empfohlen werden K.-H. Sulanke, DESY Zeuthen

  28. R1B0674D05 Rev. 1b abs. Nr. Serien Nr. DOR Test • Erste Firmware-Tests unter DOS, 130 Mhz Pentium, 32MB Speicher -> Borland_C, Templates fuer Linux Treiber (by John Jacobsen) • Nach Herstellung, 100%-iger Funktionstest Test unter Linux • Test Software von Arthur Jones, LBNL Berkeley, California • Selbsttest mit Hilfe rückgeführter Ausgänge / Testadapter • Testlog wird im DOR-Flash abgelegt • einmalige Nummer per Server vergeben und aufgeklebt K.-H. Sulanke, DESY Zeuthen

  29. DOR Fehleranalyse, bezogen auf 225 Boards • sofort funktioniert (Fa. Intratec) : ~85 % • nach “einfacher” Reparatur, Ausbeute : ~ 98% • LP-design, Fehler durch schlechte Footprint-Libraries • schlechte Pad Geometrie versursacht Lötfehler • z.B. SO-8 Footprint mit zu kurzen Pads • echte Bestückungsfehler • durch verbogene Pads (schlechter Lieferzustand) • durch Handbestückung • durch schlechten Lötpastendruck (selten) • defekte Bauelemente: 2x • 5V/5V - DC / DC Wandler • Operationsverstärker OPA237NA K.-H. Sulanke, DESY Zeuthen

  30. 10 MHz, 1 pps. Time String Power Supplies Fans Monitors CPU DSB Card DOR card DOR card DOR card DOR card DOR card DOR card DOR card DOR card Cat5-cable with: • 10 MHz • 1 Pulse per Second • RS-232 Time String From GPS Unit DOM hub K.-H. Sulanke, DESY Zeuthen

  31. DOM hub (Industrie-PC) DOM Power Supplies Power Distr. Card Chassis Fans Hard Drive DOR Cards (2 of 8 shown) Backplane with 12 PCI slots CPU DSB for GPS distr. ~300 W running 60 DOMs K.-H. Sulanke, DESY Zeuthen

  32. Rack with DOMhubs LEDs for Rx, Tx and DOM-Power PCI Bus access K.-H. Sulanke, DESY Zeuthen

  33. Unterkunft ->Zukünftiges IceCube Lab K.-H. Sulanke, DESY Zeuthen

  34. IceCube Lab im Winter K.-H. Sulanke, DESY Zeuthen

  35. Schlussbemerkungen • IceCube Auslese funktioniert zuverlaessig, Detektor uptime >99% • Firmware / Software Entwicklungsaufwand war betraechtlich • Kommunikations-Protokoll zu komplex (?) • PINGU als evtl. IceCube Erweiterung, 10 Gev...100 GeV • Auslese basierend auf PCIe, uTCA, ATCA (?) • Verwendung der existierenden Software moeglich (?) • Besseres Encoding (?), z.B. PSK (Phase Shift Keying) K.-H. Sulanke, DESY Zeuthen

  36. Verwendete Quellen Animationen, entnommen dem IceCube docushare/public/ „Design and Performance of the IceCube Electronics“, Vortrag von R.G. Stokstad (LBNL Ca.), 2005 eigene Dokumente und Bilder 10/24/2014 K.-H. Sulanke, DESY Zeuthen 36

  37. Danke für die Aufmerksamkeit ! K.-H. Sulanke, DESY Zeuthen

  38. Backup Slides K.-H. Sulanke, DESY Zeuthen

  39. IceCube String Main Cable 60 optical sensors DOM Base with HV 1400 m generator Electrical feedthrough for power + data OM Spacing: 17 m Photomultiplier DOM Board Gel Glass pressure String sphere. Rated to 10000 psi. Outer diameter: 13" 2400 m 10/24/2014 K.-H. Sulanke, DESY Zeuthen 39

  40. DOR Leiterplatte • Entwurf: Reiner Roitsch, Berlin • 8 Lagen, 311 x 122 mm, SMD beidseitig • Technik: part. chem NiAu auf Cu • 3 BGAs, 484 / 256 / 100 pins • Herstellung • Fa. Mittelstaedt, schlechte Qualität • Fa. Gillett, schlechte Daten-Vorverarbeitung • Fa. straschu, ausreichend gute Qualität 10/24/2014 K.-H. Sulanke, DESY Zeuthen 40

  41. Drill tower Hot water generator Hose reel IceTop tanks The drilling site in January, 2005

  42. Each 2 m dia. IceTop tank contains two Digital Optical Modules. The freezing of the water is done in a controlled manner to produce clear ice.

  43. Data Packet Format 10/24/2014 K.-H. Sulanke, DESY Zeuthen 43

  44. Zeitkalibration • Kalibrations-Zyklus komplett als Firmware realisiert • initiert durch Software, z.B. 1 x pro Sekunde K.-H. Sulanke, DESY Zeuthen

  45. 1.74 ns rms All 60 DOMs Timing verification with flashers {

  46. Alte und neue Station (im Bau befindlich) K.-H. Sulanke, DESY Zeuthen

  47. Polemarker K.-H. Sulanke, DESY Zeuthen

More Related