Abstract
IceCube is a one-gigaton instrument located at the geographic South Pole, designed to detect cosmic neutrinos, identify the particle nature of dark matter, and study high-energy neutrinos themselves. Simulation of the IceCube detector and processing of data require a significant amount of computational resources. This paper presents the first detailed description of IceProd, a lightweight distributed management system designed to meet these requirements. It is driven by a central database in order to manage mass production of simulations and analysis of data produced by the IceCube detector. IceProd runs as a separate layer on top of other middleware and can take advantage of a variety of computing resources, including grids and batch systems such as CREAM, HTCondor, and PBS. This is accomplished by a set of dedicated daemons that process job submission in a coordinated fashion through the use of middleware plugins that serve to abstract the details of job submission and job management from the framework.
| Original language | English (US) |
|---|---|
| Pages (from-to) | 198-211 |
| Number of pages | 14 |
| Journal | Journal of Parallel and Distributed Computing |
| Volume | 75 |
| DOIs | |
| State | Published - Jan 2015 |
All Science Journal Classification (ASJC) codes
- Software
- Theoretical Computer Science
- Hardware and Architecture
- Computer Networks and Communications
- Artificial Intelligence
Access to Document
Other files and links
Fingerprint
Dive into the research topics of 'The IceProd framework: Distributed data processing for the IceCube neutrino observatory'. Together they form a unique fingerprint.Cite this
- APA
- Author
- BIBTEX
- Harvard
- Standard
- RIS
- Vancouver
}
In: Journal of Parallel and Distributed Computing, Vol. 75, 01.2015, p. 198-211.
Research output: Contribution to journal › Article › peer-review
TY - JOUR
T1 - The IceProd framework
T2 - Distributed data processing for the IceCube neutrino observatory
AU - Aartsen, M. G.
AU - Abbasi, R.
AU - Ackermann, M.
AU - Adams, J.
AU - Aguilar, J. A.
AU - Ahlers, M.
AU - Altmann, D.
AU - Arguelles, C.
AU - Auffenberg, J.
AU - Bai, X.
AU - Baker, M.
AU - Barwick, S. W.
AU - Baum, V.
AU - Bay, R.
AU - Beatty, J. J.
AU - Becker Tjus, J.
AU - Becker, K. H.
AU - Benzvi, S.
AU - Berghaus, P.
AU - Berley, D.
AU - Bernardini, E.
AU - Bernhard, A.
AU - Besson, D. Z.
AU - Binder, G.
AU - Bindig, D.
AU - Bissok, M.
AU - Blaufuss, E.
AU - Blumenthal, J.
AU - Boersma, D. J.
AU - Bohm, C.
AU - Bose, D.
AU - Böser, S.
AU - Botner, O.
AU - Brayeur, L.
AU - Bretz, H. P.
AU - Brown, A. M.
AU - Bruijn, R.
AU - Casey, J.
AU - Casier, M.
AU - Chirkin, D.
AU - Christov, A.
AU - Christy, B.
AU - Clark, K.
AU - Classen, L.
AU - Clevermann, F.
AU - Coenders, S.
AU - Cohen, S.
AU - Cowen, D. F.
AU - Cruz Silva, A. H.
AU - Danninger, M.
AU - Daughhetee, J.
AU - Davis, J. C.
AU - Day, M.
AU - De Clercq, C.
AU - De Ridder, S.
AU - Desiati, P.
AU - De Vries, K. D.
AU - De With, M.
AU - Deyoung, T.
AU - Díaz-Vélez, J. C.
AU - Dunkman, M.
AU - Eagan, R.
AU - Eberhardt, B.
AU - Eichmann, B.
AU - Eisch, J.
AU - Euler, S.
AU - Evenson, P. A.
AU - Fadiran, O.
AU - Fazely, A. R.
AU - Fedynitch, A.
AU - Feintzeig, J.
AU - Feusels, T.
AU - Filimonov, K.
AU - Finley, C.
AU - Fischer-Wasels, T.
AU - Flis, S.
AU - Franckowiak, A.
AU - Frantzen, K.
AU - Fuchs, T.
AU - Gaisser, T. K.
AU - Gallagher, J.
AU - Gerhardt, L.
AU - Gladstone, L.
AU - Glüsenkamp, T.
AU - Goldschmidt, A.
AU - Golup, G.
AU - Gonzalez, J. G.
AU - Goodman, J. A.
AU - Góra, D.
AU - Grandmont, D. T.
AU - Grant, D.
AU - Gretskov, P.
AU - Groh, J. C.
AU - Groß, A.
AU - Ha, C.
AU - Haj Ismail, A.
AU - Hallen, P.
AU - Hallgren, A.
AU - Halzen, F.
AU - Hanson, K.
AU - Hebecker, D.
AU - Heereman, D.
AU - Heinen, D.
AU - Helbing, K.
AU - Hellauer, R.
AU - Hickford, S.
AU - Hill, G. C.
AU - Hoffman, K. D.
AU - Hoffmann, R.
AU - Homeier, A.
AU - Hoshina, K.
AU - Huang, F.
AU - Huelsnitz, W.
AU - Hulth, P. O.
AU - Hultqvist, K.
AU - Hussain, S.
AU - Ishihara, A.
AU - Jacobi, E.
AU - Jacobsen, J.
AU - Jagielski, K.
AU - Japaridze, G. S.
AU - Jero, K.
AU - Jlelati, O.
AU - Kaminsky, B.
AU - Kappes, A.
AU - Karg, T.
AU - Karle, A.
AU - Kauer, M.
AU - Kelley, J. L.
AU - Kiryluk, J.
AU - Kläs, J.
AU - Klein, S. R.
AU - Köhne, J. H.
AU - Kohnen, G.
AU - Kolanoski, H.
AU - Köpke, L.
AU - Kopper, C.
AU - Kopper, S.
AU - Koskinen, D. J.
AU - Kowalski, M.
AU - Krasberg, M.
AU - Kriesten, A.
AU - Krings, K.
AU - Kroll, G.
AU - Kunnen, J.
AU - Kurahashi, N.
AU - Kuwabara, T.
AU - Labare, M.
AU - Landsman, H.
AU - Larson, M. J.
AU - Lesiak-Bzdak, M.
AU - Leuermann, M.
AU - Leute, J.
AU - Lünemann, J.
AU - Macías, O.
AU - Madsen, J.
AU - Maggi, G.
AU - Maruyama, R.
AU - Mase, K.
AU - Matis, H. S.
AU - McNally, F.
AU - Meagher, K.
AU - Merck, M.
AU - Merino, G.
AU - Meures, T.
AU - Miarecki, S.
AU - Middell, E.
AU - Milke, N.
AU - Miller, J.
AU - Mohrmann, L.
AU - Montaruli, T.
AU - Morse, R.
AU - Nahnhauer, R.
AU - Naumann, U.
AU - Niederhausen, H.
AU - Nowicki, S. C.
AU - Nygren, D. R.
AU - Obertacke, A.
AU - Odrowski, S.
AU - Olivas, A.
AU - Omairat, A.
AU - O'Murchadha, A.
AU - Paul, L.
AU - Pepper, J. A.
AU - Pérez De Los Heros, C.
AU - Pfendner, C.
AU - Pieloth, D.
AU - Pinat, E.
AU - Posselt, J.
AU - Price, P. B.
AU - Przybylski, G. T.
AU - Quinnan, M.
AU - Rädel, L.
AU - Rae, I.
AU - Rameez, M.
AU - Rawlins, K.
AU - Redl, P.
AU - Reimann, R.
AU - Resconi, E.
AU - Rhode, W.
AU - Ribordy, M.
AU - Richman, M.
AU - Riedel, B.
AU - Rodrigues, J. P.
AU - Rott, C.
AU - Ruhe, T.
AU - Ruzybayev, B.
AU - Ryckbosch, D.
AU - Saba, S. M.
AU - Sander, H. G.
AU - Santander, M.
AU - Sarkar, S.
AU - Schatto, K.
AU - Scheriau, F.
AU - Schmidt, T.
AU - Schmitz, M.
AU - Schoenen, S.
AU - Schöneberg, S.
AU - Schönwald, A.
AU - Schukraft, A.
AU - Schulte, L.
AU - Schultz, D.
AU - Schulz, O.
AU - Seckel, D.
AU - Sestayo, Y.
AU - Seunarine, S.
AU - Shanidze, R.
AU - Sheremata, C.
AU - Smith, M. W.E.
AU - Soldin, D.
AU - Spiczak, G. M.
AU - Spiering, C.
AU - Stamatikos, M.
AU - Stanev, T.
AU - Stanisha, N. A.
AU - Stasik, A.
AU - Stezelberger, T.
AU - Stokstad, R. G.
AU - Stößl, A.
AU - Strahler, E. A.
AU - Ström, R.
AU - Strotjohann, N. L.
AU - Sullivan, G. W.
AU - Taavola, H.
AU - Taboada, I.
AU - Tamburro, A.
AU - Tepe, A.
AU - Ter-Antonyan, S.
AU - Tešić, G.
AU - Tilav, S.
AU - Toale, P. A.
AU - Tobin, M. N.
AU - Toscano, S.
AU - Tselengidou, M.
AU - Unger, E.
AU - Usner, M.
AU - Vallecorsa, S.
AU - Van Eijndhoven, N.
AU - Van Overloop, A.
AU - Van Santen, J.
AU - Vehring, M.
AU - Voge, M.
AU - Vraeghe, M.
AU - Walck, C.
AU - Waldenmaier, T.
AU - Wallraff, M.
AU - Weaver, Ch
AU - Wellons, M.
AU - Wendt, C.
AU - Westerhoff, S.
AU - Whitehorn, N.
AU - Wiebe, K.
AU - Wiebusch, C. H.
AU - Williams, D. R.
AU - Wissing, H.
AU - Wolf, M.
AU - Wood, T. R.
AU - Woschnagg, K.
AU - Xu, D. L.
AU - Xu, X. W.
AU - Yanez, J. P.
AU - Yodh, G.
AU - Yoshida, S.
AU - Zarzhitsky, P.
AU - Ziemann, J.
AU - Zierke, S.
AU - Zoll, M.
N1 - Publisher Copyright: © 2014 Elsevier Inc. All rights reserved.
PY - 2015/1
Y1 - 2015/1
N2 - IceCube is a one-gigaton instrument located at the geographic South Pole, designed to detect cosmic neutrinos, identify the particle nature of dark matter, and study high-energy neutrinos themselves. Simulation of the IceCube detector and processing of data require a significant amount of computational resources. This paper presents the first detailed description of IceProd, a lightweight distributed management system designed to meet these requirements. It is driven by a central database in order to manage mass production of simulations and analysis of data produced by the IceCube detector. IceProd runs as a separate layer on top of other middleware and can take advantage of a variety of computing resources, including grids and batch systems such as CREAM, HTCondor, and PBS. This is accomplished by a set of dedicated daemons that process job submission in a coordinated fashion through the use of middleware plugins that serve to abstract the details of job submission and job management from the framework.
AB - IceCube is a one-gigaton instrument located at the geographic South Pole, designed to detect cosmic neutrinos, identify the particle nature of dark matter, and study high-energy neutrinos themselves. Simulation of the IceCube detector and processing of data require a significant amount of computational resources. This paper presents the first detailed description of IceProd, a lightweight distributed management system designed to meet these requirements. It is driven by a central database in order to manage mass production of simulations and analysis of data produced by the IceCube detector. IceProd runs as a separate layer on top of other middleware and can take advantage of a variety of computing resources, including grids and batch systems such as CREAM, HTCondor, and PBS. This is accomplished by a set of dedicated daemons that process job submission in a coordinated fashion through the use of middleware plugins that serve to abstract the details of job submission and job management from the framework.
UR - http://www.scopus.com/inward/record.url?scp=84915776438&partnerID=8YFLogxK
UR - http://www.scopus.com/inward/citedby.url?scp=84915776438&partnerID=8YFLogxK
U2 - 10.1016/j.jpdc.2014.08.001
DO - 10.1016/j.jpdc.2014.08.001
M3 - Article
AN - SCOPUS:84915776438
SN - 0743-7315
VL - 75
SP - 198
EP - 211
JO - Journal of Parallel and Distributed Computing
JF - Journal of Parallel and Distributed Computing
ER -