Compute4PUNCH & Storage4PUNCH: البنية التحتية الموحدة لفيزياء الجسيمات والفيزياء الفلكية والفيزياء النووية

1. المقدمة والنظرة العامة

PUNCH4NFDI (الجسيمات، الكون، النوى والهادرونات للبنية التحتية الوطنية لبيانات البحث) هو اتحاد ألماني رئيسي يمثل حوالي 9000 عالم من مجالات فيزياء الجسيمات، والفيزياء الفلكية، وفيزياء الجسيمات الفلكية، وفيزياء الهادرونات، والفيزياء النووية. بتمويل من مؤسسة الأبحاث الألمانية (DFG)، يهدف بشكل أساسي إلى إنشاء منصة موحدة لبيانات العلوم وفقًا لمبادئ FAIR (قابلة للاكتشاف، والوصول، والتشغيل البيني، وإعادة الاستخدام). تهدف هذه المنصة إلى توفير وصول موحد إلى موارد الحوسبة والتخزين المتنوعة وغير المتجانسة المنتشرة عبر المؤسسات المشاركة، لمعالجة التحدي المشترك المتمثل في تحليل أحجام البيانات المتزايدة بشكل كبير باستخدام خوارزميات معقدة.

مفهوما Compute4PUNCH و Storage4PUNCH هما الركيزتان التقنيتان المصممتان لتوحيد المساهمات العينية لموارد الحوسبة عالية الإنتاجية (HTC)، والحوسبة عالية الأداء (HPC)، والموارد السحابية، بالإضافة إلى أنظمة التخزين القائمة على تقنيات مثل dCache و XRootD.

2. البنية التحتية الموحدة للحوسبة غير المتجانسة (Compute4PUNCH)

يتناول مفهوم Compute4PUNCH تحدي توفير وصول سلس إلى تركيبة من موارد الحوسبة المقدمة من المجتمع والتي تتمتع بهندسات وأنظمة تشغيل ومجموعات برمجية وأنظمة مصادقة مختلفة.

3. البنية التحتية الموحدة للتخزين (Storage4PUNCH)

بالتوازي مع الحوسبة، يتم توحيد موارد التخزين لتوفير طبقة وصول موحدة للبيانات.

4. التنفيذ التقني وحالة النموذج الأولي

المفاهيم قيد التطوير النشط. تم إنشاء نماذج أولية تدمج مجموعات أولية من موارد الحوسبة والتخزين. تذكر المساهمة "التجارب الأولى مع التطبيقات العلمية التي يتم تنفيذها على النماذج الأولية المتاحة"، مما يشير إلى أن سير عمل المستخدمين الأوائل يتم اختبارها للتحقق من صحة البنية وتحديد العقبات العملية. البيئة المشتركة مستعدة لتمكين الباحثين من تنفيذ مهام تحليل تتطلب موارد كبيرة عبر البنية التحتية الموحدة.

5. الرؤية الأساسية ومنظور المحلل

6. التفاصيل التقنية والإطار الرياضي

يمكن تجريد مشكلة جدولة الموارد في مثل هذا الاتحاد. لنفترض أن $R = \{r_1, r_2, ..., r_n\}$ هي مجموعة الموارد غير المتجانسة، لكل منها خصائص ديناميكية مثل النوى المتاحة $C_i(t)$، والذاكرة $M_i(t)$، والأجهزة المتخصصة (مثل وحدات معالجة الرسومات). ولنفترض أن $J = \{j_1, j_2, ..., j_m\}$ هي مجموعة المهام ذات المتطلبات $\text{req}(j_k)$.

هدف الجدولة الفائقة هو دالة تعيين $\mathcal{M}: J \rightarrow R$ تعظم دالة منفعة $U$، غالبًا ما تكون مجموعًا مرجحًا للكفاءة والإنصاف، مع احترام القيود:

$$ \text{تعظيم } U = \alpha \cdot \text{الاستخدام} + \beta \cdot \text{الإنصاف} - \gamma \cdot \text{التكلفة}_{\text{نقل-البيانات}} $$ $$ \text{بشرط: } \forall r_i, \sum_{j_k \in \mathcal{M}^{-1}(r_i)} \text{req}_{\text{نوى}}(j_k) \leq C_i(t) $$

مصطلح التكلفة_{نقل-البيانات} حاسم في بيئة التخزين الموحدة، حيث يعاقب الجداول التي تتطلب نقل مجموعات بيانات كبيرة عبر شبكات واسعة النطاق. وهذا يجعل المشكلة متميزة عن جدولة المجموعات الكلاسيكية.

يمكن نمذجة AAI المعتمدة على الرموز كنظام تحكم في الوصول قائم على القدرات. الرمز $\tau$ الصادر للمستخدم $u$ للمورد $r$ هو بيان موقّع تشفيريًا: $\tau = \text{Sign}_{\text{AAI}}(u, r, \text{النطاق}, \text{الانتهاء})$. وهذا يمركز قرارات التفويض لمقدمي الموارد، الذين يحتاجون فقط إلى التحقق من توقيع الرمز.

7. النتائج التجريبية ووصف المخطط

بينما لا يتضمن ملف PDF نتائج كمية محددة، فإن "التجارب الأولى مع التطبيقات العلمية" المذكورة تشير إلى اختبارات تكامل أولية. يمكننا تصور مؤشرات الأداء الرئيسية (KPIs) التي يجب قياسها:

8. إطار التحليل: مثال نظري لسير العمل

نظرًا لأن ملف PDF لا يتضمن كودًا، إليك وصف نظري لسير العمل قائم على YAML قد يستخدمه الباحث لتحديد مهمة تحليل لاتحاد Compute4PUNCH/Storage4PUNCH. يسلط هذا الضوء على الطبيعة التصريحية للنظام المستهدف.

# punch_analysis_workflow.yaml
workflow:
  name: "punch4nfdi_federated_analysis"
  user: "researcher@uni-example.de"
  aai_token: "${PUNCH_AAI_TOKEN}"  # يتم حقنه من البيئة

compute:
  requirements:
    cores: 8
    memory: "32GB"
    runtime: "48h"
    software_stack: "punchenv/analysis-suite:latest"  # يتم حله عبر CVMFS/الحاوية
    priority: "medium"

storage:
  input_data:
    - protocol: "root"
      path: "root://storage-a.punch.de//experiment/run2023/data_*.root"
      cache_prefetch: true  # تلميح لطبقة التخزين المؤقت في Storage4PUNCH
  output_data:
    - protocol: "s3"
      endpoint: "https://object-store.punch.de"
      path: "/results/${WORKFLOW_ID}/histograms.root"

execution:
  entry_point: "jupyterlab"  # اختياري: بدء جلسة تفاعلية
  # أو
  batch_command: "python /analysis/run_full_chain.py --input ${INPUT_PATH} --output ${OUTPUT_PATH}"

provenance:
  log_level: "detailed"
  export_metadata_to: "meta.punch.de/catalog"

يظهر هذا المواصفات الخيالية كيف يعلن المستخدم ما يحتاجه (الموارد، البرمجيات، البيانات) دون تحديد أين يعمل. تقوم البرمجيات الوسيطة للاتحاد (HTCondor، TARDIS، اتحاد التخزين) بتفسير هذه المواصفات، والعثور على الموارد المناسبة، وتحضير البيانات، وحقن بيئة البرمجيات، وتنفيذ المهمة، وإرسال السجلات والمخرجات إلى المواقع المحددة.

9. التطبيقات المستقبلية وخارطة طريق التطوير

تضع بنية PUNCH4NFDI التحتية أساسًا للعديد من التطبيقات المتقدمة:

• تحليل الفيزياء الفلكية متعددة الرسائل وعبر التجارب: دمج بيانات من كاشفات الجسيمات، والتلسكوبات، ومراصد موجات الجاذبية بسلاسة في سير عمل تحليل واحد، والاستفادة من موارد حوسبة متخصصة مختلفة (مزارع وحدات معالجة الرسومات لتحليل الصور، HTC لمعالجة أحداث الجسيمات).
• تدريب نماذج الذكاء الاصطناعي/التعلم الآلي على نطاق واسع: يمكن لمجمع الموارد الموحد توفير مجموعات كبيرة وعابرة ديناميكيًا لتدريب نماذج معقدة على مجموعات بيانات موزعة دون تركيز البيانات، بما يتماشى مع نماذج التعلم الموحد.
• استكشاف البيانات التفاعلي والتصور: اقتران واجهة JupyterHub مع أنظمة تصور خلفية عالية الأداء ومعجلة بوحدات معالجة الرسومات لبيانات المحاكاة واسعة النطاق.
• التكامل مع البنى التحتية الإلكترونية الخارجية: بنية الطبقة متوافقة من الناحية النظرية مع الاتصال بموارد على المستوى الأوروبي مثل السحابة الأوروبية المفتوحة للعلوم (EOSC) أو أنظمة PRACE HPC، لتعمل كبوابة ألمانية.

أولويات خارطة طريق التطوير:

1. المتانة والإنتاجية: الانتقال من النموذج الأولي إلى خدمة موثوقة على مدار الساعة طوال أيام الأسبمع اتفاقيات مستوى الخدمة (SLAs).
2. وضع البيانات الذكي: تعزيز الجدولة الفائقة بوعي مكانية البيانات لتقليل $\text{التكلفة}_{\text{نقل-البيانات}}$.
3. فهرس بيانات وصفية متقدم: تنفيذ نظام بيانات وصفية قوي وقابل للبحث فوق Storage4PUNCH لتمكين اكتشاف البيانات بناءً على الخصائص الفيزيائية.
4. مقاييس الحوسبة الخضراء: دمج أدوات لمراقبة وتحسين كفاءة الطاقة عبر الموارد الموحدة، وهو مصدر قلق متزايد للحوسبة واسعة النطاق.

10. المراجع

1. اتحاد PUNCH4NFDI. (2024). "PUNCH4NFDI - الجسيمات، الكون، النوى والهادرونات لـ NFDI." الموقع الرسمي. https://www.punch4nfdi.de/
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. (الورقة التأسيسية لـ HTCondor).
3. Blomer, J., et al. (2011). "The CernVM File System: A scalable, read-only, software distribution service." Journal of Physics: Conference Series, 331(5), 052004. (تفاصيل حول CVMFS).
4. المفوضية الأوروبية. (2024). "السحابة الأوروبية المفتوحة للعلوم (EOSC)." https://eosc-portal.eu/ (للمقارنة حول تحديات الاتحاد على المستوى الأوروبي).
5. Verma, A., et al. (2015). "Large-scale cluster management at Google with Borg." Proceedings of the European Conference on Computer Systems (EuroSys). (يقارن إدارة المجموعات الجديدة بالكامل مع طبقات الاتحاد).
6. تعاون CMS. (2021). "CMS Computing Operations in the AWS Cloud." EPJ Web of Conferences, 251, 02006. (مثال على نموذج السحابة/الاتحاد الهجين).
7. مبادئ بيانات FAIR. (2016). FORCE11. https://www.go-fair.org/fair-principles/ (المبادئ التوجيهية لمنصة بيانات PUNCH).