Compute4PUNCH و Storage4PUNCH: زیرساخت فدرال برای فیزیک ذرات، اخترفیزیک و هسته‌ای

1. مقدمه و مرور کلی

PUNCH4NFDI (ذرات، کیهان، هسته‌ها و هادرون‌ها برای زیرساخت ملی داده‌های پژوهشی) یک کنسرسیوم بزرگ آلمانی است که تقریباً ۹۰۰۰ دانشمند از حوزه‌های فیزیک ذرات، اخترفیزیک، اخترذرات، هادرون و فیزیک هسته‌ای را نمایندگی می‌کند. این کنسرسیوم که توسط DFG (بنیاد پژوهشی آلمان) تأمین مالی می‌شود، هدف اصلی آن ایجاد یک پلتفرم علمی داده‌ای فدرال و FAIR (قابل یافتن، قابل دسترسی، قابل تعامل و قابل استفاده مجدد) است. این پلتفرم در پی فراهم‌آوردن دسترسی یکپارچه به منابع محاسباتی و ذخیره‌سازی متنوع و ناهمگون پراکنده در میان مؤسسات مشارکت‌کننده است تا چالش مشترک تحلیل حجم‌های داده‌ای با رشد نمایی با الگوریتم‌های پیچیده را برطرف کند.

مفاهیم Compute4PUNCH و Storage4PUNCH ستون‌های فنی طراحی شده برای فدرال کردن مشارکت‌های عینی منابع محاسباتی با توان عملیاتی بالا (HTC)، محاسبات با کارایی بالا (HPC) و منابع ابری، و همچنین سیستم‌های ذخیره‌سازی مبتنی بر فناوری‌هایی مانند dCache و XRootD هستند.

2. زیرساخت محاسباتی ناهمگون فدرال (Compute4PUNCH)

مفهوم Compute4PUNCH به چالش فراهم‌آوردن دسترسی یکپارچه به مجموعه‌ای از منابع محاسباتی تأمین‌شده توسط جامعه با معماری‌ها، سیستم‌های عامل، پشته‌های نرم‌افزاری و سیستم‌های احراز هویت متفاوت می‌پردازد.

3. زیرساخت ذخیره‌سازی فدرال (Storage4PUNCH)

به موازات محاسبات، منابع ذخیره‌سازی فدرال می‌شوند تا یک لایه دسترسی یکپارچه به داده فراهم آورند.

4. پیاده‌سازی فنی و وضعیت نمونه اولیه

این مفاهیم در حال توسعه فعال هستند. نمونه‌های اولیه‌ای که مجموعه‌های اولیه منابع محاسباتی و ذخیره‌سازی را یکپارچه می‌کنند، ایجاد شده‌اند. در این سند به "اولین تجربیات با برنامه‌های علمی که روی نمونه‌های اولیه موجود اجرا شده‌اند" اشاره شده است که نشان می‌دهد گردش کارهای پذیرندگان اولیه در حال آزمایش هستند تا معماری تأیید و موانع عملی شناسایی شوند. محیط ترکیبی آماده است تا محققان را قادر سازد وظایف تحلیل پرمنبع را در سراسر زیرساخت فدرال اجرا کنند.

5. بینش هسته‌ای و دیدگاه تحلیلی

6. جزئیات فنی و چارچوب ریاضی

مسئله زمان‌بندی منابع در چنین فدراسیونی را می‌توان انتزاعی کرد. فرض کنید $R = \{r_1, r_2, ..., r_n\}$ مجموعه منابع ناهمگون باشد که هر کدام دارای ویژگی‌های پویایی مانند هسته‌های در دسترس $C_i(t)$، حافظه $M_i(t)$ و سخت‌افزار تخصصی (مانند GPUها) هستند. فرض کنید $J = \{j_1, j_2, ..., j_m\}$ مجموعه کارها با نیازمندی‌های $\text{req}(j_k)$ باشد.

هدف فرازمان‌بند، یک تابع نگاشت $\mathcal{M}: J \rightarrow R$ است که یک تابع مطلوبیت $U$، که اغلب یک مجموع وزندار از کارایی و انصاف است، را بیشینه می‌کند و در عین حال محدودیت‌ها را رعایت می‌کند:

$$ \text{بیشینه کردن } U = \alpha \cdot \text{Utilization} + \beta \cdot \text{Fairness} - \gamma \cdot \text{Cost}_{\text{data-movement}} $$ $$ \text{با شرط: } \forall r_i, \sum_{j_k \in \mathcal{M}^{-1}(r_i)} \text{req}_{\text{cores}}(j_k) \leq C_i(t) $$

عبارت Cost_{data-movement} در یک محیط ذخیره‌سازی فدرال حیاتی است و زمان‌بندی‌هایی را که نیاز به جابجایی مجموعه داده‌های بزرگ در شبکه‌های گسترده دارند، جریمه می‌کند. این مسئله را از زمان‌بندی کلاسیک خوشه متمایز می‌سازد.

AAI مبتنی بر توکن را می‌توان به عنوان یک سیستم کنترل دسترسی مبتنی بر قابلیت مدل کرد. یک توکن $\tau$ که برای کاربر $u$ و منبع $r$ صادر می‌شود، یک عبارت امضاشده رمزنگاری است: $\tau = \text{Sign}_{\text{AAI}}(u, r, \text{scope}, \text{expiry})$. این امر تصمیمات مجوزدهی را به ارائه‌دهندگان منابع غیرمتمرکز می‌کند، که فقط نیاز به اعتبارسنجی امضای توکن دارند.

7. نتایج آزمایشی و عملکرد نمونه اولیه

اگرچه PDF شامل نتایج کمی خاصی نیست، اما "اولین تجربیات با برنامه‌های علمی" بیان شده، حاکی از آزمایش‌های یکپارچه‌سازی اولیه است. می‌توانیم شاخص‌های کلیدی عملکرد (KPI) که باید اندازه‌گیری شوند را به صورت مفهومی بیان کنیم:

8. چارچوب تحلیل: مثال مفهومی گردش کار

از آنجایی که PDF شامل کد نیست، در اینجا یک توصیف مفهومی گردش کار مبتنی بر YAML ارائه شده است که یک محقق ممکن است برای تعریف یک کار تحلیل برای فدراسیون Compute4PUNCH/Storage4PUNCH استفاده کند. این امر ماهیت اعلانی سیستم هدف را برجسته می‌کند.

# punch_analysis_workflow.yaml
workflow:
  name: "punch4nfdi_federated_analysis"
  user: "researcher@uni-example.de"
  aai_token: "${PUNCH_AAI_TOKEN}"  # از محیط تزریق می‌شود

compute:
  requirements:
    cores: 8
    memory: "32GB"
    runtime: "48h"
    software_stack: "punchenv/analysis-suite:latest"  # از طریق CVMFS/کانتینر حل می‌شود
    priority: "medium"

storage:
  input_data:
    - protocol: "root"
      path: "root://storage-a.punch.de//experiment/run2023/data_*.root"
      cache_prefetch: true  # اشاره به لایه کش Storage4PUNCH
  output_data:
    - protocol: "s3"
      endpoint: "https://object-store.punch.de"
      path: "/results/${WORKFLOW_ID}/histograms.root"

execution:
  entry_point: "jupyterlab"  # اختیاری: شروع جلسه تعاملی
  # یا
  batch_command: "python /analysis/run_full_chain.py --input ${INPUT_PATH} --output ${OUTPUT_PATH}"

provenance:
  log_level: "detailed"
  export_metadata_to: "meta.punch.de/catalog"

این مشخصه تخیلی نشان می‌دهد که چگونه یک کاربر آنچه نیاز دارد (منابع، نرم‌افزار، داده) را اعلام می‌کند بدون اینکه مشخص کند کجا اجرا می‌شود. میان‌افزار فدراسیون (HTCondor، TARDIS، فدراسیون ذخیره‌سازی) این مشخصه را تفسیر می‌کند، منابع مناسب را پیدا می‌کند، داده را مرحله‌بندی می‌کند، محیط نرم‌افزاری را تزریق می‌کند و کار را اجرا می‌کند و گزارش‌ها و خروجی را به مکان‌های مشخص‌شده گزارش می‌دهد.

9. کاربردهای آینده و نقشه راه توسعه

زیرساخت PUNCH4NFDI پایه‌ای برای چندین کاربرد پیشرفته فراهم می‌کند:

• تحلیل اخترفیزیک چندپیام‌رسان و چندآزمایشی: ترکیب یکپارچه داده از آشکارسازهای ذرات، تلسکوپ‌ها و رصدخانه‌های امواج گرانشی در یک گردش کار تحلیل واحد، با بهره‌گیری از منابع محاسباتی تخصصی متفاوت (مزرعه‌های GPU برای تحلیل تصویر، HTC برای پردازش رویدادهای ذرات).
• آموزش مدل‌های هوش مصنوعی/یادگیری ماشین در مقیاس: استخر منابع فدرال می‌تواند به صورت پویا خوشه‌های بزرگ و موقتی برای آموزش مدل‌های پیچیده روی مجموعه داده‌های توزیع‌شده بدون متمرکز کردن داده، تأمین کند که با پارادایم‌های یادگیری فدرال همسو است.
• اکتشاف و بصری‌سازی تعاملی داده: اتصال رابط JupyterHub با بک‌اندهای بصری‌سازی راه‌دور با کارایی بالا و شتاب‌یافته توسط GPU برای داده‌های شبیه‌سازی در مقیاس بزرگ.
• یکپارچه‌سازی با زیرساخت‌های الکترونیکی خارجی: معماری لایه‌ای از نظر مفهومی با اتصال به منابع در مقیاس اروپایی مانند ابر علم باز اروپا (EOSC) یا سیستم‌های HPC PRACE سازگار است و می‌تواند به عنوان یک دروازه آلمانی عمل کند.

اولویت‌های نقشه راه توسعه:

1. استحکام و تولیدی‌سازی: حرکت از نمونه اولیه به یک سرویس قابل اعتماد ۲۴/۷ با SLA.
2. جای‌گذاری هوشمند داده: تقویت فرازمان‌بند با آگاهی از مکان داده برای به حداقل رساندن $\text{Cost}_{\text{data-movement}}$.
3. کاتالوگ فراداده پیشرفته: پیاده‌سازی یک سیستم فراداده قدرتمند و قابل جستجو بر روی Storage4PUNCH برای فعال‌سازی کشف داده بر اساس ویژگی‌های فیزیکی.
4. معیارهای محاسبات سبز: یکپارچه‌سازی ابزارها برای نظارت و بهینه‌سازی کارایی انرژی در سراسر منابع فدرال، که نگرانی رو به رشدی برای محاسبات در مقیاس بزرگ است.

10. منابع

1. کنسرسیوم PUNCH4NFDI. (۲۰۲۴). "PUNCH4NFDI - ذرات، کیهان، هسته‌ها و هادرون‌ها برای NFDI." وب‌سایت رسمی. https://www.punch4nfdi.de/
2. Thain, D., Tannenbaum, T., & Livny, M. (2005). "Distributed computing in practice: the Condor experience." Concurrency and Computation: Practice and Experience, 17(2-4), 323-356. (مقاله بنیادی HTCondor).
3. Blomer, J., et al. (2011). "The CernVM File System: A scalable, read-only, software distribution service." Journal of Physics: Conference Series, 331(5), 052004. (جزئیات درباره CVMFS).
4. کمیسیون اروپا. (۲۰۲۴). "ابر علم باز اروپا (EOSC)." https://eosc-portal.eu/ (برای مقایسه چالش‌های فدراسیون در مقیاس اتحادیه اروپا).
5. Verma, A., et al. (2015). "Large-scale cluster management at Google with Borg." Proceedings of the European Conference on Computer Systems (EuroSys). (مدیریت خوشه از پایه تمیز را در مقابل لایه‌های فدراسیون مقایسه می‌کند).
6. همکاری CMS. (2021). "CMS Computing Operations in the AWS Cloud." EPJ Web of Conferences, 251, 02006. (نمونه‌ای از مدل ترکیبی ابر/فدراسیون).
7. اصول داده FAIR. (2016). FORCE11. https://www.go-fair.org/fair-principles/ (اصول راهنما برای پلتفرم داده PUNCH).