မော်ဒယ်လေ့ကျင့်ရေးတွင် သိုလှောင်မှု၏ သော့အပိတ်အကျပ်မဖြစ်ပါစေနှင့်

နည်းပညာကုမ္ပဏီများသည် GPUs များအတွက် ရုန်းရင်းဆန်ခတ်ဖြစ်စေရန် သို့မဟုတ် ၎င်းတို့ကိုရယူရန် လမ်းကြောင်းပေါ်ရောက်နေသည်ဟု ဆိုကြသည်။ ဧပြီလတွင် Tesla CEO Elon Musk သည် GPU 10,000 ကိုဝယ်ယူခဲ့ပြီး NVIDIA မှ GPU အမြောက်အမြားကို ဆက်လက်ဝယ်ယူသွားမည်ဖြစ်ကြောင်း ပြောကြားခဲ့ပါသည်။ လုပ်ငန်းဘက်တွင်၊ IT ဝန်ထမ်းများသည် ရင်းနှီးမြှုပ်နှံမှုအပေါ် ပြန်အမ်းငွေအများဆုံးရရှိရန် GPU များကို အဆက်မပြတ်အသုံးပြုကြောင်း သေချာစေရန် ပြင်းပြင်းထန်ထန် တွန်းအားပေးလျက်ရှိသည်။ သို့သော်၊ အချို့သောကုမ္ပဏီများသည် GPU အရေအတွက်များလာချိန်တွင် GPU ပျင်းရိမှုသည် ပို၍ပြင်းထန်လာသည်ကို တွေ့ရှိနိုင်သည်။

အကယ်၍ သမိုင်းသည် ကျွန်ုပ်တို့အား စွမ်းဆောင်ရည်မြင့် ကွန်ပျူတာ (HPC) နှင့် ပတ်သက်၍ တစ်စုံတစ်ရာ သင်ကြားပေးခဲ့ပါက၊ ၎င်းသည် သိုလှောင်မှုနှင့် ကွန်ရက်ချိတ်ဆက်မှုကို တွက်ချက်မှုအပေါ် အလွန်အကျွံအာရုံစိုက်ခြင်းအတွက် ကုန်ကျစရိတ်ဖြင့် မစတေးသင့်ပါ။ အကယ်၍ သင့်တွင် ကမ္ဘာပေါ်တွင် GPU အများစုရှိလျှင်ပင် သိုလှောင်မှုမှ ဒေတာများကို ကွန်ပျူတာယူနစ်များသို့ ထိရောက်စွာ လွှဲပြောင်းမပေးနိုင်ပါက၊ သင့်တွင် အကောင်းဆုံး စွမ်းဆောင်ရည်ကို ရရှိနိုင်မည် မဟုတ်ပါ။

Small World Big Data မှ ခွဲခြမ်းစိတ်ဖြာသူ Mike Mattett ၏ အဆိုအရ သေးငယ်သော မော်ဒယ်များကို memory (RAM) တွင် လုပ်ဆောင်နိုင်ပြီး တွက်ချက်မှုအပေါ် ပိုမိုအာရုံစိုက်နိုင်သည်ဟု ဆိုသည်။ သို့သော်၊ ကုန်ကျစရိတ်ကြီးမြင့်မှုကြောင့် မိုရီဘီလီယံနှင့်ချီသော node များပါရှိသော ChatGPT ကဲ့သို့သော ပိုကြီးသောမော်ဒယ်များကို မှတ်ဉာဏ်တွင် သိမ်းဆည်း၍မရပါ။

"မင်းမှတ်ဉာဏ်ထဲမှာ node ပေါင်း ဘီလီယံနဲ့ချီပြီး အံမဝင်နိုင်ဘူး၊ ဒါကြောင့် သိုလှောင်မှုက ပိုအရေးကြီးလာတယ်" ဟု Matchett ကဆိုသည်။ ကံမကောင်းစွာပဲ၊ အစီအစဉ်ရေးဆွဲခြင်းလုပ်ငန်းစဉ်အတွင်း ဒေတာသိုလှောင်မှုကို မကြာခဏ မေ့လျော့နေပါသည်။

ယေဘူယျအားဖြင့်၊ အသုံးပြုမှုအခြေအနေ မည်သို့ပင်ရှိစေကာမူ မော်ဒယ်လေ့ကျင့်ရေးလုပ်ငန်းစဉ်တွင် ဘုံအချက်လေးချက်ရှိသည်။

1. မော်ဒယ်သင်တန်း
2. အနုမာနလျှောက်လွှာ
3. ဒေတာသိုလှောင်မှု
4. Accelerated Computing

မော်ဒယ်များကို ဖန်တီးပြီး အသုံးချသည့်အခါ၊ လိုအပ်ချက်များအများစုသည် ဒေတာသိမ်းဆည်းမှုအား ထိပ်တန်းထည့်သွင်းစဉ်းစားခြင်းမပြုဘဲ မော်ဒယ်လေ့ကျင့်မှုစတင်ရန်အတွက် အမြန်သက်သေပြမှု (POC) သို့မဟုတ် စမ်းသပ်မှုပတ်ဝန်းကျင်များကို ဦးစားပေးပါသည်။

သို့သော်လည်း စိန်ခေါ်မှုမှာ လေ့ကျင့်ရေး သို့မဟုတ် ကောက်ချက်ချခြင်းတွင် လ သို့မဟုတ် နှစ်များပင် ကြာရှည်နိုင်သည်ဟူသော အချက်မှာ စိန်ခေါ်မှုဖြစ်သည်။ ကုမ္ပဏီအများအပြားသည် ဤကာလအတွင်း ၎င်းတို့၏ မော်ဒယ်အရွယ်အစားများကို လျင်မြန်စွာ ချဲ့ထွင်ကြပြီး ကြီးထွားလာသော မော်ဒယ်များနှင့် ဒေတာအတွဲများကို လိုက်လျောညီထွေဖြစ်စေရန်အတွက် အခြေခံအဆောက်အအုံများကို တိုးချဲ့ရမည်ဖြစ်သည်။

သန်းပေါင်းများစွာသော ML လေ့ကျင့်ရေးအလုပ်များဆိုင်ရာ Google မှ သုတေသနပြုချက်များအရ လေ့ကျင့်ချိန်၏ ပျမ်းမျှ 30% ကို input data pipeline တွင် အသုံးပြုကြောင်း ဖော်ပြသည်။ လေ့ကျင့်မှုကို အရှိန်မြှင့်ရန် GPU များကို အကောင်းဆုံးဖြစ်အောင် ယခင်သုတေသနများက အာရုံစိုက်ခဲ့သော်လည်း၊ ဒေတာပိုက်လိုင်း၏ အစိတ်အပိုင်းများကို အကောင်းဆုံးဖြစ်အောင် လုပ်ဆောင်ရာတွင် စိန်ခေါ်မှုများစွာ ရှိနေသေးသည်။ သင့်တွင် သိသာထင်ရှားသော ကွန်ပြူတာစွမ်းအားရှိသောအခါ ရလဒ်များရရှိရန် တွက်ချက်မှုများအတွင်းသို့ အချက်အလက်များကို မည်မျှမြန်မြန်ဆန်ဆန် ဖြည့်သွင်းနိုင်သည်ဖြစ်စေ စစ်မှန်သောပိတ်ဆို့မှုဖြစ်လာသည်။

အထူးသဖြင့်၊ ဒေတာသိမ်းဆည်းခြင်းနှင့် စီမံခန့်ခွဲခြင်းဆိုင်ရာ စိန်ခေါ်မှုများသည် ဒေတာတိုးတက်မှုအတွက် အစီအစဥ်လိုအပ်ပြီး အထူးသဖြင့် နက်ရှိုင်းသောသင်ယူမှုနှင့် အာရုံကြောကွန်ရက်များကဲ့သို့သော ပိုမိုအဆင့်မြင့်သောအသုံးပြုမှုကိစ္စများတွင် ပါဝင်ဆောင်ရွက်သည့်အခါတွင် ဒေတာတန်ဖိုးကို စဉ်ဆက်မပြတ်ထုတ်ယူနိုင်စေမည်ဖြစ်သည်။ သိုလှောင်မှုပမာဏ၊ စွမ်းဆောင်ရည်၊ နှင့် အရွယ်အစားအလိုက် သိုလှောင်မှု။

အထူးသဖြင့်:

ကျွမ်းကျင်ပိုင်နိုင်မှု
စက်သင်ယူခြင်းသည် များပြားလှသော ဒေတာပမာဏကို ကိုင်တွယ်ရန် လိုအပ်ပြီး ဒေတာပမာဏ တိုးလာသည်နှင့်အမျှ မော်ဒယ်များ၏ တိကျမှုလည်း တိုးတက်လာပါသည်။ ဆိုလိုသည်မှာ လုပ်ငန်းများသည် နေ့စဉ် ဒေတာများ ပိုမိုစုဆောင်း သိမ်းဆည်းရမည်ဟု ဆိုလိုသည်။ သိုလှောင်မှုပမာဏကို မချဲ့ထွင်နိုင်သောအခါ၊ ဒေတာအလွန်အကျွံသုံးသည့် အလုပ်ပမာဏများသည် စွမ်းဆောင်ရည်ကို ကန့်သတ်ပြီး ကုန်ကျစရိတ်များသော GPU ရပ်နားချိန်ကို ဖြစ်ပေါ်စေသည်။

များပါတယ်။
ပရိုတိုကောမျိုးစုံ (NFS၊ SMB၊ HTTP၊ FTP၊ HDFS၊ နှင့် S3 အပါအဝင်) သည် ပတ်ဝန်းကျင်အမျိုးအစားတစ်ခုတည်းအတွက် ကန့်သတ်ထားခြင်းမဟုတ်ဘဲ မတူညီသောစနစ်များ၏လိုအပ်ချက်များကိုဖြည့်ဆည်းရန် Flexible Support ပြုလုပ်ရန်လိုအပ်ပါသည်။

ငံနေချိန်
I/O latency သည် အချက်အလက်များကို အကြိမ်များစွာ ဖတ်ပြီး ပြန်ဖတ်သောကြောင့် မော်ဒယ်များကို တည်ဆောက်ခြင်းနှင့် အသုံးပြုခြင်းအတွက် အရေးကြီးပါသည်။ I/O latency လျှော့ချခြင်းသည် မော်ဒယ်များ၏ လေ့ကျင့်ချိန်ကို ရက် သို့မဟုတ် လများဖြင့် တိုစေနိုင်သည်။ ပိုမိုမြန်ဆန်သော မော်ဒယ် ဖွံ့ဖြိုးတိုးတက်မှုသည် လုပ်ငန်း၏ အားသာချက်များကို တိုက်ရိုက်ဘာသာပြန်ပါသည်။

ဖြတ်သန်းမှု
ထိရောက်သော မော်ဒယ်သင်တန်းအတွက် အရေးကြီးသော သိုလှောင်မှုစနစ်များ။ လေ့ကျင့်ရေးလုပ်ငန်းစဉ်များတွင် ပုံမှန်အားဖြင့် တစ်နာရီလျှင် terabytes ဖြင့် ဒေတာအများအပြားပါဝင်ပါသည်။

Parallel Access
မြင့်မားသော စွမ်းရည်များရရှိရန်၊ လေ့ကျင့်ရေးပုံစံများသည် လှုပ်ရှားမှုများကို ပြိုင်တူအလုပ်များအဖြစ် ခွဲထားသည်။ ၎င်းသည် မကြာခဏ ဆိုလိုသည်မှာ စက်သင်ယူမှု အယ်လဂိုရီသမ်များသည် လုပ်ငန်းစဉ်များစွာမှ တူညီသောဖိုင်များကို (ရုပ်ပိုင်းဆိုင်ရာ ဆာဗာများစွာတွင် ဖြစ်နိုင်ချေရှိသော) တစ်ပြိုင်နက် ဝင်ရောက်ကြည့်ရှုသည်ဟု ဆိုလိုသည်။ သိုလှောင်မှုစနစ်သည် စွမ်းဆောင်ရည်ကို အလျှော့မပေးဘဲ တစ်ပြိုင်နက် တောင်းဆိုချက်များကို ကိုင်တွယ်ရမည်ဖြစ်သည်။

latency နည်းပါးသော၊ မြင့်မားသောထွက်ရှိမှုနှင့် ကြီးမားသောအပြိုင် I/O တွင် ၎င်း၏ထူးခြားသောစွမ်းရည်များဖြင့် Dell PowerScale သည် GPU-accelerated computing အတွက် စံပြသိုလှောင်မှုဖြည့်စွက်တစ်ခုဖြစ်သည်။ PowerScale သည် multi-terabyte datasets များကိုလေ့ကျင့်ပေးပြီး စမ်းသပ်သည့် ခွဲခြမ်းစိတ်ဖြာမှုမော်ဒယ်များအတွက် လိုအပ်သောအချိန်ကို ထိရောက်စွာ လျှော့ချပေးပါသည်။ PowerScale all-flash storage တွင်၊ bandwidth သည် 18 ဆ တိုးလာပြီး I/O ပိတ်ဆို့မှုများကို ဖယ်ရှားကာ ဖွဲ့စည်းပုံမထားသော ဒေတာအမြောက်အမြား၏တန်ဖိုးကို အရှိန်မြှင့်ရန်နှင့် လော့ခ်ဖွင့်ရန်အတွက် ရှိပြီးသား Isilon အစုအဝေးများသို့ ပေါင်းထည့်နိုင်သည်။

ထို့အပြင်၊ PowerScale ၏ multi-protocol ဝင်ရောက်နိုင်မှုစွမ်းရည်များသည် အလုပ်များလုပ်ဆောင်ခြင်းအတွက် အကန့်အသတ်မရှိ ပြောင်းလွယ်ပြင်လွယ်ပေးစွမ်းနိုင်ပြီး ဒေတာများကို ပရိုတိုကောတစ်ခုအသုံးပြု၍ သိမ်းဆည်းထားနိုင်ကာ အခြားတစ်ခုကိုအသုံးပြု၍ ဝင်ရောက်အသုံးပြုနိုင်မည်ဖြစ်သည်။ အထူးသဖြင့်၊ PowerScale ပလပ်ဖောင်း၏ အစွမ်းထက်သော အင်္ဂါရပ်များ၊ ပြောင်းလွယ်ပြင်လွယ်၊ ချဲ့ထွင်နိုင်မှုနှင့် လုပ်ငန်းအဆင့်လုပ်ဆောင်နိုင်စွမ်းများသည် အောက်ပါစိန်ခေါ်မှုများကို ကိုင်တွယ်ဖြေရှင်းရန် ကူညီပေးသည်-

- ဆန်းသစ်တီထွင်မှုကို 2.7 ကြိမ်အထိ အရှိန်မြှင့်ပြီး မော်ဒယ်လေ့ကျင့်ရေးစက်ဝန်းကို လျှော့ချပါ။

- I/O ပိတ်ဆို့မှုများကို ဖယ်ရှားပြီး ပိုမိုမြန်ဆန်သော မော်ဒယ်သင်တန်းနှင့် တရားဝင်အောင်၊ မြှင့်တင်ထားသော မော်ဒယ်တိကျမှု၊ မြှင့်တင်ထားသော ဒေတာသိပ္ပံ၏ ကုန်ထုတ်စွမ်းအားနှင့် လုပ်ငန်းအဆင့် အင်္ဂါရပ်များ၊ စွမ်းဆောင်ရည်မြင့်မားမှု၊ တူညီမှုနှင့် အတိုင်းအတာတို့ကို အသုံးချခြင်းဖြင့် ကွန်ပျူတာရင်းနှီးမြှုပ်နှံမှုများအပေါ် အမြင့်ဆုံးပြန်အမ်းငွေကို ပံ့ပိုးပေးပါသည်။ အစုအဝေးတစ်ခုတွင် 119 PB အထိ ထိရောက်သောသိုလှောင်မှုပမာဏကို အသုံးချခြင်းဖြင့် ပိုမိုနက်ရှိုင်းသော၊ ပိုမိုမြင့်မားသော ဒေတာအတွဲများဖြင့် မော်ဒယ်တိကျမှုကို မြှင့်တင်ပါ။

- သေးငယ်ပြီး အမှီအခိုကင်းသော ကွန်ပျူတာနှင့် သိုလှောင်မှုကို အတိုင်းအတာတစ်ခုအထိ ချဲ့ထွင်ခြင်းဖြင့် ခိုင်မာသောဒေတာကာကွယ်ရေးနှင့် လုံခြုံရေးရွေးချယ်စရာများကို ပေးဆောင်ခြင်းဖြင့် အတိုင်းအတာတစ်ခုအထိ ဖြန့်ကျက်မှုအောင်မြင်ပါ။

- လျင်မြန်ပြီး အန္တရာယ်နည်းပါးသော ဖြန့်ကျက်မှုများအတွက် တည်နေရာခွဲခြမ်းစိတ်ဖြာမှုများနှင့် ကြိုတင်စစ်ဆေးထားသော အဖြေများဖြင့် ဒေတာသိပ္ပံ၏ ကုန်ထုတ်စွမ်းအားကို မြှင့်တင်ပါ။

- NVIDIA GPU အရှိန်မြှင့်ခြင်းနှင့် NVIDIA DGX စနစ်များဖြင့် ကိုးကားမှုဗိသုကာများ အပါအဝင် အကောင်းဆုံး မျိုးရိုးနည်းပညာများအပေါ် အခြေခံ၍ သက်သေပြထားသော ဒီဇိုင်းများကို အသုံးချခြင်း။ PowerScale ၏ မြင့်မားသောစွမ်းဆောင်ရည်နှင့် ပေါင်းစပ်ငွေကြေးသည် ဒေတာရယူမှုနှင့် ပြင်ဆင်မှုမှ မော်ဒယ်လေ့ကျင့်ရေးအထိ စက်ပစ္စည်းသင်ယူမှုအဆင့်တိုင်းတွင် သိုလှောင်မှုစွမ်းဆောင်ရည်လိုအပ်ချက်များနှင့် ကိုက်ညီပါသည်။ OneFS လည်ပတ်မှုစနစ်နှင့်အတူ၊ node များအားလုံးသည် စွမ်းဆောင်ရည်စီမံခန့်ခွဲမှု၊ ဒေတာစီမံခန့်ခွဲမှု၊ လုံခြုံရေးနှင့် ဒေတာကာကွယ်မှုကဲ့သို့သော လုပ်ငန်းအဆင့်အင်္ဂါရပ်များနှင့်အတူ တူညီသော OneFS-driven အစုအဝေးအတွင်း ချောမွေ့စွာလည်ပတ်နိုင်ပြီး၊ လုပ်ငန်းများအတွက် မော်ဒယ်သင်တန်းများ မြန်ဆန်စွာပြီးစီးမှုနှင့် တရားဝင်မှုတို့ကို ပံ့ပိုးပေးပါသည်။