اجازه مه ورکوئ چې ذخیره د ماډل روزنې کې کلیدي خنډ شي

داسې ویل شوي چې د ټیکنالوژۍ شرکتونه یا د GPUs یا د دوی ترلاسه کولو په لاره کې روان دي. په اپریل کې، د ټیسلا سی ای او ایلون مسک 10,000 GPUs پیرودلي او ویلي یې دي چې شرکت به د NVIDIA څخه د GPUs لوی مقدار پیرودلو ته دوام ورکړي. د تصدۍ اړخ کې، د معلوماتي ټکنالوجۍ پرسونل هم سخت فشار راوړي ترڅو ډاډ ترلاسه کړي چې GPUs په دوامداره توګه کارول کیږي ترڅو د پانګې اچونې بیرته راستنیدنه اعظمي کړي. په هرصورت ، ځینې شرکتونه ممکن ومومي چې پداسې حال کې چې د GPUs شمیر ډیریږي ، د GPU بې کارۍ خورا شدید کیږي.

که تاریخ موږ ته د لوړ فعالیت کمپیوټري (HPC) په اړه څه زده کړي، دا دا دي چې ذخیره او شبکه باید په محاسبه باندې د ډیر تمرکز کولو په لګښت قرباني نشي. که چیرې ذخیره نشي کولی په مؤثره توګه کمپیوټري واحدونو ته ډیټا انتقال کړي، حتی که تاسو په نړۍ کې ډیری GPUs لرئ، تاسو به غوره موثریت ترلاسه نکړئ.

د کوچني نړۍ لوی ډیټا تحلیل کونکي مایک میچیټ په وینا ، کوچني ماډلونه په حافظه (RAM) کې اجرا کیدی شي ، چې په محاسبه باندې ډیر تمرکز ته اجازه ورکوي. په هرصورت، لوی ماډلونه لکه ChatGPT د ملیاردونو نوډونو سره د لوړ لګښت له امله په حافظه کې نشي ساتل کیدی.

"تاسو نشئ کولی په ملیاردونو نوډونه په حافظه کې فټ کړئ ، نو ذخیره یې خورا مهم کیږي ،" میچیټ وايي. له بده مرغه، د معلوماتو ذخیره اکثرا د پالن کولو پروسې په جریان کې له پامه غورځول کیږي.

په عموم کې، د کارونې قضیې په پام کې نیولو پرته، د ماډل روزنې پروسې کې څلور عام ټکي شتون لري:

1. د ماډل روزنه
2. د انفرنس غوښتنلیک
3. د معلوماتو ذخیره کول
4. ګړندی کمپیوټری

کله چې ماډلونه رامینځته کول او پلي کول ، ډیری اړتیاوې د ماډل روزنې پیل کولو لپاره د ګړندي ثبوت مفهوم (POC) یا ازموینې چاپیریال ته لومړیتوب ورکوي ، د ډیټا ذخیره کولو اړتیاو سره لوړ پام نه کیږي.

په هرصورت، ننګونه پدې حقیقت کې ده چې د روزنې یا انټرنېټ ګمارل کیدای شي د میاشتو یا حتی کلونو لپاره دوام وکړي. ډیری شرکتونه پدې وخت کې د خپل ماډل اندازې په چټکۍ سره اندازه کوي، او زیربنا باید پراخه شي ترڅو د مخ پر ودې ماډلونو او ډیټاسیټونو ځای په ځای کړي.

د ملیونونو ML روزنې کاري بارونو په اړه د ګوګل څیړنه ښیې چې د روزنې وخت په اوسط ډول 30٪ د ان پټ ډیټا پایپ لاین کې مصرف کیږي. پداسې حال کې چې تیرو څیړنو د روزنې ګړندي کولو لپاره د GPUs اصلاح کولو باندې تمرکز کړی ، ډیری ننګونې لاهم د ډیټا پایپ لاین مختلف برخو اصلاح کولو کې پاتې دي. کله چې تاسو د پام وړ کمپیوټري ځواک ولرئ، اصلي خنډ دا کیږي چې څومره ژر تاسو کولی شئ د پایلو ترلاسه کولو لپاره کمپیوټر ته ډاټا تغذیه کړئ.

په ځانګړې توګه، د ډیټا ذخیره کولو او مدیریت کې ننګونې د معلوماتو د ودې لپاره پالن کولو ته اړتیا لري، تاسو ته اجازه درکوي چې تاسو په دوامداره توګه د ډیټا ارزښت استخراج کړئ لکه څنګه چې تاسو پرمختګ کوئ، په ځانګړې توګه کله چې تاسو د ډیرو پرمختللو کارولو قضیې لکه ژورې زده کړې او عصبي شبکې ته اړتیا لرئ، کوم چې لوړ غوښتنې لري. د ظرفیت، فعالیت، او توزیع کولو شرایطو کې ذخیره کول.

په ځانګړې توګه:

د توزیع وړتیا
د ماشین زده کړه د ډیټا لوی مقدار اداره کولو ته اړتیا لري، او لکه څنګه چې د معلوماتو حجم زیاتیږي، د ماډلونو دقت هم ښه کیږي. دا پدې مانا ده چې سوداګرۍ باید هره ورځ ډیر معلومات راټول او ذخیره کړي. کله چې ذخیره اندازه نشي کولی ، د ډیټا ژور کاري بار خنډونه رامینځته کوي ، فعالیت محدودوي او د قیمتي GPU بې کاره وخت پایله کوي.

انعطاف
د ډیری پروتوکولونو لپاره انعطاف وړ ملاتړ (د NFS، SMB، HTTP، FTP، HDFS، او S3 په شمول) د مختلف سیسټمونو اړتیاو پوره کولو لپاره اړین دی، نه دا چې په یو ډول چاپیریال پورې محدود وي.

ځنډ
د I/O ځنډ د ماډلونو جوړولو او کارولو لپاره خورا مهم دی ځکه چې ډیټا څو ځله لوستل کیږي او لوستل کیږي. د I/O ځنډ کمول کولی شي د ماډلونو روزنې وخت په ورځو یا میاشتو کې لنډ کړي. د موډل ګړندی پرمختګ مستقیم د سوداګرۍ لویو ګټو ته ژباړل کیږي.

له لارې
د ذخیره کولو سیسټمونو له لارې د موثر ماډل روزنې لپاره خورا مهم دی. د روزنې پروسو کې په پراخه کچه ډیټا شامله ده، په ځانګړې توګه په هر ساعت کې په ټیرابایټ کې.

موازي لاسرسی
د لوړې کچې لاسته راوړلو لپاره، د روزنې ماډل فعالیتونه په څو موازي کارونو ویشي. دا ډیری وختونه پدې معنی دي چې د ماشین زده کړې الګوریتمونه په ورته وخت کې د ډیری پروسو (احتمالي فزیکي سرورونو کې) څخه ورته فایلونو ته لاسرسی لري. د ذخیره کولو سیسټم باید د فعالیت سره موافقت پرته همغږي غوښتنې اداره کړي.

په ټیټ ځنډ، لوړ ټرپټ، او په لویه پیمانه موازي I/O کې د دې د پام وړ وړتیاوو سره، ډیل پاور سکیل د GPU ګړندۍ کمپیوټر لپاره یو مثالی ذخیره بشپړونکی دی. PowerScale په مؤثره توګه د تحلیل ماډلونو لپاره اړین وخت کموي چې د څو ټریبایټ ډیټاسیټونو روزنه او ازموینه کوي. په PowerScale ټول فلش ذخیره کې، بینډ ویت 18 ځله زیاتیږي، د I/O خنډونه له منځه وړي، او د موجوده اسیلون کلسترونو کې اضافه کیدی شي ترڅو د لوی مقدار غیر منظم شوي ډیټا ارزښت ګړندی او خلاص کړي.

سربیره پردې ، د پاور سکیل څو پروتوکول لاسرسي وړتیاوې د کار بارونو چلولو لپاره لامحدود انعطاف چمتو کوي ، دا اجازه ورکوي چې ډیټا د یو پروتوکول په کارولو سره زیرمه شي او د بل په کارولو سره لاسرسی ومومي. په ځانګړې توګه، د پاور سکیل پلیټ فارم ځواکمن ځانګړتیاوې، انعطاف، توزیع، او د سوداګرۍ درجې فعالیت د لاندې ننګونو په حل کولو کې مرسته کوي:

- تر 2.7 ځله پورې نوښت ګړندی کړئ ، د ماډل روزنې دورې کمول.

- د I/O خنډونه له منځه یوسي او د موډل ګړندۍ روزنه او اعتبار چمتو کړي، د موډل دقت ښه والی، د ډیټا ساینس تولیداتو وده، او د تصدۍ درجې ځانګړتیاو، لوړ فعالیت، موافقت، او توزیع کولو په کارولو سره د کمپیوټري پانګوونې اعظمي عاید. په یوه کلستر کې تر 119 PB پورې د مؤثره ذخیره کولو ظرفیت په کارولو سره د ژورو ، لوړ ریزولوشن ډیټاسیټونو سره د ماډل دقت ته وده ورکړئ.

- د کوچني او خپلواکه اندازه کولو کمپیوټر او ذخیره کولو پیل کولو سره په پیمانه ځای پرځای کول ترلاسه کړئ ، د قوي ډیټا محافظت او امنیت اختیارونه وړاندې کړئ.

- د ګړندي ، ټیټ خطر ګمارلو لپاره د ځای په ځای تحلیلونو او دمخه تایید شوي حلونو سره د ډیټا ساینس محصولاتو ته وده ورکړئ.

- د غوره نسل ټیکنالوژیو پراساس د ثابت ډیزاینونو ګټه پورته کول ، پشمول د NVIDIA GPU سرعت او د NVIDIA DGX سیسټمونو سره د حوالې جوړښتونه. د پاور سکیل لوړ فعالیت او همغږي د ماشین زده کړې په هر پړاو کې د ذخیره کولو فعالیت اړتیاوې پوره کوي، د معلوماتو ترلاسه کولو او چمتو کولو څخه نیولې تر ماډل روزنې او انفرنس پورې. د OneFS عملیاتي سیسټم سره یوځای، ټول نوډونه کولی شي د ورته OneFS لخوا چلول شوي کلستر کې پرته له کوم خنډ سره کار وکړي، د تصدۍ کچې ځانګړتیاو سره لکه د فعالیت مدیریت، د معلوماتو مدیریت، امنیت، او د معلوماتو ساتنه، د سوداګرۍ لپاره د ماډل روزنې ګړندۍ بشپړولو او اعتبار وړ کول.