مهندسی داده ابری و زیربنای هوش مصنوعی سازمانی

گزارش‌گیری و پیش‌بینی در سازمان‌ها به داده‌هایی وابسته است که به‌موقع دریافت شوند و هنگام جابه‌جایی میان سامانه‌های مختلف، معنای خود را حفظ کنند. در شرکت‌های فعال در حوزه انرژی، خدمات شهری و خودروسازی، مهاجرت به فضای ابری می‌تواند شامل پایگاه‌های داده قدیمی، تبدیل‌های پیچیده و گزارش‌هایی باشد که تیم‌ها هر روز از آن‌ها استفاده می‌کنند. مهندسی داده این سامانه‌ها را به یکدیگر متصل می‌کند و اطلاعات را برای تحلیل آماده می‌سازد.

Rekapalli Ome Sai Vijay به‌عنوان یک مهندس داده ابری باتجربه، در پروژه‌های عملی حوزه انرژی، خدمات شهری و خودروسازی فعالیت‌های قابل توجهی داشته است. او در همکاری با Deloitte و Capgemini، تخصص خود در مهاجرت ابری را با خودکارسازی گزارش‌ها و بهینه‌سازی عملکرد ترکیب کرده است. سوابق پروژه‌های او شامل کاهش زمان اجرای یک فرایند کلیدی گزارش‌گیری از سه ساعت به ۳۰ دقیقه و کاهش زمان اجرا تا ۷۰ درصد در بارهای کاری تحت تأثیر این بهینه‌سازی‌هاست. این نتایج نشان می‌دهد او توانایی تبدیل نیازهای پیچیده مهندسی به بهبودهای عملیاتی قابل اندازه‌گیری را دارد.

پرسش: سازمان‌ها هنگام انتقال داده‌های قدیمی به فضای ابری باید روی چه مواردی تمرکز کنند؟

ویکتور: نخستین گام، درک این موضوع است که داده‌های موجود چگونه از کسب‌وکار پشتیبانی می‌کنند. من روی انتقال داده‌های Oracle به Azure Data Lake Storage Gen2 و تبدیل جریان‌های کاری قدیمی Netezza SQL و Informatica برای محیط‌های مبتنی بر Azure کار کرده‌ام. نگاشت‌های منبع به مقصد و مشخصات فنی شفاف کمک می‌کنند تعریف‌های کسب‌وکار در طول مهاجرت حفظ شوند. نیازهای گزارش‌گیری باید مسیر طراحی را مشخص کنند تا تیم‌ها همچنان بتوانند از اطلاعات استفاده کنند.

پرسش: خودکارسازی چگونه می‌تواند تفاوتی قابل اندازه‌گیری در گزارش‌گیری ایجاد کند؟

ویکتور: در یک پروژه نوسازی داده‌های خدمات شهری، پایپ‌لاین‌های Azure Data Factory مبتنی بر پیکربندی برای ورود مجموعه‌داده‌ها ایجاد کردم. این کار به کاهش زمان یک فرایند دستی کلیدی گزارش‌گیری از سه ساعت به ۳۰ دقیقه کمک کرد. پردازش مبتنی بر پیکربندی باعث می‌شود دستورالعمل‌های تکرارشونده در مجموعه‌داده‌های مختلف دوباره قابل استفاده باشند. این روش به مهندسان امکان می‌دهد ورود داده‌ها را به شکلی یکپارچه مدیریت کنند و نیاز به ساخت جداگانه هر جریان کاری را کاهش دهند.

پرسش: پردازش قابل اعتماد داده در مقیاس سازمانی به چه چیزهایی نیاز دارد؟

ویکتور: در پروژه‌های Deloitte، بخش قابل توجهی از طراحی، ساخت و نگهداری حدود ۶۰ تا ۷۰ پایپ‌لاین Azure Data Factory و ۴۰ تا ۵۰ نوت‌بوک Databricks که توسط تیم‌های پروژه تحویل داده شدند، بر عهده من بود. این محیط‌ها روزانه ۳۰۰ تا ۵۰۰ گیگابایت داده را در بیش از ۱۰۰ جدول کسب‌وکاری پردازش می‌کردند. کار من شامل ایجاد تبدیل‌های قابل استفاده مجدد و اعتبارسنجی داده‌ها بود. ثبت رخدادها و پایش عملکرد نیز برای دنبال کردن کارایی سامانه و رفع مشکلات به کار گرفته شد.

پرسش: چگونه عملکرد پایپ‌لاین‌های داده را بهبود می‌دهید؟

ویکتور: فعالیت‌های بهینه‌سازی من شامل استفاده از Spark caching، پارتیشن‌بندی، پردازش موازی و تنظیم کوئری‌های SQL بوده است. این تغییرات زمان اجرا را در برخی بارهای کاری Spark و پایپ‌لاین‌ها تا ۷۰ درصد کاهش دادند. هدف عملی این است که اطلاعات در چارچوب زمان‌بندی گزارش‌گیری آماده شوند. بهبود عملکرد همچنین باید دقت خروجی را حفظ کند؛ بنابراین منطق تبدیل و بررسی‌های داده همچنان اهمیت زیادی دارند.

پرسش: معماری داده چگونه از پیش‌بینی و هوش مصنوعی پشتیبانی می‌کند؟

ویکتور: من با Delta Lake، معماری مدالیون و مدل‌سازی ستاره‌ای برای سازمان‌دهی داده‌ها جهت تحلیل کار کرده‌ام. این رویکردها کمک می‌کنند رکوردهای خام از داده‌های اعتبارسنجی‌شده و مجموعه‌داده‌های مورد استفاده کسب‌وکار جدا شوند. در یک پروژه خدمات شهری، مجموعه‌داده‌های پالایش‌شده‌ای آماده کردم که تیم‌های علم داده از آن‌ها برای پیش‌بینی تقاضا استفاده کردند. این آماده‌سازی، مبنای روشن‌تری برای کار تیم مدل‌سازی فراهم می‌کند و تعریف‌ها و تبدیل‌های داده را قابل بررسی نگه می‌دارد.

پرسش: کار با Azure و Google Cloud چه آموخته‌هایی برای شما داشته است؟

ویکتور: بیشتر تجربه من در Azure، به‌ویژه Data Factory، Databricks و ذخیره‌سازی داده ابری بوده است. همچنین پایپ‌لاین‌های Google Cloud Dataflow ساخته و با BigQuery کار کرده‌ام. سرویس‌ها متفاوت هستند، اما مهندسان همچنان باید درک درستی از ورود داده، تبدیل داده و نیازهای برنامه‌های مصرف‌کننده داشته باشند. تجربه در چند پلتفرم به من کمک می‌کند طراحی‌هایی را در نظر بگیرم که در کنار محیط گسترده‌تر فناوری قابل نگهداری باشند.

پرسش: چه تحولاتی را انتظار دارید در آینده صنعت را شکل دهند؟

ویکتور: انتظار دارم با گسترش استفاده سازمان‌ها از هوش مصنوعی، توجه بیشتری به کیفیت و مالکیت مجموعه‌داده‌ها شود. توسعه به کمک هوش مصنوعی می‌تواند برای کدنویسی‌های معمولی مفید باشد، اما مهندسان همچنان مسئول بررسی منطق کسب‌وکار و رفتار سامانه در محیط تولید خواهند بود. از نظر من، مسیر مفید شامل پردازش‌های قابل استفاده مجدد قوی‌تر و همکاری نزدیک‌تر با تیم‌هایی است که از داده استفاده می‌کنند. موفقیت باید در گزارش‌گیری قابل اعتماد و اطلاعاتی که افراد بتوانند با اطمینان از آن استفاده کنند، دیده شود.

با توسعه تحلیل‌های سازمانی و هوش مصنوعی، مهندسانی که قابلیت اطمینان و کاربردپذیری داده‌های کسب‌وکار را افزایش می‌دهند، همچنان اهمیت زیادی خواهند داشت. مشارکت‌های Vijay در مهاجرت داده، خودکارسازی گزارش‌گیری و بهینه‌سازی عملکرد، او را به متخصصی برجسته با سابقه ایجاد بهبودهای قابل اندازه‌گیری در سامانه‌های داده‌ای تبدیل کرده است؛ سامانه‌هایی که از تصمیم‌های روزمره کسب‌وکار پشتیبانی می‌کنند.