شبکه یادگیری ماشین جدید می‌تواند صداهای ناشناخته را با داده‌های اندک تشخیص دهد
هر مدل یادگیری ماشینی که برای طبقه‌بندی صدا آموزش می‌بیند، یک فرض پنهان دارد: اینکه جهان فقط شامل همان دسته‌هایی است که مدل در جریان آموزش با آن‌ها آشنا شده است. برای مثال، شبکه‌ای که صدای پارس سگ، آژیر، باران و قدم‌زدن را تشخیص می‌دهد، اگر با صدای وزوز یک پهپاد یا تق‌تق دستگاه صنعتی ناآشنا روبه‌رو شود، ممکن است با اطمینان آن را در یکی از دسته‌های شناخته‌شده قرار دهد. این مسئله در محیط آزمایشگاه صرفاً دردسرساز است، اما در دنیای واقعی، جایی که سامانه‌های پایش صوتی برای شناسایی ناهنجاری‌ها در کارخانه‌ها، شهرها و محیط‌های طبیعی به صداها گوش می‌دهند، می‌تواند خطرناک باشد. سامانه ایمنی که نمی‌تواند بگوید «این صدا را نمی‌شناسم»، قادر نیست هشدار مناسبی صادر کند. یانمِی جیانگ و شیونگ لی از دانشگاه سان یات‌سن در پژوهشی تازه که در نشریه Cluster Computing منتشر شده است، مستقیماً به این مشکل پرداخته‌اند. آن‌ها یک شبکه کانولوشنی مبتنی بر نمونه‌های مرجع را بهبود داده‌اند که می‌تواند صداهای محیطی شناخته‌شده را طبقه‌بندی کند و صداهای ناشناخته را کنار بگذارد؛ حتی زمانی که داده‌های برچسب‌گذاری‌شده برای آموزش بسیار محدود باشند.
این چالش در یادگیری ماشین با عنوان «تشخیص در فضای باز» (Open-set Recognition) شناخته می‌شود و اساساً دشوارتر از طبقه‌بندی در فضای بسته است؛ رویکردی که بخش عمده پژوهش‌های این حوزه بر آن متمرکز بوده‌اند. در حالت بسته، فرض بر این است که هر نمونه آزمایشی حتماً به یکی از دسته‌های موجود در داده‌های آموزشی تعلق دارد؛ بنابراین مدل فقط باید مرز میان دسته‌های شناخته‌شده را یاد بگیرد. اما در حالت باز، مدل باید هم‌زمان دو وظیفه انجام دهد: نمونه‌های متعلق به دسته‌های شناخته‌شده را به‌درستی طبقه‌بندی کند و نمونه‌های متعلق به دسته‌هایی را که هرگز ندیده است، ناشناخته تشخیص دهد. کمبود نمونه‌های صوتی برچسب‌گذاری‌شده هر دو وظیفه را دشوارتر می‌کند، زیرا یادگیری بازنمایی‌های متمایزکننده و تعیین نمونه‌های مرجع قابل‌اعتماد به تعداد کافی مثال نیاز دارد تا مدل بتواند ویژگی‌های صوتی هر دسته و، به همان اندازه مهم، مرزهای آن را مشخص کند.
طبقه‌بندی صداهای محیطی با کمک یادگیری عمیق به‌سرعت پیشرفت کرده است. شبکه‌های عصبی کانولوشنی، شبکه‌های باقیمانده مبتنی بر سازوکار توجه و معماری‌های ترنسفورمر همگی نتایج قدرتمندی در مجموعه‌داده‌های معیار به دست آورده‌اند. بااین‌حال، بیشتر این پژوهش‌ها شرایط بسته را فرض می‌کنند. مسئله تشخیص در فضای باز در طبقه‌بندی صحنه‌های صوتی نزدیک به یک دهه پیش به‌طور رسمی مطرح شد و پژوهش‌های بعدی روش‌هایی مانند طبقه‌بندی چندکلاسه مبتنی بر رد نمونه‌ها، تشخیص صدای ناشناخته با استفاده از شبکه‌های عصبی کانولوشنی و رویکردهای مولد را بررسی کردند. روش‌های مبتنی بر نمونه‌های مرجع به یکی از رویکردهای امیدبخش در این زمینه تبدیل شده‌اند. در این روش‌ها، هر دسته با یک نقطه مرجع در فضای ویژگی‌ها نمایش داده می‌شود و نمونه‌ها بر اساس فاصله‌شان از این نقاط طبقه‌بندی می‌شوند. اگر نمونه‌ای از همه نقاط مرجع فاصله زیادی داشته باشد، می‌توان آن را ناشناخته اعلام کرد. شبکه کانولوشنی مبتنی بر نمونه‌های مرجع که در ابتدا برای تشخیص در فضای باز در حوزه بینایی ماشین توسعه یافت، پایه روش جدید را تشکیل می‌دهد.
روش پیشنهادی جیانگ و لی از سه مؤلفه مکمل تشکیل شده است که هرکدام یکی از ضعف‌های شبکه‌های مبتنی بر نمونه‌های مرجع را هنگام کار با داده‌های محدود هدف قرار می‌دهند.
مؤلفه نخست، سازوکار توجه در حوزه زمان و فرکانس است که بخش‌های برجسته و مهم طیف‌نگاشت را تقویت می‌کند. طیف‌نگاشت، نمایش دوبعدی صداست که در آن زمان روی یک محور و فرکانس روی محور دیگر قرار می‌گیرد. همه بخش‌های طیف‌نگاشت به یک اندازه برای تمایز میان صداها اطلاعات مفید ندارند. برای مثال، صدای پارس سگ ممکن است با انفجارهای صوتی کوتاه و گسترده در طیف فرکانسی مشخص شود، درحالی‌که صدای آژیر ممکن است خطوط باریک و آهنگینی داشته باشد که در طول فرکانس جابه‌جا می‌شوند. سازوکارهای توجه به شبکه امکان می‌دهند بخش‌های زمانی و فرکانسی حاوی اطلاعات متمایزکننده را یاد بگیرد و هنگام استخراج ویژگی‌ها وزن بیشتری به آن‌ها بدهد. این کار کیفیت بازنمایی‌های آموخته‌شده را افزایش می‌دهد.
مؤلفه دوم، تابع زیان مکمل مبتنی بر فاصله ماهالانوبیس است که از اطلاعات نمونه‌های اشتباه‌طبقه‌بندی‌شده برای اصلاح بازنمایی نمونه‌های مرجع بهره می‌گیرد. در روش‌های متداول یادگیری مبتنی بر نمونه مرجع، این نقاط بر اساس نمونه‌هایی به‌روزرسانی می‌شوند که درست طبقه‌بندی شده‌اند و نمونه‌های اشتباه معمولاً به‌منزله داده‌های نویزی در نظر گرفته می‌شوند. اما نمونه‌هایی که مدل در طبقه‌بندی آن‌ها اشتباه می‌کند، اطلاعات ارزشمندی دارند؛ زیرا نشان می‌دهند مرز تصمیم‌گیری میان دسته‌ها کجا مبهم است و نمونه‌های مرجع در چه نقاطی به‌درستی تعیین نشده‌اند. تابع زیان مکمل از اطلاعات نهفته در این نمونه‌های دشوار استفاده می‌کند و با بهره‌گیری از فاصله ماهالانوبیس، نمونه‌های مرجع را به‌گونه‌ای اصلاح می‌کند که اشتباه گرفتن دسته‌ها با یکدیگر کاهش یابد. این معیار برخلاف فاصله‌سنجی ساده، ساختار کوواریانس توزیع ویژگی‌ها را نیز در نظر می‌گیرد و فرض نمی‌کند همه جهت‌ها در فضای ویژگی‌ها اهمیت یکسانی دارند. این قابلیت در شرایط کمبود داده اهمیت ویژه‌ای دارد، زیرا وقتی برای هر دسته فقط چند نمونه وجود دارد، تمام مثال‌ها، حتی نمونه‌هایی که مدل در تشخیص آن‌ها شکست می‌خورد، برای شناخت توزیع آن دسته ارزشمندند.
مؤلفه سوم، یک معیار ماهالانوبیس یادگرفتنی است که شباهت میان بردارهای ویژگی و نمونه‌های مرجع دسته‌ها را به‌صورت تطبیقی محاسبه می‌کند. در شبکه‌های متداول مبتنی بر نمونه مرجع، شباهت با استفاده از فاصله اقلیدسی سنجیده می‌شود؛ روشی که فرض می‌کند همه ابعاد ویژگی به یک اندازه و به‌طور مستقل در محاسبه فاصله نقش دارند. معیار ماهالانوبیس این فرض را کنار می‌گذارد و با یادگیری یک تابع فاصله کامل، خود را با هندسه فضای ویژگی‌ها تطبیق می‌دهد. به این ترتیب، ویژگی‌های هم‌بسته، تکراری یا نویزی می‌توانند وزن کمتری بگیرند و ابعاد متمایزکننده اهمیت بیشتری پیدا کنند. ازآنجاکه این معیار قابلیت یادگیری دارد، شبکه می‌تواند مناسب‌ترین روش مقایسه بردارهای ویژگی با نمونه‌های مرجع را برای وظیفه مشخص طبقه‌بندی صدا بیاموزد، به‌جای آنکه به یک فرض هندسی ثابت متکی باشد که ممکن است با ساختار ویژگی‌های صوتی سازگار نباشد.
آزمایش‌ها روی مجموعه‌داده‌های صداهای محیطی نشان می‌دهند که روش پیشنهادی به‌طور پیوسته هم دقت طبقه‌بندی دسته‌های شناخته‌شده را افزایش می‌دهد و هم توانایی رد نمونه‌های ناشناخته را بهبود می‌بخشد. بیشترین پیشرفت در شرایطی مشاهده شده است که داده‌ها محدودند و مسئله از نوع تشخیص در فضای باز است. این نتیجه اهمیت دارد، زیرا دو مشکل اصلی شبکه‌های مبتنی بر نمونه مرجع در شرایط کمبود داده را هدف قرار می‌دهد: نخست، برآورد نامناسب نقاط مرجع بر اساس تعداد بسیار اندک نمونه‌ها؛ و دوم، بازنمایی‌های ویژگی که قدرت تمایز کافی برای جداسازی دسته‌های شناخته‌شده از ناشناخته ندارند. این روش با ترکیب یادگیری ویژگی تقویت‌شده با سازوکار توجه، اصلاح نمونه‌های مرجع بر اساس مثال‌های اشتباه‌طبقه‌بندی‌شده و یک معیار فاصله تطبیقی، ساختاری هندسی و مقاوم‌تر در فضای ویژگی‌ها ایجاد می‌کند. در این ساختار، نمونه‌های دسته‌های شناخته‌شده در خوشه‌هایی فشرده و به‌خوبی تفکیک‌شده قرار می‌گیرند و نمونه‌های ناشناخته به‌وضوح بیرون از این خوشه‌ها باقی می‌مانند.
کاربردهای این پژوهش به محیط آزمایشگاه محدود نمی‌شود. تشخیص صداهای محیطی به‌طور فزاینده‌ای در دستگاه‌های تعبیه‌شده برای کاربردهایی مانند پایش حیات‌وحش، ارزیابی آلودگی صوتی شهری، شناسایی نقص‌های صنعتی و سامانه‌های خانه هوشمند به کار گرفته می‌شود. این سامانه‌ها اغلب دقیقاً با همان شرایطی روبه‌رو هستند که روش جدید برای آن‌ها طراحی شده است: داده‌های برچسب‌گذاری‌شده محدودند، زیرا برچسب‌گذاری فایل‌های صوتی زمان‌بر و پرهزینه است؛ و محیط صوتی نیز از پیش به‌طور کامل قابل پیش‌بینی نیست، بنابراین ممکن است صداهایی شنیده شوند که مدل در آموزش با آن‌ها مواجه نشده است. برای مثال، سامانه پایش یک منطقه حفاظت‌شده ممکن است تنها با تعداد محدودی از صداهای گونه‌های جانوری آموزش ببیند، اما باید بتواند صداهای باد، باران، خودروهای عبوری و فعالیت‌های انسانی را که در آموزش وجود نداشته‌اند، ناشناخته تشخیص دهد. به همین ترتیب، یک سامانه صنعتی برای تشخیص خرابی از روی صدا ممکن است الگوهای صوتی چند وضعیت دستگاه را بشناسد، اما باید ناهنجاری‌های تازه را نیز علامت‌گذاری کند، نه اینکه آن‌ها را به‌اشتباه عملکرد عادی دستگاه بداند.
این پژوهش همچنین با برنامه تحقیقاتی گسترده‌تری در زمینه یادگیری مبتنی بر نمونه‌های مرجع و تشخیص با تعداد اندک نمونه‌ها ارتباط دارد. شبکه‌های نمونه‌محور در ابتدا برای یادگیری با نمونه‌های اندک توسعه یافتند؛ حوزه‌ای که در آن مدل باید تنها با چند مثال بتواند به دسته‌های جدید تعمیم پیدا کند. این شبکه‌ها بعدها در تشخیص در فضای باز، یادگیری با برچسب‌های نویزی و یادگیری تقابلی نیز به کار گرفته شدند. مطالعه جدید بر شبکه کانولوشنی مبتنی بر نمونه‌های مرجع برای تشخیص در فضای باز تکیه دارد؛ مدلی که در جامعه پژوهشی بینایی ماشین توسعه یافته بود و اکنون با اصلاحاتی متناسب با ویژگی‌های داده‌های صوتی به حوزه آکوستیک منتقل شده است. پژوهش‌های مرتبط نویسندگان درباره یادگیری شناختی مبتنی بر نمونه‌های مرجع برای تشخیص صدا در فضای باز با نمونه‌های اندک و نیز نمونه‌های مرجع ادغام‌شده با سازوکار توجه برای طبقه‌بندی صوتی در شرایط مشابه، از تداوم فعالیت پژوهشی آن‌ها در این زمینه حکایت دارد. مطالعه کنونی گامی در مسیر توسعه سامانه‌های تشخیص صوتی عمومی‌تر و کم‌نیازتر به داده محسوب می‌شود.
با گسترش توانایی‌های یادگیری عمیق در شنیدن و درک صداها، توانایی ماشین برای گفتن اینکه «این صدا شبیه هیچ‌چیزی نیست که می‌شناسم» ممکن است به‌اندازه توانایی آن در نام‌گذاری صداهای آشنا اهمیت پیدا کند. شبکه کانولوشنی بهبودیافته‌ای که جیانگ و لی پیشنهاد کرده‌اند، راهکاری فنی و مشخص برای رسیدن به این هدف ارائه می‌دهد. نتایج آن‌ها نشان می‌دهد که با توجه دقیق به یادگیری ویژگی‌ها، برآورد نمونه‌های مرجع و مدل‌سازی فاصله، ماشین‌ها می‌توانند با داده‌های محدود صداهای شناخته‌شده را طبقه‌بندی و صداهای ناشناخته را رد کنند. این پژوهش برای جامعه رو به رشد محققانی که سامانه‌های پایش صوتی را برای کاربردهای واقعی می‌سازند، چارچوبی مفهومی و ابزاری کاربردی فراهم می‌کند؛ سامانه‌هایی که باید در محیطی فعالیت کنند که صداهای آن هرگز از پیش به‌طور کامل معلوم نیستند و لازم است محدودیت‌های دانش خود را نیز تشخیص دهند.
موضوع پژوهش: مدل یادگیری ماشین برای طبقه‌بندی صداهای محیطی در فضای باز با داده‌های محدود
عنوان مقاله: شبکه کانولوشنی مبتنی بر نمونه‌های مرجع بهبودیافته برای طبقه‌بندی صدا در فضای باز با داده‌های محدود
مشخصات مقاله: جیانگ، ی. و لی، ش. (۲۰۲۶). «شبکه کانولوشنی مبتنی بر نمونه‌های مرجع بهبودیافته برای طبقه‌بندی صدا در فضای باز با داده‌های محدود». Cluster Computing، جلد ۲۹، شماره ۱۵، مقاله ۸۶۹. مشاهده مقاله از طریق شناسه دیجیتال DOI.
اعتبار تصویر: تولیدشده با هوش مصنوعی
شناسه دیجیتال مقاله (DOI): 10.1007/s10586-026-06724-3
کلیدواژه‌ها: تشخیص در فضای باز، طبقه‌بندی صداهای محیطی، شبکه مبتنی بر نمونه‌های مرجع، یادگیری عمیق، یادگیری با نمونه‌های اندک، فاصله ماهالانوبیس، سازوکار توجه، پایش صوتی، شبکه کانولوشنی بهبودیافته مبتنی بر نمونه‌های مرجع