نمودار دانش و صحت واقعیت
داده های نمودار دانش در این مقاله تحقیقاتی برای بهبود الگوریتم های Google استفاده شده است زیرا اطلاعات قابل اعتماد و قابل اعتماد هستند.
مقاله پژوهشی Google پیشنهاد می کند اطلاعات نمودار دانش را در روند آموزش ادغام کنید تا سوگیری ها را برطرف کرده و دقت واقعی را افزایش دهید.
تبلیغات
خواندن را در زیر ادامه دهید
آنچه تحقیقات گوگل پیشنهاد می کند دو برابر است.
اول ، آنها باید مبانی دانش را به متن زبان طبیعی تبدیل کنند.
در مرحله دوم ، مجموعه حاصل که با نام Knowledge Enhanced Language Model Pre-Training (KELM) نامیده می شود ، می تواند برای کاهش تعصبات در الگوریتم قبل از آموزش ادغام شود.
محققان مسئله را اینگونه توضیح می دهند:
"مدل های پردازش زبان طبیعی (NLP) بزرگ از قبل آموزش دیده ، مانند BERT ، RoBERTa ، GPT-3 ، T5 و REALM ، شرکت های زبان طبیعی اهرمی که از وب مشتق می شوند و برای داده های خاص وظیفه تنظیم می شوند ...
با این حال ، متن زبان طبیعی به تنهایی پوشش محدودی از دانش را نشان می دهد ... بعلاوه ، وجود اطلاعات غیر واقعی و محتوای سمی در متن می تواند در نهایت باعث تعصب در مدل های حاصل شود. "
از نمودار دانش داده های ساخت یافته گرفته تا متن زبان طبیعی
محققان اظهار داشتند که مشکل در تلفیق اطلاعات پایه دانش در آموزش این است که داده های پایه دانش به شکل داده های ساختاریافته است.
راه حل این است که داده های ساختار یافته گراف دانش را به متن زبان طبیعی با استفاده از یک وظیفه زبان طبیعی به نام ، تولید داده به متن تبدیل کنید.
تبلیغات
خواندن را در زیر ادامه دهید
آنها توضیح دادند که از آنجا که تولید داده به متن چالش برانگیز است ، آنها برای حل مشکل "خط لوله" جدیدی به نام "متن از KG Generator (TEKGEN)" ایجاد کردند.
استناد: تولید دانش مصنوعی مبتنی بر نمودار دانش برای پیش آموزش آموزش مدل زبان با دانش افزایش یافته (PDF)
متن زبان طبیعی TEKGEN صحت واقعیت را بهبود بخشید
TEKGEN فناوری است که محققان برای تبدیل داده های ساخت یافته به متن زبان طبیعی ایجاد کردند. این نتیجه نهایی ، متن واقعی است که می تواند برای ایجاد مجموعه KELM مورد استفاده قرار گیرد و سپس می تواند به عنوان بخشی از آموزش پیش از یادگیری ماشین برای جلوگیری از تعصب از ورود به الگوریتم ها استفاده شود.
محققان متذکر شدند که افزودن این اطلاعات نمودار اطلاعات اضافی (شرکت ها) به داده های آموزش منجر به بهبود دقت واقعی می شود.