டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல் ஒரு ஒளி அறிமுகம்

நீண்ட கால சார்புநிலையை ஆதரிக்கும் கவனமுள்ள மொழி மாடலிங் செய்வதற்கான ஒரு புதிய நுட்பத்தின் சுருக்கம்.

பின்னணி

ELMo மற்றும் BERT போன்ற மேற்பார்வை செய்யப்படாத பயிற்சி முறைகளைப் பயன்படுத்தி மொழி மாடலிங் சமீபத்தில் உரையாற்றப்பட்டது. இருப்பினும், நரம்பியல் நெட்வொர்க்குகளை நீண்டகால சார்புடன் சரியாக சித்தப்படுத்துவது இன்னும் ஒரு சவாலாகவே உள்ளது.

சமீபத்திய மாதிரிகள் உகப்பாக்கத்தை எளிதாக்க உதவும் கவனத்தை ஈர்க்கும் பொறிமுறையுடன் வடிவமைக்கப்பட்டுள்ளன - மறைந்துபோகும் சாய்வு கையாள்வதன் மூலம் - மற்றும் நீண்டகால சார்புநிலையை கற்றுக்கொள்ள உதவுகிறது. இருப்பினும், இந்த சந்தர்ப்பங்களில் சூழல் நிலையான நீளத்தைக் கொண்டுள்ளது, எனவே மாதிரியானது நீண்டகால சார்புநிலையைப் பிடிக்க முடியாது மற்றும் சூழல் துண்டு துண்டாக அறியப்படும் சிக்கலால் பாதிக்கப்படுகிறது.

சூழல் துண்டிக்கப்படுதல் என்பது சூழல் தேர்ந்தெடுக்கப்பட்ட விதம் காரணமாக முதல் சில சின்னங்களை கணிக்க தேவையான சூழல் தகவல் இல்லாதபோது - பொதுவாக ஒரு வாக்கியம் அல்லது சொற்பொருள் எல்லைகளை மதிக்காமல் குறிக்கிறது.

மேலும், முந்தைய மாதிரிகள் பயிற்சியின் போது பிரிவுகளில் தகவல் ஓட்டத்தை ஆதரிக்காது மற்றும் நிலையான சூழல் நீளத்தைப் பயன்படுத்துகின்றன, அதாவது நீண்ட கால சார்புநிலையைப் பிடிக்க மாதிரிக்கு இடமில்லை.

மொழி மாடலிங் சூழலில், பிரிவுகளில் (ஒரு வகையான நினைவகம்) தகவல் பாய்ச்ச அனுமதிக்க மறைக்கப்பட்ட மாநிலங்களை மீண்டும் பயன்படுத்தலாம். இது நீண்ட கால சார்புநிலையை ஆதரிக்கவும் சூழல் துண்டு துண்டாக சமாளிக்கவும் உதவும். எவ்வாறாயினும், கட்டடக்கலை மாநில மறுபயன்பாட்டை ஆதரிக்க, தற்காலிக ஒத்திசைவை நிர்வகிக்க வேண்டும், அடுத்ததாக நாம் விவாதிக்கிறோம்.

டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல்

பயிற்சியின் போது, ​​வெண்ணிலா மொழி மாதிரிகள் சூழல் தகவல்களை திறம்பட பயன்படுத்துவதில்லை மற்றும் பிரிவுகள் தனித்தனியாக நடத்தப்படுகின்றன. கூடுதலாக, பிரிவின் போது சொற்பொருள் எல்லைகள் பொதுவாக மதிக்கப்படுவதில்லை, ஏனெனில் பெரும்பாலான முறைகள் நிலையான நீளங்களின் நிலையான துண்டிக்கப்பட்ட காட்சிகளைப் பயன்படுத்துகின்றன. மதிப்பீட்டின் போது, ​​நிலையான நீள சூழல்கள் பயன்படுத்தப்படுகின்றன மற்றும் பகுதிகள் புதிதாக செயலாக்கப்படுகின்றன, இது சூழல் துண்டு துண்டாக ஓரளவு உரையாற்றப்பட்டாலும் விலை உயர்ந்ததாகிறது. இந்த ஆய்வறிக்கை நீண்டகால மாடலிங் மூலம் சிறந்த மாடலிங் செய்வதன் மூலம் செயல்திறன் சிக்கலில் கவனம் செலுத்துவதை நோக்கமாகக் கொண்டுள்ளது.

மொழி மாடலிங் இல், டிரான்ஸ்ஃபார்மர் நெட்வொர்க்குகள் ஒரு நிலையான நீள சூழலால் வரையறுக்கப்பட்டுள்ளன, இதனால் நீண்ட கால சார்புநிலையை கற்றுக்கொள்வதன் மூலம் மேம்படுத்தலாம். மொழி மாடலிங் செய்வதற்கு டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல் (கூடுதல் நீண்ட பொருள்) என்று அழைக்கப்படும் ஒரு புதிய முறையை இந்த கட்டுரை முன்மொழிகிறது, இது ஒரு டிரான்ஸ்ஃபார்மர் கட்டிடக்கலை நீண்ட கால சார்புநிலையை - ஒரு தொடர்ச்சியான பொறிமுறையின் மூலம் - ஒரு தற்காலிக நீளத்திற்கு அப்பால் தற்காலிக ஒத்திசைவை சீர்குலைக்காமல் கற்றுக்கொள்ள உதவுகிறது.

கூடுதல் இழப்பு சமிக்ஞைகள் மற்றும் அதிகரித்த நினைவக அமைப்பு போன்ற நீண்டகால சார்புநிலையை ஆதரிப்பதற்கான பிற உத்திகளை மையமாகக் கொண்ட பிற முந்தைய அணுகுமுறைகளிலிருந்து இந்த முறை வேறுபட்டது.

ஒரு பிரிவு-நிலை தொடர்ச்சியான பொறிமுறையானது அறிமுகப்படுத்தப்பட்டுள்ளது, இது முந்தைய மறைக்கப்பட்ட மாநிலங்களை பயிற்சி நேரத்தில் மீண்டும் பயன்படுத்த மாதிரியை செயல்படுத்துகிறது, இது நிலையான நீள சூழல் மற்றும் சூழல் துண்டு துண்டாக இரு பிரச்சினைகளையும் நிவர்த்தி செய்கிறது. வேறு வார்த்தைகளில் கூறுவதானால், வரலாற்று தகவல்களை மீண்டும் பயன்படுத்தலாம் மற்றும் ஜி.பீ.யூ நினைவகம் அனுமதிக்கும் அளவுக்கு அதை நீட்டிக்க முடியும். பயிற்சி மற்றும் மதிப்பீட்டு கட்டங்களை கீழே உள்ள படத்தில் காண்க.

டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல் - பயிற்சி மற்றும் மதிப்பீட்டு கட்டம் (எண்ணிக்கை மூல)

மறைக்கப்பட்ட நிலைகளை சரியாக மறுபயன்பாட்டுக்கு, ஆசிரியர்கள் தற்காலிக குழப்பத்தைத் தவிர்க்க உதவும் உறவினர் நிலை குறியாக்கங்கள் எனப்படும் ஒரு பொறிமுறையை முன்மொழிகின்றனர். தற்போதைய மாதிரிகள் வெவ்வேறு பிரிவுகளில் உள்ளீடுகளுக்கு இடையிலான நிலை வேறுபாட்டை வெவ்வேறு அடுக்குகளில் வேறுபடுத்தி அறிய முடியாது. உறவினர் நிலை குறியாக்கம் மறைக்கப்பட்ட மாநிலங்களில் நிலை தகவல் சார்புகளை குறியாக்கம் செய்வதன் மூலம் இந்த சிக்கலை தீர்க்கிறது, இது உள்ளீட்டு மட்டமாக செயல்படும் பிற அணுகுமுறைகளிலிருந்து வேறுபடுகிறது.

ஒரு டிரான்ஸ்ஃபார்மர் கட்டமைப்பு சம்பந்தப்பட்டிருப்பதால், ஒவ்வொரு முக்கிய திசையன் மற்றும் வினவல் திசையனுக்கும் இடையேயான தூரத்தை கணக்கிட்டு கவனத்தை மதிப்பெண் மூலம் செலுத்துவதன் மூலம் மேலே உள்ள செயல்முறை அடையப்படுகிறது. வினவலுக்கும் திசையனுக்கும் இடையிலான கவனத்தை பெறப் பயன்படுத்தப்படும் சொற்களின் சில புதிய அளவுரு தந்திரம் மூலம், தொடர்புடைய நிலைத் தகவலை இணைக்க முடியும். மறுநிகழ்வு கூறு இப்போது முன்மொழியப்பட்ட உறவினர் நிலை உட்பொதிப்புடன் பொருத்தப்பட்டுள்ளது மற்றும் இந்த முழு செயல்முறையும் முன்மொழியப்பட்ட டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல் கட்டமைப்பைக் குறிக்கிறது.

முடிவுகள்

டிரான்ஸ்பார்மர்-எக்ஸ்எல் விக்கிடெக்ஸ்ட் -103, டெக்ஸ்ட் 8 மற்றும் ஒன் பில்லியன் வேர்ட் போன்ற பல்வேறு தரவுத்தொகுப்புகளுக்கு பயன்படுத்தப்படும் சொல்-நிலை மற்றும் எழுத்து-நிலை மொழி மாடலிங் ஆகிய இரண்டிற்கும் வலுவான முடிவுகளைப் பெறுகிறது.

முன்மொழியப்பட்ட மாதிரியானது வெண்ணிலா மாதிரியுடன் ஒப்பிடப்படுகிறது, இது சமீபத்தில் எழுத்து-நிலை மொழி மாடலிங் (அல்-ரஃப ou மற்றும் பலர்., 2018) க்குப் பயன்படுத்தப்பட்டது, இது ஆழ்ந்த சுய கவனத்தையும் ஈர்க்கிறது. வெண்ணிலா மாதிரியானது மேல் பிணைப்பு பிரிவு நீளத்தை விட பெரிய சார்பு நீளங்களை ஆதரிக்க முடியாது என்பதை நினைவில் கொள்க.

டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல் உரை 8, என்விகி 8, ஒரு பில்லியன் வேர்ட் மற்றும் விக்கிடெக்ஸ்ட் -103 போன்ற பல தரவுத்தொகுப்புகளில் முந்தைய சோட்டா குழப்ப மதிப்பெண்ணைக் குறைக்கிறது. சோட்டா நிகழ்ச்சிகளைத் தவிர, இந்த முறை மிகவும் நெகிழ்வானது, மதிப்பீட்டின் போது வேகமானது (1874 மடங்கு வேகமானது), சிறிய தரவுத்தொகுப்புகளில் நன்கு பொதுமைப்படுத்துகிறது, மேலும் குறுகிய மற்றும் நீண்ட காட்சிகளை மாடலிங் செய்வதில் பயனுள்ளதாக இருக்கும் என்று ஆசிரியர்கள் கூறுகின்றனர். கீழேயுள்ள அட்டவணையில் வெவ்வேறு தரவுத்தொகுப்புகளில் பெறப்பட்ட சில முடிவுகளின் சுருக்கத்தைக் காண்க.

மீதமுள்ள முடிவுகளை கீழே இணைக்கப்பட்டுள்ள முழு தாளில் சரிபார்க்கலாம்.

பிற நன்மைகள்

மறுநிகழ்வு பொறிமுறை மற்றும் முன்மொழியப்பட்ட நிலை குறியீட்டு திட்டம் ஆகிய இரண்டின் விளைவுகளையும் ஆராய்வதற்கான ஒரு நீக்குதல் ஆய்வு தாளில் வழங்கப்பட்டுள்ளது.

அதிகரித்த சூழல் நீளங்களுடன் சோதிக்கப்படும் மாதிரிகளை ஒப்பிடுவதற்கு நியாயமான வழியை வழங்கும் உறவினர் பயனுள்ள சூழல் நீளம் என்ற புதிய மெட்ரிக்கையும் ஆசிரியர்கள் முன்மொழிகின்றனர்.

மேலும் வாசிப்புகள்

  • டிரான்ஸ்ஃபார்மர்-எக்ஸ்எல்: ஒரு நிலையான நீள சூழலுக்கு அப்பால் கவனமுள்ள மொழி மாதிரிகள்
  • ஹார்வர்ட் என்.எல்.பி குழுமத்தின் சிறுகுறிப்பு மின்மாற்றி
  • கவனம் வழிகாட்டி லிலியன் வெங்
  • கவனம் உங்களுக்குத் தேவை
  • காகிதத்துடன் தொடர்புடைய குறியீடு களஞ்சியம் (டென்சர்ஃப்ளோ மற்றும் பைடோர்ச்)
  • ஆழ்ந்த சுய கவனத்துடன் எழுத்து-நிலை மொழி மாடலிங்

போதுமான ஆர்வம் வெளிப்படுத்தப்பட்டால், இந்த வேலைக்கு ஒரு குறியீடு ஒத்திகையைத் தயாரிக்க நான் ஆசைப்படுவேன். இது என்.எல்.பி பயிற்சியாளர்கள் மற்றும் ஆராய்ச்சியாளர்களுக்கு சுவாரஸ்யமான மற்றும் பயனுள்ளதாக இருக்கும் பல வேறுபட்ட கூறுகளைக் கொண்டுள்ளது.