Computer >> कंप्यूटर ट्यूटोरियल >  >> प्रोग्रामिंग >> Python

पायथन में रीडेबिलिटी इंडेक्स (NLP)


प्राकृतिक भाषा प्रसंस्करण प्राकृतिक मानव भाषाओं की स्वचालित पीढ़ी और समझ का अध्ययन है। यह हल करने के लिए अधिक से अधिक दिलचस्प कार्य बनता जा रहा है, क्योंकि कंप्यूटर तकनीक आजकल लगभग हर उद्योग में एकीकृत है। हम प्राकृतिक भाषा प्रसंस्करण के भीतर एक विशिष्ट क्षेत्र का अध्ययन करने जा रहे हैं; पठनीयता। इसमें किसी टेक्स्ट की पठनीयता निर्धारित करने का विषय शामिल है। यह इंगित करता है कि किसी टेक्स्ट को पढ़ना या समझना कितना मुश्किल है।

एक रीडेबिलिटी इंडेक्स एक संख्यात्मक मान है जो इंगित करता है कि किसी टेक्स्ट को पढ़ना और समझना कितना मुश्किल (या आसान) है। पठनीयता निर्धारित करने के लिए कई अलग-अलग टेस्ट हैं, और उनके उपयोग के अलग-अलग क्षेत्र हैं।

"पठनीयता वह आसानी बताती है जिससे कोई दस्तावेज पढ़ा जा सकता है" [13]। पठनीयता की गणना के लिए कई अलग-अलग टेस्ट [9] मौजूद हैं। पठनीयता टेस्ट को "पढ़ने में आसानी की भविष्यवाणी माना जाता है लेकिन पठनीयता निर्धारित करने का एकमात्र तरीका नहीं है"

कुछ टेस्ट भाषा-तटस्थ हैं, लेकिन कुछ टेस्ट हैं जो कुछ भाषाओं के लिए अधिक उपयुक्त हैं। विभिन्न पठनीयता टेस्ट का ज्ञान हमारे लिए आवश्यक है।

रीडेबिलिटी टेस्ट - इच्छित भाषा(एं) - संक्षिप्त विवरण और फॉर्मूला -
ऑटोमेटेड रीडेबिलिटी इंडेक्स (ARI) अंग्रेजी किसी टेक्स्ट की समझने योग्यता को मापने के लिए डिज़ाइन किया गया। आउटपुट यूएस ग्रेड लेवल का एक अनुमानित प्रतिनिधित्व है जिसे टेक्स्ट को समझने के लिए आवश्यक है।
ARI = 4.71 * (कैरेक्टर/शब्द) + 0.5 * (शब्द/वाक्य) - 21.43

फ्लेश रीडिंग ईज़

अंग्रेजी यह इंगित करने के लिए डिज़ाइन किया गया है कि एक रीडिंग पैसेज को समझना कितना मुश्किल है। उच्च स्कोर आसान सामग्री को इंगित करते हैं; कम नंबर कठिन-से-पढ़ने वाले पैसेज को चिह्नित करते हैं।
FRE = 206.835 - 1.015*(कुल शब्द/कुल वाक्य) - 84.6 * (कुल सिलेबल्स/कुल शब्द)
फ्लेश-किंकेड ग्रेड लेवल अंग्रेजी यह इंगित करने के लिए डिज़ाइन किया गया है कि एक रीडिंग पैसेज को समझना कितना मुश्किल है। परिणाम एक संख्या है जो यूएस ग्रेड लेवल से मेल खाती है।
FKGL = 0.39 * (कुल शब्द/कुल वाक्य) + 11.8 (कुल सिलेबल्स/कुल शब्द) - 15.59
कोलमैन-लियाऊ इंडेक्स अंग्रेजी किसी टेक्स्ट की समझने योग्यता को मापने के लिए डिज़ाइन किया गया। आउटपुट अनुमानित यूएस ग्रेड लेवल है जिसे टेक्स्ट को समझने के लिए आवश्यक माना जाता है।
CLI = (5.89 * (कैरेक्टर/शब्द)) - (30 *(वाक्य/शब्द)) - 15.8
गनिंग फॉग इंडेक्स अंग्रेजी अंग्रेजी लेखन के नमूने की पठनीयता मापने के लिए डिज़ाइन किया गया। परिणामी इंडेक्स औपचारिक शिक्षा के वर्षों (यूएस ग्रेड) का संकेत है जो किसी व्यक्ति को पहली बार पढ़ने पर टेक्स्ट को आसानी से समझने के लिए आवश्यक है।
GFI = 0.4 * ((शब्द/वाक्य) + 100 * (जटिल शब्द/शब्द))
लिनसेर राइट अंग्रेजी अंग्रेजी टेक्स्ट के लिए एक पठनीयता मीट्रिक, एयर फोर्स के लिए विकसित किया गया ताकि वे अपने तकनीकी मैनुअल की पठनीयता की गणना कर सकें। विकिपीडिया से फॉर्मूला:
  • अपने लेखन से 100-शब्द का नमूना खोजें।

  • आसान शब्दों की गणना करें (दो सिलेबल्स या कम के रूप में परिभाषित) और प्रत्येक शब्द पर "1" नंबर रखें, यहां तक कि a, an, the, और अन्य सरल शब्दों को शामिल करते हुए।

  • कठिन शब्दों की गणना करें (तीन सिलेबल्स या अधिक के रूप में परिभाषित) और प्रत्येक शब्द पर "3" नंबर रखें जैसा कि शब्दकोश द्वारा उच्चारित किया जाता है।

  • आसान शब्दों की संख्या को "1" से गुणा करें।

  • कठिन शब्दों की संख्या को "3" से गुणा करें।

  • पिछली दो संख्याओं को एक साथ जोड़ें।

  • उस कुल को वाक्यों की संख्या से विभाजित करें।

रेट इंडेक्स (RIX) पश्चिमी यूरोपीय भाषाएं यह उपयोगी है क्योंकि इसे किसी भी पश्चिमी यूरोपीय भाषा के दस्तावेजों पर उपयोग किया जा सकता है [3]। आउटपुट 0 (बहुत आसान) और 55+ (बहुत कठिन) के बीच एक स्कोर है।
RIX = (लंबे शब्द/वाक्य) (लंबे शब्द = वे शब्द जहां कैरेक्टर की संख्या > 6)
लेस्बारहेट्स इंडेक्स (LIX) पश्चिमी यूरोपीय भाषाएं यह उपयोगी है क्योंकि इसे किसी भी पश्चिमी यूरोपीय भाषा के दस्तावेजों पर उपयोग किया जा सकता है [2][3]। आउटपुट एक इंडेक्स है जो ग्रेड लेवल इंगित करता है। 0.1 से नीचे का इंडेक्स ग्रेड 1 है जबकि 7.2 और ऊपर कॉलेज ग्रेड है।
LIX = (कुल शब्द/कुल वाक्य) + (लंबे शब्द/कुल शब्द * 100) (लंबे शब्द = वे शब्द जहां कैरेक्टर की संख्या > 6)

उदाहरण के लिए, नीचे फ्लेश इंडेक्स के माध्यम से एक टेक्स्ट फ़ाइल की पठनीयता निर्धारित करने का प्रोग्राम है।

धारणा

फ्लेश इंडेक्स टेक्स्ट फ़ाइल रीडिंग ग्रेड
0-30 कॉलेज
50-60 हाई स्कूल
90-100 चौथी ग्रेड

उपरोक्त से फ्लेश-किंकेड ग्रेड लेवल फॉर्मूला का उपयोग समकक्ष ग्रेड लेवल G की गणना के लिए किया जाता है -

FKGL = 0.39 * (कुल शब्द/कुल वाक्य) + 11.8 (कुल सिलेबल्स/कुल शब्द) - 15.59

कोड

import os
dire = os.getcwd()
listOfdir = os.listdir(dire)

while True:
    UserFileName = input('Enter file name:')
    if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
        InputFile = open(UserFileName, 'r')
        text = InputFile.read()
        sentence = text.count('.') + text.count('!') + text.count(';') + text.count(':') + text.count('?')
        words = len(text.split())
        syllable = 0
        for word in text.split():
            for vowel in ['a','e','i','o','u']:
                syllable += word.count(vowel)
            for ending in ['es','ed','e']:
                if word.endswith(ending):
                    syllable -= 1
            if word.endswith('le'):
                syllable += 1
        G = round((0.39*words)/sentence + (11.8*syllable)/words - 15.59)
        if G >= 0 and G <= 30:
            print('The Readability level is College')
        elif G >= 50 and G <= 60:
            print('The Readability level is High School')
        elif G >= 90 and G <= 100:
            print('The Readability level is fourth grade')
        print('This text has %d words' % (words))
    elif UserFileName not in listOfdir:
        print('This text file does not exist in current directory')
    elif not(UserFileName.endswith('.txt')):
        print('This is not a text file.')

आउटपुट

Enter file name:dataVisualization.txt
The Readability level is College
This text has 64 words

  1. पायथन प्लॉट्स के बाहर टेक्स्ट कैसे रखें? पायथन प्लॉट्स के बाहर टेक्स्ट कैसे रखें?

    प्लॉट के बाहर टेक्स्ट रखने के लिए, हम text_pos_x और text_pos_y के मान को बदलकर टेक्स्ट पोजीशन बदल सकते हैं। चरण x और y के लिए डेटा पॉइंट्स बनाएं। x और y की टेक्स्ट पोजीशन इनिशियलाइज़ करें। x और y प्लॉट करने के लिए, color=red के साथ plot() मेथड का उपयोग करें। फिगर में टेक्स्ट जोड़ने के लिए text() म

  1. - पायथन टेक्स्ट सीक्वेंस टाइप्स

    पायथन में str ऑब्जेक्ट, टेक्स्ट या स्ट्रिंग टाइप डेटा को हैंडल करता है। स्ट्रिंग्स इम्यूटेबल होती हैं। स्ट्रिंग्स यूनिकोड कैरेक्टर्स का सीक्वेंस होती हैं। हम स्ट्रिंग लिटरल्स को परिभाषित करने के लिए सिंगल कोट, डबल कोट्स या ट्रिपल कोट्स का उपयोग कर सकते हैं।सिंगल कोट के साथ यह एक स्ट्रिंग हैडबल कोट्स

  1. - NLTK का उपयोग करके पायथन में टेक्स्ट टोकनाइज़ करना

    समस्या विवरण एक वर्ण अनुक्रम और एक परिभाषित दस्तावेज़ इकाई दिए जाने पर, टोकनाइज़ेशन इसे टुकड़ों में काटने का कार्य है, जिन्हें टोकन कहा जाता है, शायद उसी समय कुछ वर्णों को फेंक देना, जैसे विराम चिह्न। NLTK और पायथन के संदर्भ में, यह प्रत्येक टोकन को एक सूची में रखने की प्रक्रिया है ताकि प्रत्येक अक्