प्राकृतिक भाषा प्रसंस्करण प्राकृतिक मानव भाषाओं की स्वचालित पीढ़ी और समझ का अध्ययन है। यह हल करने के लिए अधिक से अधिक दिलचस्प कार्य बनता जा रहा है, क्योंकि कंप्यूटर तकनीक आजकल लगभग हर उद्योग में एकीकृत है। हम प्राकृतिक भाषा प्रसंस्करण के भीतर एक विशिष्ट क्षेत्र का अध्ययन करने जा रहे हैं; पठनीयता। इसमें किसी टेक्स्ट की पठनीयता निर्धारित करने का विषय शामिल है। यह इंगित करता है कि किसी टेक्स्ट को पढ़ना या समझना कितना मुश्किल है।
एक रीडेबिलिटी इंडेक्स एक संख्यात्मक मान है जो इंगित करता है कि किसी टेक्स्ट को पढ़ना और समझना कितना मुश्किल (या आसान) है। पठनीयता निर्धारित करने के लिए कई अलग-अलग टेस्ट हैं, और उनके उपयोग के अलग-अलग क्षेत्र हैं।
"पठनीयता वह आसानी बताती है जिससे कोई दस्तावेज पढ़ा जा सकता है" [13]। पठनीयता की गणना के लिए कई अलग-अलग टेस्ट [9] मौजूद हैं। पठनीयता टेस्ट को "पढ़ने में आसानी की भविष्यवाणी माना जाता है लेकिन पठनीयता निर्धारित करने का एकमात्र तरीका नहीं है"
कुछ टेस्ट भाषा-तटस्थ हैं, लेकिन कुछ टेस्ट हैं जो कुछ भाषाओं के लिए अधिक उपयुक्त हैं। विभिन्न पठनीयता टेस्ट का ज्ञान हमारे लिए आवश्यक है।
| रीडेबिलिटी टेस्ट - | इच्छित भाषा(एं) - | संक्षिप्त विवरण और फॉर्मूला - |
|---|---|---|
| ऑटोमेटेड रीडेबिलिटी इंडेक्स (ARI) | अंग्रेजी | किसी टेक्स्ट की समझने योग्यता को मापने के लिए डिज़ाइन किया गया। आउटपुट यूएस ग्रेड लेवल का एक अनुमानित प्रतिनिधित्व है जिसे टेक्स्ट को समझने के लिए आवश्यक है।ARI = 4.71 * (कैरेक्टर/शब्द) + 0.5 * (शब्द/वाक्य) - 21.43 |
|
फ्लेश रीडिंग ईज़ |
अंग्रेजी | यह इंगित करने के लिए डिज़ाइन किया गया है कि एक रीडिंग पैसेज को समझना कितना मुश्किल है। उच्च स्कोर आसान सामग्री को इंगित करते हैं; कम नंबर कठिन-से-पढ़ने वाले पैसेज को चिह्नित करते हैं।FRE = 206.835 - 1.015*(कुल शब्द/कुल वाक्य) - 84.6 * (कुल सिलेबल्स/कुल शब्द) |
| फ्लेश-किंकेड ग्रेड लेवल | अंग्रेजी | यह इंगित करने के लिए डिज़ाइन किया गया है कि एक रीडिंग पैसेज को समझना कितना मुश्किल है। परिणाम एक संख्या है जो यूएस ग्रेड लेवल से मेल खाती है।FKGL = 0.39 * (कुल शब्द/कुल वाक्य) + 11.8 (कुल सिलेबल्स/कुल शब्द) - 15.59 |
| कोलमैन-लियाऊ इंडेक्स | अंग्रेजी | किसी टेक्स्ट की समझने योग्यता को मापने के लिए डिज़ाइन किया गया। आउटपुट अनुमानित यूएस ग्रेड लेवल है जिसे टेक्स्ट को समझने के लिए आवश्यक माना जाता है।CLI = (5.89 * (कैरेक्टर/शब्द)) - (30 *(वाक्य/शब्द)) - 15.8 |
| गनिंग फॉग इंडेक्स | अंग्रेजी | अंग्रेजी लेखन के नमूने की पठनीयता मापने के लिए डिज़ाइन किया गया। परिणामी इंडेक्स औपचारिक शिक्षा के वर्षों (यूएस ग्रेड) का संकेत है जो किसी व्यक्ति को पहली बार पढ़ने पर टेक्स्ट को आसानी से समझने के लिए आवश्यक है।GFI = 0.4 * ((शब्द/वाक्य) + 100 * (जटिल शब्द/शब्द)) |
| लिनसेर राइट | अंग्रेजी | अंग्रेजी टेक्स्ट के लिए एक पठनीयता मीट्रिक, एयर फोर्स के लिए विकसित किया गया ताकि वे अपने तकनीकी मैनुअल की पठनीयता की गणना कर सकें। विकिपीडिया से फॉर्मूला:
|
| रेट इंडेक्स (RIX) | पश्चिमी यूरोपीय भाषाएं | यह उपयोगी है क्योंकि इसे किसी भी पश्चिमी यूरोपीय भाषा के दस्तावेजों पर उपयोग किया जा सकता है [3]। आउटपुट 0 (बहुत आसान) और 55+ (बहुत कठिन) के बीच एक स्कोर है।RIX = (लंबे शब्द/वाक्य) (लंबे शब्द = वे शब्द जहां कैरेक्टर की संख्या > 6) |
| लेस्बारहेट्स इंडेक्स (LIX) | पश्चिमी यूरोपीय भाषाएं | यह उपयोगी है क्योंकि इसे किसी भी पश्चिमी यूरोपीय भाषा के दस्तावेजों पर उपयोग किया जा सकता है [2][3]। आउटपुट एक इंडेक्स है जो ग्रेड लेवल इंगित करता है। 0.1 से नीचे का इंडेक्स ग्रेड 1 है जबकि 7.2 और ऊपर कॉलेज ग्रेड है।LIX = (कुल शब्द/कुल वाक्य) + (लंबे शब्द/कुल शब्द * 100) (लंबे शब्द = वे शब्द जहां कैरेक्टर की संख्या > 6) |
उदाहरण के लिए, नीचे फ्लेश इंडेक्स के माध्यम से एक टेक्स्ट फ़ाइल की पठनीयता निर्धारित करने का प्रोग्राम है।
धारणा
| फ्लेश इंडेक्स | टेक्स्ट फ़ाइल रीडिंग ग्रेड |
|---|---|
| 0-30 | कॉलेज |
| 50-60 | हाई स्कूल |
| 90-100 | चौथी ग्रेड |
उपरोक्त से फ्लेश-किंकेड ग्रेड लेवल फॉर्मूला का उपयोग समकक्ष ग्रेड लेवल G की गणना के लिए किया जाता है -
FKGL = 0.39 * (कुल शब्द/कुल वाक्य) + 11.8 (कुल सिलेबल्स/कुल शब्द) - 15.59
कोड
import os
dire = os.getcwd()
listOfdir = os.listdir(dire)
while True:
UserFileName = input('Enter file name:')
if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
InputFile = open(UserFileName, 'r')
text = InputFile.read()
sentence = text.count('.') + text.count('!') + text.count(';') + text.count(':') + text.count('?')
words = len(text.split())
syllable = 0
for word in text.split():
for vowel in ['a','e','i','o','u']:
syllable += word.count(vowel)
for ending in ['es','ed','e']:
if word.endswith(ending):
syllable -= 1
if word.endswith('le'):
syllable += 1
G = round((0.39*words)/sentence + (11.8*syllable)/words - 15.59)
if G >= 0 and G <= 30:
print('The Readability level is College')
elif G >= 50 and G <= 60:
print('The Readability level is High School')
elif G >= 90 and G <= 100:
print('The Readability level is fourth grade')
print('This text has %d words' % (words))
elif UserFileName not in listOfdir:
print('This text file does not exist in current directory')
elif not(UserFileName.endswith('.txt')):
print('This is not a text file.')
आउटपुट
Enter file name:dataVisualization.txt The Readability level is College This text has 64 words