टोकन क्या होते हैं?
C प्रोग्राम में टोकन (Tokens) सबसे छोटी, अविभाज्य इकाइयाँ होती हैं जिनका अपना विशिष्ट अर्थ होता है। कंपाइलर स्रोत कोड को इन्हीं टोकन में तोड़कर विश्लेषण करता है।
C में टोकन के प्रकार
| टोकन प्रकार | विवरण | उदाहरण |
|---|---|---|
| पहचानकर्ता (Identifiers) | चर, फंक्शन, सरणी, संरचना आदि के नाम | main, sum, arr |
| ऑपरेटर (Operators) | गणितीय, तार्किक, संबंधपरक संक्रियाओं के प्रतीक | +, -, *, /, ==, && |
| विशेष वर्ण (Special Characters) | विराम चिह्न और सीमांकक जो वर्णमाला या अंक नहीं हैं | ;, ,, (, ), {, } |
| स्थिरांक (Constants) | निष्पादन के दौरान न बदलने वाले निश्चित मान | 10, 3.14, 'A', "Hello" |
| कीवर्ड्स (Keywords) | पूर्वनिर्धारित आरक्षित शब्द जिनका विशेष अर्थ होता है | int, if, while, return |
व्यावहारिक उदाहरण
#include <stdio.h>
int main() {
int p, q, result; // int: कीवर्ड, p,q,result: पहचानकर्ता
p = 2; q = 3; // =, ; : ऑपरेटर/विशेष वर्ण
result = p + q; // + : ऑपरेटर
printf("result = %d\n", result); // printf: पहचानकर्ता, "...": स्ट्रिंग स्थिरांक
}
उपरोक्त कोड में टोकन विश्लेषण:
main→ पहचानकर्ता{,},(,),,→ सीमांकक (विशेष वर्ण)int→ कीवर्डp,q,result→ पहचानकर्ता=,+→ ऑपरेटर2,3→ स्थिरांक
निष्कर्ष: प्रत्येक C प्रोग्राम टोकन के अनुक्रम से बना होता है। कंपाइलर का पहला चरण (लेक्सिकल विश्लेषण) इन्हीं टोकन को पहचानता है।
