न्यूरल नेटवर्क बहुत सी चीजें कर सकते हैं। वे छवियों की व्याख्या कर सकते हैं, हमारी आवाज़ को समझ सकते हैं, और बातचीत का अनुवाद कर सकते हैं। लेकिन क्या आप जानते हैं कि वे पेंट भी कर सकते हैं?
हाल के एक शोध पत्र ("ए न्यूरल एल्गोरिदम ऑफ आर्टिस्टिक स्टाइल" शीर्षक) ने कुछ आश्चर्यजनक दृश्य उदाहरणों के साथ ऑनलाइन चर्चा की झड़ी लगा दी है। अनिवार्य रूप से, पत्र एक तकनीक पर चर्चा करता है जो एक गहरे न्यूरल नेटवर्क को कलात्मक शैली को छवि संरचना से अलग करने और एक छवि की शैली को दूसरे की संरचना के साथ संयोजित करने के लिए प्रशिक्षित करता है। इस सब का नतीजा यह है कि आप एक विशाल न्यूरल नेटवर्क को तस्वीरों को "न्यूरल पेंटिंग" में बदलने के लिए प्रशिक्षित कर सकते हैं जो ऐसा लगता है जैसे उन्हें प्रसिद्ध कलाकारों द्वारा चित्रित किया गया हो - "डिजिटल नकली," ऐसा कह सकते हैं।
यहां लेख से कुछ उदाहरण हैं। पहली छवि मूल है। बाद की छवियां उत्पन्न परिणाम हैं, जिसमें लघु में दिखाया गया वह पेंटिंग जिससे शैली का नमूना लिया गया था।
मूल शोधकर्ताओं ने दुर्भाग्य से अपना कोड जारी नहीं किया है। हालांकि, कुछ साहसी प्रोग्रामरों ने पिछले कुछ दिनों में उनके परिणामों को दोहराया है, और उनका कोड इंटरनेट पर खुला स्रोत उपलब्ध है। इसे चलाने के लिए आपको केवल एक Linux मशीन और थोड़ा धैर्य चाहिए।
आज, मैं आपको इसे करने का तरीका बताने जा रहा हूं, और अपने कुछ परिणाम दिखाऊंगा। आप इसे हमारे DeepDream ट्यूटोरियल के एक ढीले सीक्वल के रूप में सोच सकते हैं। यह थोड़ा जटिल है, लेकिन Linux मशीन वाला कोई भी व्यक्ति इसका अनुसरण कर सकता है - किसी कोडिंग अनुभव की आवश्यकता नहीं।
सॉफ़्टवेयर सेट अप करना
सबसे पहले, यदि आप जल्दी में नहीं हैं या आपके पास Linux मशीन नहीं है, तो आप अभी भी DeepForger Twitter बॉट का उपयोग करके DeepStyle के साथ खेल सकते हैं (इसे एक छवि और एक शैली भेजें, और यह अंततः आपके इच्छित परिणाम के साथ उत्तर देगा)। यदि आप अधिक छवियों को तेज़ी से प्रोसेस करना चाहते हैं (और परिणामों पर अधिक नियंत्रण के साथ), ट्यूटोरियल के लिए पढ़ें।
सबसे पहले, सुनिश्चित करें कि आपके पास Ubuntu की एक अप-टू-डेट कॉपी है (मैंने 14.04 का उपयोग किया)। आपके पास कम से कम कुछ अतिरिक्त गीगाबाइट हार्ड ड्राइव स्पेस होना चाहिए। अधिक जानकारी के लिए, Windows के साथ Ubuntu को डुअल-बूट करने पर हमारे ट्यूटोरियल को देखें। आपको रूट विशेषाधिकारों की भी आवश्यकता होगी, इसलिए आगे बढ़ने से पहले सुनिश्चित करें कि आपके पास हैं।
बेसिक टूल्स
शुरुआत में ही, यह एक ओपन-सोर्स प्रोजेक्ट है, इसलिए हम Git इंस्टॉल करना चाहेंगे। Git वर्जन कंट्रोल सॉफ़्टवेयर के लिए गोल्ड स्टैंडर्ड है। जानने लायक लगभग हर ओपन सोर्स प्रोजेक्ट Github पर होस्ट किया गया है।
Git डाउनलोड और इंस्टॉल करने के लिए, बस एक टर्मिनल खोलें और टाइप करें "
sudo apt-get install git
" और इंस्टॉलर की मांगों से सहमत हों।
अगला: हम सॉफ़्टवेयर को काम करने के लिए आवश्यक कुछ बेसिक टूल्स सेट अप करने जा रहे हैं।
पहला, Lua इंस्टॉल करें। यह वह भाषा है जिसमें टूल लिखा गया है। यह काफी सरल है। बस टाइप करें "
sudo apt-get install lua5.2
" और इंस्टॉलेशन प्रक्रिया का पालन करें।
दूसरा, हम Luarocks प्राप्त करने जा रहे हैं। यह वह टूल है जो अन्य टूल्स को इंस्टॉल करना आसान बनाता है (क्या आप Linux से प्यार नहीं करते?)। इसके लिए, टाइप करें "
sudo apt-get install luarocks
" और इंस्टॉलेशन चरणों का पालन करें।
तीसरा, हम Luajit इंस्टॉल करने जा रहे हैं। यह Lua के लिए एक जस्ट-इन-टाइम कंपाइलर है जो हमारे जीवन को थोड़ा सरल बना देगा। बस टाइप करें "
sudo apt-get install luajit
."
अब तक सब ठीक है।
फ्रेमवर्क
अगला, हम Torch इंस्टॉल करने जा रहे हैं, एक वैज्ञानिक कंप्यूटिंग और मशीन लर्निंग फ्रेमवर्क जो एप्लिकेशन की रीढ़ बनाता है। दुर्भाग्य से, इसे apt-get (मानक Ubuntu पैकेज मैनेजर) का उपयोग करके इंस्टॉल नहीं किया जा सकता।
सौभाग्य से, उनके पास एक वन-लाइन इंस्टॉलर है जो कुछ कमांड-लाइन जादू का उपयोग करता है। अपने टर्मिनल पर लौटें और दर्ज करें "
curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash
".
जब आप कर लें, तो टाइप करें "
luajit -ltorch
". यह Torch इंटरफ़ेस लाएगा और सत्यापित करेगा कि सब कुछ सही ढंग से इंस्टॉल किया गया था।
उससे बाहर निकलें।
अब हम loadcaffe इंस्टॉल करने जा रहे हैं - एक न्यूरल-नेटवर्क विशिष्ट पैकेज। इसकी एकमात्र निर्भरता को टाइप करके इंस्टॉल करें "
sudo apt-get install libprotobuf-dev protobuf-compiler
". फिर आप पैकेज को स्वयं "
sudo luarocks install loadcaffe
" का उपयोग करके इंस्टॉल कर सकते हैं।
निर्भरताओं की दोबारा जांच
अंत में, हम कुछ चीजों को प्री-एम्प्टिवली अपडेट करने जा रहे हैं ताकि यह सुनिश्चित हो सके कि सब कुछ सुचारू रूप से चलता है।
टाइप करें "
sudo luarocks install image
" यह सुनिश्चित करने के लिए कि आपका इमेज पैकेज अप टू डेट है। अगला, दर्ज करें "
luarocks install nn
" जो आपके 'nn' पैकेज के लिए भी ऐसा ही करेगा।
Deep Style इंस्टॉल करना
ठीक है! इस बिंदु पर, हम वास्तव में सॉफ़्टवेयर को इंस्टॉल करने के लिए तैयार हैं। स्वच्छता के लिए, अपने होम डायरेक्टरी में एक नया फोल्डर बनाएं ('mkdir DeepStyle')। फिर, इसमें प्रवेश करें, "
cd Deepstyle
" का उपयोग करके। अब टाइप करें "
sudo git clone https://github.com/jcjohnson/neural-style.git
".
अब, हमें मॉडल डाउनलोड करना होगा। एक कप कॉफी बनाएं या कुछ और, इसमें कुछ समय लगेगा। टर्मिनल पर वापस जाएं, और टाइप करें "
sudo sh models/download_models.sh
". यह एक लंबी, विस्तृत डाउनलोड प्रक्रिया शुरू करेगा। यदि यह परमिशन एरर के कारण विफल होता है, तो चमोद का उपयोग करके प्रासंगिक फोल्डर पर खुद को रीड-राइट परमिशन देने का प्रयास करें।
Deep Style का उपयोग करना
ठीक है, हम जाने के लिए तैयार हैं। सॉफ़्टवेयर का उपयोग करना काफी सरल है।
सुनिश्चित करें कि आप टर्मिनल में DeepStyle/neural-style डायरेक्टरी में हैं। अब, आपको काम करने के लिए कुछ छवियों की आवश्यकता होगी। उन्हें इंटरनेट से डाउनलोड करें (या जो भी), फिर फाइल ब्राउज़र का उपयोग करके उन्हें DeepStyle/neural-style फोल्डर में कॉपी करें।
अब आप कमांड लाइन का उपयोग करके व्यक्तिगत छवियों को प्रोसेस कर सकते हैं। प्रारूप काफी सीधा है:
th neural_style.lua -style_image YOURPAINTINGHERE.jpg -content_image YOURPHOTOHERE.jpg -gpu -1
(जाहिर है, आपको ALL CAPS में चंक्स को अपनी फ़ाइलों के नामों से बदलना होगा)।
यह न्यूरल नेटवर्क को शुरू कर देगा। यह लगभग एक घंटे तक चलेगा, हर कुछ मिनट में नए आंशिक रूप से कन्वर्ज्ड इमेज को बाहर निकालता रहेगा जब तक कि यह समाप्त न हो जाए।
-gpu -1
फ्लैग इसे आपके GPU तक पहुंचने की कोशिश करने से रोकता है।
कई घंटों की कोशिश के बाद (और कई बार ऑपरेटिंग सिस्टम को ब्रिक करने के बाद) मैं Ubuntu और CUDA को अपने GPU (एक NVIDIA GTX 970) के साथ अच्छा व्यवहार करने के लिए प्राप्त करने में असमर्थ था। यदि आपको इसमें अधिक सफलता मिलती है, तो आप CUDA और cudann.torch इंस्टॉल करना चाहेंगे (अधिक जानकारी के लिए github repo देखें)। यदि नहीं, तो यह ठीक है - यह अभी भी आपके CPU का उपयोग करके काम करेगा; यह बस थोड़ा धीमा होगा।
यदि आपको यह सब काम करने में कोई समस्या है, तो बस मुझसे कमेंट में पूछें, और मैं आपकी मदद करने की पूरी कोशिश करूंगा।
परिणाम
यहां पिछले कुछ दिनों में मेरे द्वारा उत्पन्न कुछ छवियां हैं। परिणाम मिश्रित हैं, लेकिन उनमें से कई काफी प्रभावशाली हैं।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
यह मेरे दोस्त Zack की येलोस्टोन की हाइकिंग यात्रा की है। शैली Theresa Paden द्वारा बनाई गई एक अमूर्त पेंटिंग से आती है। मैं यह देखने के लिए उत्सुक था कि सिस्टम बिल्कुल बिना संरचना वाली छवि का उपयोग करके कैसे करेगा। परिणाम काफी अच्छे हैं, और आप निश्चित रूप से शैली छवि के समानता देख सकते हैं।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
यह मेरे पसंदीदा कलाकारों में से एक, Charles Demuth (देखें: Incense of a New Church, और Figure 5 in Gold) के सौजन्य से आता है। दिलचस्प बात यह है कि Demuth, Team Fortress 2 की कला के लिए प्राथमिक दृश्य प्रेरणाओं में से एक है, जैसा कि आप शैली छवि से देख सकते हैं।
मैंने इसे विकिमीडिया पर मिली Jersey City की एक छवि दी। परिणाम... बहुत अच्छे हैं। इसने Demuth की शैली की कोणीयता को नहीं पकड़ा, लेकिन इसने निश्चित रूप से नरम, बनावट वाला रूप और रंग पैलेट पकड़ लिया।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
यह एक सिंथेटिक O'Keeffe उत्पन्न करने का प्रयास है, कुछ फूलों की एक सांसारिक तस्वीर का उपयोग करके। परिणाम, स्पष्ट रूप से, शानदार हैं। सौंदर्य की दृष्टि से, यह मेरे पसंदीदा परिणामों में से एक है। O'Keeffe के रंगों और आकृतियों की समृद्धि स्पष्ट रूप से सामने आती है। फूलों की पंखुड़ियों के स्तरित किनारे पृष्ठभूमि में पत्तियों के किनारे बन जाते हैं। फूल स्वयं रंगों में घुल जाते हैं, लगभग अमूर्त बन जाते हैं।
यह एक अच्छी पेंटिंग होती अगर कोई इंसान करता। मैं इस का एक उच्च रिज़ॉल्यूशन संस्करण रेंडर करने में कुछ दिन बिताने और इसे फ्रेम करवाने के लिए बहुत ललचा रहा हूं।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
यहां एक Picasso प्रिंट के माध्यम से मेरे दोस्त Shannon की हैलोवीन पोशाक में है। दिलचस्प बात यह है कि डिवाइस ने उसके चेहरे के निचले हिस्से को सफेद रंग से पेंट करना चुना (Picasso टुकड़े के रंग लेआउट के समान)। मुझे यकीन नहीं है कि यह संयोग था या नहीं, लेकिन परिणाम हड़ताली हैं। ऐसा लगता है कि इसने Shannon के बाईं ओर के बालों की सही पहचान की है, और शैली छवि में बालों के रंग और लाइनवर्क का उपयोग करके इसे फिर से बनाया है। उसकी टोपी के लिए भी यही।
यह उन टुकड़ों में से एक है जहां तकनीक की सीमाएं स्पष्ट होने लगती हैं। अगर Picasso वास्तव में Shannon को पेंट कर रहे होते, तो वे उनके चेहरे की संरचना को फेंक देते और वांछित प्रभाव प्राप्त करने के लिए सुविधाओं को तिरछा कर देते। यह सिस्टम उन प्रकार के उच्च-स्तरीय अवधारणाओं को नहीं समझता है, और केवल शैली के सतही पहलुओं की नकल करने में सक्षम है, जैसे गहरी, कोणीय रेखाएं और रंग पैलेट।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
काफी सीधा: Eiffel Tower की एक तस्वीर, और Van Gogh की दूसरी Starry Night। यह बादलों को Van Gogh शैली में रेंडर करने का अच्छा काम करता है, मूल छवि में बादलों की अनुपस्थिति के बावजूद। यह दृश्य को दिन से रात में अनुवाद करने का भी अच्छा काम करता है।
मुझे यकीन नहीं था कि इसने Eiffel Tower की नोक को आग के स्तंभ के रूप में रेंडर करने का फैसला क्यों किया। यह अच्छा लग रहा है, लेकिन यह इनपुट डेटा से वास्तव में उचित नहीं है। तब मुझे एहसास हुआ कि शैली छवि में तेरह लंबी, ऊर्ध्वाधर पीली पट्टियां हैं, पानी में प्रतिबिंब के रूप में। यह देखते हुए कि प्रशिक्षण डेटा कितना कम है, यह एक बहुत बड़ा क्लस्टर है। बेचारे ने शायद सीखा है कि कोई भी उच्च-विपरीत ऊर्ध्वाधर किनारा उन प्रतिबिंबों में से एक होना चाहिए। आप बादलों में बेहोश अतिरिक्त ऊर्ध्वाधर धारियां देख सकते हैं।
पूर्ण रिज़ॉल्यूशन के लिए यहां क्लिक करें।
वही Van Gogh पेंटिंग, लेकिन इस बार मैंने इसे पेंट करने के लिए कुछ वास्तविक तारे दिए। इस मामले में, Eagle nebula के स्तंभ भाग। मुझे परिणाम पसंद हैं - हालांकि, एक बार फिर आप इसके पीली धारियों के प्रति जुनून को देख सकते हैं। स्तंभ का हर ऊर्ध्वाधर हिस्सा एक चमकीली, लहराती पीली रेखा बन जाता है। यह हरे रंग से भी स्पष्ट रूप से परेशान है, जो प्रशिक्षण डेटा में नहीं हुआ था, और नीले और काले रंग के पक्ष में इससे छुटकारा पाने की पूरी कोशिश करता है।
प्रौद्योगिकी
इसके कुछ परिणाम बेहद सम्मोहक हैं, हालांकि तकनीक की स्पष्ट सीमाएं हैं। कुछ छवियों में खराब रचना है, और सिस्टम को Picasso जैसे अधिक अमूर्त कलाकारों के साथ कठिनाई होती है - जिन्होंने प्रसिद्ध रूप से अपने विषय को विकृत करना, इसकी विशेषताओं को बिखेरना पसंद किया। एल्गोरिदम उनकी कोणीय रेखाओं, और टकराव वाले रंगों को पकड़ता है, लेकिन फिर भी छवि के पिक्सेल मूल्यों का गुलाम है। इसमें उस समझ की कमी है जिसकी आवश्यकता होगी स्रोत सामग्री से बहुत दूर विचलित होने के लिए।
जो मुझे इस सब के बारे में उत्साहित करता है वह यह है कि मुझे नहीं लगता कि वे सीमाएं मौलिक हैं।
यहां उपयोग किया जा रहा दृष्टिकोण - एक छवि पर एक नेटवर्क को प्रशिक्षित करें और इसका उपयोग दूसरी छवि बनाने के लिए करें - मौलिक रूप से एक हैक की तरह है। यह नेटवर्क को काम करने के लिए बहुत कम डेटा देता है। इस एप्लिकेशन का एक अधिक उन्नत संस्करण एक ऐसे नेटवर्क का उपयोग करेगा जिसमें कई पेंटिंग्स पर जानकारी हो, और शायद वास्तविक छवियां भी, इसे उस छवि के बारे में बहुत सारे संदर्भ देने के लिए जिसे वह "पेंट" करने की कोशिश कर रहा है।
शैली की गहरी समझ केवल एक व्यापक संदर्भ में मौजूद हो सकती है। आप इसे एक छवि से प्राप्त नहीं कर सकते। एक ऐसी आर्किटेक्चर डिजाइन करना जो सिस्टम को व्यापक डेटा तक पहुंच प्रदान करे, इसे छवि की अधिक "मानव-जैसी" समझ, और कलाकार वास्तविक दुनिया के विभिन्न तत्वों का प्रतिनिधित्व कैसे करते हैं, प्राप्त करने की अनुमति दे सकता है। ऐसा नेटवर्क उन छवियों का उत्पादन करने में सक्षम हो सकता है जो अधिक अमूर्त हैं और जिनकी रचना बेहतर है। ऐसे एल्गोरिदम एक कूल टॉय (इसकी तरह) होना बंद कर देंगे और वास्तविक, मूल कला का उत्पादन करने का एक तरीका बन जाएंगे।
कुछ मायनों में यह एक बहुत ही अजीब विचार है।
अपनी खुद की छवियां बनाना
यदि आपको निराशाजनक परिणाम मिलता है, तो आप विकल्पों के साथ थोड़ा खेलकर अधिक आश्वस्त करने वाले परिणाम प्राप्त करने का प्रयास कर सकते हैं। पूरी सूची Github पर है। महत्वपूर्ण हैं
- -content_weight -value कंटेंट रिकंस्ट्रक्शन टर्म को कितना वजन देना है। डिफ़ॉल्ट 5e0 है।
- -style_weight -value: शैली छवि को कितना वजन देना है। डिफ़ॉल्ट 1e2 है।
- -style_scale - value: सिस्टम को कितने बड़े इमेज पैच का विश्लेषण करना चाहिए (बड़ा अधिक अमूर्त हो जाता है)। डिफ़ॉल्ट 1.0 है।
एक बार जब आप सब कुछ अपनी संतुष्टि के लिए काम कर लेते हैं, तो कृपया कमेंट में अपनी सबसे दिलचस्प छवियां पोस्ट करें। मुझे वास्तव में यह देखने में दिलचस्पी है कि आप लोग क्या लेकर आते हैं।
इमेज क्रेडिट: मानव मस्तिष्क पेंटर via Shutterstock