প্রজননযোগ্যতা বাড়ানো এবং অন্যকে আরও সহজে প্রকাশিত কাজকে আরও শক্তিশালী করার লক্ষ্যে আমরা একটি এমএল কোড সম্পূর্ণতা চেকলিস্ট উপস্থাপন করি। এমএল কোড সম্পূর্ণতা চেকলিস্ট এতে সরবরাহিত স্ক্রিপ্ট এবং শিল্পকর্মগুলির উপর ভিত্তি করে কোড স্টোরটিকে মূল্যায়ন করে।
ভূমিকা
গত বছর, জোয়েল পিনো বড় ওএ সম্মেলনে উপস্থাপিত প্রজননযোগ্য গবেষণার সুবিধার্থে একটি পুনরুত্পাদনযোগ্যতা চেকলিস্ট প্রকাশ করেছে (নিউরোপস, আইসিএমএল,…)। চেকলিস্টের বেশিরভাগ আইটেম কাগজের উপাদানগুলিতে ফোকাস করে। এই চেকলিস্টের একটি আইটেম হ'ল "উত্স কোডের একটি লিঙ্ক সরবরাহ করুন," তবে এর বাইরে কয়েকটি সুপারিশ করা হয়েছিল।
এমএল কোড কমপ্লিটনেস চেকলিস্টে সেরা অনুশীলনগুলির সংক্ষিপ্তসার করা হয়েছে, যা এখন আনুষ্ঠানিক নিউরপস 2020 কোড জমা দেওয়ার প্রক্রিয়ার অংশ এবং এটি যথাযথ হিসাবে পর্যালোচকদের ব্যবহারের জন্য উপলব্ধ হবে।
এমএল সম্পূর্ণতা চেকলিস্ট
এম কোড সম্পূর্ণতা চেকলিস্টের জন্য কোড স্টোরটি পরীক্ষা করে:
- নির্ভরতা - কীভাবে সংরক্ষণাগারটিতে নির্ভরতা সম্পর্কিত তথ্য থাকে বা পরিবেশ কীভাবে সেটআপ করা যায় সে সম্পর্কে নির্দেশাবলী রয়েছে?
- প্রশিক্ষণের পরিস্থিতি - নথিতে বর্ণিত মডেলগুলিকে প্রশিক্ষণ / ফিট করার জন্য কি ভান্ডারটিতে কোনও উপায় রয়েছে?
- মূল্যায়ন পরিস্থিতি - প্রশিক্ষিত মডেলগুলির গুলি বা মডেলগুলিতে পরীক্ষা চালানোর জন্য পরীক্ষা চালানোর জন্য কি ভান্ডারটিতে কোনও স্ক্রিপ্ট রয়েছে?
- পূর্বনির্ধারিত মডেলগুলি - সংগ্রহশালাটি কি প্রাক-প্রশিক্ষিত মডেলের ওজনগুলিতে বিনামূল্যে অ্যাক্সেস সরবরাহ করে?
- ফলাফল - মূল ফলাফলগুলির একটি টেবিল / গ্রাফ এবং সেই ফলাফলগুলি পুনরুত্পাদন করার জন্য কোনও সংগ্রহশালা কি ভান্ডারগুলিতে থাকে?
প্রতিটি সংগ্রহস্থল 0 (কোনওটি নেই) থেকে 5 (সমস্ত) টিক্স পেতে পারে। প্রতিটি আইটেমের মানদণ্ডের আরও তথ্য গিথুব সংগ্রহস্থলে পাওয়া যাবে।
চেকলিস্ট আইটেমগুলি আরও কার্যকর ভাণ্ডারগুলিতে অবদান রাখার প্রমাণ কী?
সম্প্রদায়টি সাধারণভাবে গিটিহাব তারকাগুলি সংগ্রহস্থলের কার্যকারিতার জন্য প্রক্সি হিসাবে ব্যবহার করে। অতএব, এমএল সম্পূর্ণতা চেকলিস্টে উচ্চতর স্কোর সহ রেপোগুলিতে আরও গিটহাব তারকা থাকার আশা করা হচ্ছে। এই হাইপোথিসিসটি পরীক্ষা করার জন্য, এখানে নিউআরআইপিএস 2019 ডক্সে অফিসিয়াল বাস্তবায়ন হিসাবে 884 গিটহাব রেপো জমা দেওয়া হয়েছিল these 884 টি রেপোর 25% সাবসেট এলোমেলোভাবে নির্বাচন করা হয়েছিল এবং এমএল সম্পূর্ণতা চেকলিস্টে ম্যানুয়ালি চেক করা হয়েছিল। তারা এই নমুনাটি নিউরোপস 2019 গিটহাবের রেপোগুলিকে এমএল কোডের সম্পূর্ণতা চেকলিস্টে টিকের সংখ্যা দ্বারা গোষ্ঠীভুক্ত করেছেন এবং প্রতিটি গ্রুপে গিটহাব মিডিয়ান তারকাদের ম্যাপ করেছেন। ফলাফল নীচে:
0 টি চেকবাক্স সহ নিউরপস 2019 রেপোতে গিটহাবের 1.5 টি তারার মাঝারি ছিল। বিপরীতে, 5 টি চেকবাক্স সহ রেপোসের 196.5 গিটহাব তারার মাঝারি ছিল। কেবলমাত্র 9% রেপোতে 5 টি টিকিট ছিল এবং বেশিরভাগ রেপোতে (70%) 3 টি বা তারও কম ছিল। উইলকক্সন র্যাঙ্কের সমষ্টি পরীক্ষা করা হয়েছিল এবং দেখা গেছে যে 5 টি টিক শ্রেণিতে তারার সংখ্যা উল্লেখযোগ্যভাবে রয়েছে (p.value <1e-4) 5 বনাম 4 বাদে অন্যান্য ক্লাসের তুলনায় বেশি (যেখানে পি.ভালিউটি সীমানা)। 0.015 এ)। আপনি গিথুব সংগ্রহস্থলে এই চিত্রটির ডেটা এবং কোড দেখতে পারেন।
এই সম্পর্কটি আরও বিস্তৃতভাবে প্রসারিত হয়েছে কিনা তা পরীক্ষা করার জন্য, README সংগ্রহস্থল এবং সম্পর্কিত কোড থেকে একটি চেকলিস্টের গণনা স্বয়ংক্রিয় করতে একটি স্ক্রিপ্ট তৈরি করা হয়েছিল। তারপরে আমরা 884 নিউরইপস 2019 সংগ্রহস্থলের পুরো সেটটি আবার বিশ্লেষণ করেছি, পাশাপাশি 2019 সালে প্রকাশিত সমস্ত এমএল নিবন্ধের 8926 কোড সংগ্রহস্থলের বিস্তৃত সেট। উভয় ক্ষেত্রেই বিশেষজ্ঞরা একটি গুণগতভাবে অভিন্ন ফলাফল অর্জন করেছিলেন যার সাথে মধ্যযুগীয় তারকাগুলি একঘেয়েভাবে টিক্স থেকে একটি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ উপায়ে বৃদ্ধি পেয়েছিল (p.value <1e-4)। শেষ অবধি, শক্তিশালী লিনিয়ার রিগ্রেশন ব্যবহার করে আমরা গিটহাব তারকাদের উপর সর্বাধিক ইতিবাচক প্রভাব ফেলতে প্রাকট্রাইনযুক্ত মডেল এবং ফলাফলগুলি পেয়েছি।
এটি বিশ্লেষকদের দ্বারা কার্যকর প্রমাণ হিসাবে বিবেচিত যা গবেষকদের এমএল সম্পূর্ণতা চেকলিস্টের প্রয়োজনীয় সমস্ত উপাদানকে অন্তর্ভুক্ত করতে উত্সাহিত করা আরও দরকারী সংগ্রহস্থলগুলিতে নিয়ে যাবে এবং চেকলিস্টে থাকা স্কোর আরও ভাল মানের জমা দেওয়ার নির্দেশ দেয়।
বর্তমানে বিশেষজ্ঞরা দাবি করেন না যে প্রস্তাবিত 5 টি চেকলিস্ট আইটেমগুলি কেবলমাত্র এমনকি এমনকি এমনকি সংগ্রহস্থলের জনপ্রিয়তার সর্বাধিক উল্লেখযোগ্য উপাদান। অন্যান্য কারণগুলি জনপ্রিয়তার উপর প্রভাব ফেলতে পারে, যেমন: বৈজ্ঞানিক অবদানের আকার, বিপণন (উদাঃ ব্লগ পোস্ট এবং টুইটার পোস্ট), ডকুমেন্টেশন (বিস্তৃত READMEs, টিউটোরিয়ালস এবং এপিআই ডকুমেন্টেশন), কোডের মান এবং পূর্ববর্তী কাজ।
5 টি চেকবাক্স সহ নিউরপ্স 2019 এর সংগ্রহস্থলের কয়েকটি উদাহরণ:
বিশেষজ্ঞরা স্বীকার করেছেন যে যদিও তারা চেকলিস্টটিকে যথাসম্ভব সাধারণ করার চেষ্টা করেছেন, এটি সমস্ত ধরণের নথির ক্ষেত্রে পুরোপুরি প্রযোজ্য নয়, উদাহরণস্বরূপ, তাত্ত্বিক বা নথির সেটগুলি। তবে, নিবন্ধটির মূল উদ্দেশ্য যদি কোনও ডেটাসেটের প্রতিনিধিত্ব করা হয় তবে এটি প্রশিক্ষণ পরিস্থিতি, মূল্যায়ন পরিস্থিতি এবং ফলাফলগুলি সহ বেসলাইন মডেলগুলি প্রকাশের মাধ্যমে উপকৃত হতে পারে।
ব্যবহার শুরু করা
রিপোজিটরিতে কী রয়েছে তা বিশেষজ্ঞরা এবং ব্যবহারকারীদের এটি বোঝা সহজ করার জন্য এবং বিশেষজ্ঞদের এটির সঠিক মূল্যায়ন করার জন্য, README.md ফাইল লেখার জন্য, নির্ভরতা নির্ধারণ করার জন্য, এবং প্রাক-প্রশিক্ষিত মডেল, ডেটাসেট এবং ফলাফল প্রকাশের জন্য সেরা অনুশীলনের একটি সংগ্রহ সরবরাহ করা হয়। আপনি আপনার ভান্ডারটিতে এই 5 টি উপাদানকে স্পষ্টভাবে সংজ্ঞায়িত করুন এবং আপনার ব্যবহারকারীর আরও প্রসঙ্গ এবং স্পষ্টতা দেওয়ার জন্য ডকুমেন্ট এবং লিডারবোর্ডের মতো কোনও বাহ্যিক সংস্থার সাথে এটিকে সংযুক্ত করার পরামর্শ দেওয়া হচ্ছে। এগুলি নিউরোপস 2020 এ কোড জমা দেওয়ার জন্য সরকারী নির্দেশিকা guidelines