Nature.com भ्रमण गर्नुभएकोमा धन्यवाद।तपाईं सीमित CSS समर्थनको साथ ब्राउजर संस्करण प्रयोग गर्दै हुनुहुन्छ।उत्तम अनुभवको लागि, हामी तपाईंलाई अपडेट गरिएको ब्राउजर प्रयोग गर्न सिफारिस गर्छौं (वा इन्टरनेट एक्सप्लोररमा अनुकूलता मोड असक्षम गर्नुहोस्)।थप रूपमा, निरन्तर समर्थन सुनिश्चित गर्न, हामी शैलीहरू र जाभास्क्रिप्ट बिना साइट देखाउँछौं।
स्लाइडरहरू प्रति स्लाइड तीन लेखहरू देखाउँदै।स्लाइडहरू मार्फत सार्नको लागि पछाडि र अर्को बटनहरू प्रयोग गर्नुहोस्, वा प्रत्येक स्लाइडमा सार्नको लागि अन्तमा स्लाइड नियन्त्रक बटनहरू प्रयोग गर्नुहोस्।
अप्टिकल कोहेरेन्स टोमोग्राफिक एन्जियोग्राफी (OCTA) रेटिना वाहिकाहरूको गैर-आक्रामक दृश्यको लागि नयाँ विधि हो।यद्यपि OCTA सँग धेरै आशाजनक नैदानिक अनुप्रयोगहरू छन्, छवि गुणस्तर निर्धारण गर्न एक चुनौती रहन्छ।हामीले 134 बिरामीहरूको 347 स्क्यानहरूबाट सतही केशिका प्लेक्सस छविहरू वर्गीकृत गर्न ImageNet सँग पूर्वप्रशिक्षित ResNet152 न्यूरल नेटवर्क क्लासिफायर प्रयोग गरेर गहिरो शिक्षामा आधारित प्रणाली विकास गर्यौं।तस्बिरहरूलाई म्यानुअल रूपमा एक पर्यवेक्षित सिकाइ मोडेलको लागि दुई स्वतन्त्र मूल्याङ्कनकर्ताहरूद्वारा वास्तविक सत्यको रूपमा मूल्याङ्कन गरिएको थियो।किनभने छवि गुणस्तर आवश्यकताहरू क्लिनिकल वा अनुसन्धान सेटिङहरूमा निर्भर हुन सक्छ, दुई मोडेलहरूलाई प्रशिक्षित गरियो, एउटा उच्च गुणस्तरको छवि पहिचानको लागि र अर्को कम गुणस्तरको छवि पहिचानको लागि।हाम्रो न्यूरल नेटवर्क मोडेलले कर्भ (AUC), 95% CI 0.96-0.99, \(\kappa\) = 0.81) अन्तर्गत उत्कृष्ट क्षेत्र देखाउँछ, जुन मेसिन (AUC = 0.82, 95) द्वारा रिपोर्ट गरिएको सिग्नल स्तर भन्दा धेरै राम्रो छ। % CI)।०.७७–०.८६, \(\kappa\) = ०.५२ र AUC = ०.७८, ९५% CI ०.७३–०.८३, \(\kappa\) = ०.२७, क्रमशः)।हाम्रो अध्ययनले देखाउँछ कि मेसिन लर्निङ विधिहरू OCTA छविहरूको लागि लचिलो र बलियो गुणस्तर नियन्त्रण विधिहरू विकास गर्न प्रयोग गर्न सकिन्छ।
अप्टिकल कोहेरेन्स टोमोग्राफिक एन्जियोग्राफी (ओसीटीए) अप्टिकल कोहेरेन्स टोमोग्राफी (ओसीटी) मा आधारित एक अपेक्षाकृत नयाँ प्रविधि हो जुन रेटिना माइक्रोभास्कुलेटरको गैर-आक्रामक दृश्यको लागि प्रयोग गर्न सकिन्छ।OCTA ले रेटिनाको एउटै क्षेत्रमा बारम्बार प्रकाश पल्सबाट प्रतिबिम्ब ढाँचामा भिन्नता मापन गर्दछ, र त्यसपछि रङ वा अन्य कन्ट्रास्ट एजेन्टहरूको आक्रामक प्रयोग बिना रक्त नलीहरू प्रकट गर्नको लागि पुनर्निर्माण गणना गर्न सकिन्छ।OCTA ले गहिराई-रिजोल्युसन भास्कुलर इमेजिङलाई पनि सक्षम बनाउँछ, चिकित्सकहरूलाई अलग-अलग सतही र गहिरो पोत तहहरूको जाँच गर्न अनुमति दिन्छ, कोरियोरेटिनल रोगहरू बीचको भिन्नता पत्ता लगाउन मद्दत गर्दछ।
जबकि यो प्रविधि आशाजनक छ, छवि गुणस्तर भिन्नता विश्वसनीय छवि विश्लेषणको लागि एक प्रमुख चुनौती बनेको छ, छवि व्याख्या गर्न गाह्रो बनाउन र व्यापक क्लिनिकल अपनाउन रोक्न।किनभने OCTA ले धेरै लगातार OCT स्क्यानहरू प्रयोग गर्दछ, यो मानक OCT भन्दा छवि कलाकृतिहरूको लागि बढी संवेदनशील छ।धेरैजसो व्यावसायिक OCTA प्लेटफर्महरूले सिग्नल स्ट्रेन्थ (SS) वा कहिलेकाहीं सिग्नल स्ट्रेन्थ इन्डेक्स (SSI) भनिने आफ्नै छवि गुणस्तर मेट्रिक प्रदान गर्दछ।यद्यपि, उच्च SS वा SSI मान भएका छविहरूले छवि कलाकृतिहरूको अनुपस्थितिको ग्यारेन्टी गर्दैन, जसले कुनै पनि पछिल्ला छवि विश्लेषणलाई असर गर्न सक्छ र गलत क्लिनिकल निर्णयहरू निम्त्याउन सक्छ।OCTA इमेजिङमा हुने सामान्य छवि कलाकृतिहरूमा गति कलाकृतिहरू, विभाजन कलाकृतिहरू, मिडिया अस्पष्टता कलाकृतिहरू, र प्रक्षेपण कलाकृतिहरू १,२,३ समावेश हुन्छन्।
अनुवादात्मक अनुसन्धान, क्लिनिकल परीक्षण र क्लिनिकल अभ्यासमा OCTA-व्युत्पन्न उपायहरू जस्तै भास्कुलर घनत्व बढ्दो रूपमा प्रयोग भइरहेको छ, छवि कलाकृतिहरू हटाउन बलियो र भरपर्दो छवि गुणस्तर नियन्त्रण प्रक्रियाहरू विकास गर्न तत्काल आवश्यकता छ।स्किप जडानहरू, अवशिष्ट जडानहरू पनि भनिन्छ, न्यूरल नेटवर्क आर्किटेक्चरमा प्रक्षेपणहरू हुन् जसले जानकारीलाई विभिन्न स्केल वा रिजोल्युसनहरूमा भण्डारण गर्दा कन्भोलुसनल तहहरू बाइपास गर्न अनुमति दिन्छ।किनभने छवि कलाकृतिहरूले सानो-स्तर र सामान्य ठूला-स्तरीय छवि प्रदर्शनलाई असर गर्न सक्छ, स्किप-कनेक्सन न्यूरल नेटवर्कहरू यस गुणस्तर नियन्त्रण कार्यलाई स्वचालित गर्नको लागि राम्रोसँग उपयुक्त छन्।भर्खरै प्रकाशित कार्यले मानव अनुमानकर्ताहरूबाट उच्च गुणस्तरको डाटा प्रयोग गरेर प्रशिक्षित गहिरो कन्भोलुसनल न्यूरल नेटवर्कहरूको लागि केही प्रतिज्ञा देखाएको छ।
यस अध्ययनमा, हामी OCTA छविहरूको गुणस्तर स्वतः निर्धारण गर्नको लागि जडान-स्किपिङ कन्भोलुसनल न्यूरल नेटवर्कलाई तालिम दिन्छौं।हामीले उच्च गुणस्तरका छविहरू र कम गुणस्तरका छविहरू पहिचान गर्नको लागि छुट्टै मोडेलहरू विकास गरेर अघिल्लो काममा निर्माण गर्छौं, किनकि विशिष्ट क्लिनिकल वा अनुसन्धान परिदृश्यहरूको लागि छवि गुणस्तर आवश्यकताहरू फरक हुन सक्छन्।हामी यी सञ्जालहरूको नतिजाहरूलाई गहिरो सिकाइ भित्र ग्रेन्युलेरिटीको बहु स्तरहरूमा सुविधाहरू समावेश गर्ने मूल्यको मूल्याङ्कन गर्न बिना जडानहरू हराएको कन्भोलुसनल न्यूरल नेटवर्कहरूसँग तुलना गर्छौं।त्यसपछि हामीले हाम्रा परिणामहरूलाई संकेत शक्तिसँग तुलना गर्यौं, निर्माताहरूद्वारा प्रदान गरिएको छवि गुणस्तरको सामान्य रूपमा स्वीकृत मापन।
हाम्रो अध्ययनले अगस्ट 11, 2017 र अप्रिल 11, 2019 को बीच येल आई सेन्टरमा उपस्थित भएका मधुमेह भएका बिरामीहरूलाई समावेश गर्यो। कुनै पनि गैर-मधुमेह कोरियोरेटिनल रोग भएका बिरामीहरूलाई बहिष्कार गरिएको थियो।त्यहाँ उमेर, लिङ्ग, जाति, छवि गुणस्तर, वा कुनै अन्य कारकमा आधारित कुनै समावेश वा बहिष्करण मापदण्ड थिएन।
OCTA छविहरू 8\(\times\)8 mm र 6\(\times\)6 mm इमेजिङ प्रोटोकलहरू अन्तर्गत Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc, Dublin, CA) मा AngioPlex प्लेटफर्म प्रयोग गरेर अधिग्रहण गरिएको थियो।अध्ययनमा सहभागिताको लागि सूचित सहमति प्रत्येक अध्ययन सहभागीबाट प्राप्त गरिएको थियो, र येल विश्वविद्यालय संस्थागत समीक्षा बोर्ड (IRB) ले यी सबै बिरामीहरूको लागि विश्वव्यापी फोटोग्राफीको साथ सूचित सहमतिको प्रयोगलाई अनुमोदन गर्यो।हेलसिंकी घोषणाको सिद्धान्तहरू पछ्याउँदै।अध्ययन येल विश्वविद्यालय IRB द्वारा अनुमोदन गरिएको थियो।
सतह प्लेट छविहरू पहिले वर्णन गरिएको मोशन आर्टिफ्याक्ट स्कोर (MAS), पहिले वर्णन गरिएको सेग्मेन्टेशन आर्टिफ्याक्ट स्कोर (SAS), फोभल सेन्टर, मिडिया अस्पष्टताको उपस्थिति, र छवि मूल्याङ्कनकर्ता द्वारा निर्धारित सानो केशिकाहरूको राम्रो दृश्यको आधारमा मूल्याङ्कन गरिएको थियो।छविहरू दुई स्वतन्त्र मूल्याङ्कनकर्ताहरू (RD र JW) द्वारा विश्लेषण गरिएको थियो।तलका सबै मापदण्डहरू पूरा भएमा एउटा छविको ग्रेडेड स्कोर २ (योग्य) छ: छवि फोभियामा केन्द्रित छ (छविको केन्द्रबाट १०० पिक्सेलभन्दा कम), MAS १ वा २ हो, SAS १ हो, र मिडिया अस्पष्टता 1 भन्दा कम छ। आकार / 16 को छविहरूमा उपस्थित छ, र साना केशिकाहरू 15/16 भन्दा ठूला छविहरूमा देखिन्छ।यदि निम्न मापदण्डहरू पूरा भएमा छविलाई ० (मूल्याङ्कन छैन) मूल्याङ्कन गरिन्छ: छवि केन्द्रबन्द छ, यदि MAS 4 छ, यदि SAS 2 छ, वा औसत अस्पष्टता छविको 1/4 भन्दा बढी छ, र सानो केशिकाहरू 1 छवि / 4 भन्दा बढी समायोजन गर्न सकिँदैन।अन्य सबै छविहरू जुन स्कोरिङ मापदण्ड 0 वा 2 पूरा गर्दैनन् तिनीहरूलाई 1 (क्लिपिङ) को रूपमा स्कोर गरिन्छ।
अंजीर मा।1 ले प्रत्येक मापन गरिएको अनुमान र छवि कलाकृतिहरूको लागि नमूना छविहरू देखाउँछ।व्यक्तिगत स्कोरहरूको अन्तर-रेटर विश्वसनीयता कोहेनको कप्पा वजन 8 द्वारा मूल्याङ्कन गरिएको थियो।प्रत्येक छविको लागि 0 देखि 4 सम्मको समग्र स्कोर प्राप्त गर्न प्रत्येक रेटरको व्यक्तिगत स्कोरहरू जम्मा गरिन्छ। 4 को कुल स्कोर भएका छविहरूलाई राम्रो मानिन्छ।० वा १ को कुल स्कोर भएका छविहरूलाई कम गुणस्तर मानिन्छ।
एउटा ResNet152 आर्किटेक्चर कन्भोलुसनल न्यूरल नेटवर्क (Fig. 3A.i) ImageNet डाटाबेसबाट छविहरूमा पूर्व-प्रशिक्षित फास्ट.आई र PyTorch फ्रेमवर्क 5, 9, 10, 11 प्रयोग गरेर उत्पन्न गरिएको थियो। एक कन्भोलुसनल न्यूरल नेटवर्क एक नेटवर्क हो जसले सिकेको प्रयोग गर्दछ। स्थानिय र स्थानीय सुविधाहरू अध्ययन गर्न छवि टुक्राहरू स्क्यान गर्नका लागि फिल्टरहरू।हाम्रो प्रशिक्षित ResNet एक 152-तह न्यूरल नेटवर्क हो जुन खाली ठाउँहरू वा "अवशिष्ट जडानहरू" द्वारा विशेषता हो जसले एकै साथ धेरै रिजोलुसनहरूसँग जानकारी प्रसारण गर्दछ।नेटवर्कमा बिभिन्न रिजोल्युसनहरूमा जानकारी प्रक्षेपण गरेर, प्लेटफर्मले विस्तारको धेरै स्तरहरूमा कम-गुणस्तरका छविहरूको सुविधाहरू सिक्न सक्छ।हाम्रो ResNet मोडेलको अतिरिक्त, हामीले AlexNet लाई पनि तालिम दियौं, राम्रोसँग अध्ययन गरिएको न्यूरल नेटवर्क आर्किटेक्चर, तुलनाको लागि जडानहरू छुटेको बिना (चित्र 3A.ii)12।छुटेको जडानहरू बिना, यो नेटवर्कले उच्च ग्रेन्युलारिटीमा सुविधाहरू क्याप्चर गर्न सक्षम हुनेछैन।
मूल 8\(\times\)8mm OCTA13 छवि सेटलाई तेर्सो र ठाडो प्रतिबिम्ब प्रविधिहरू प्रयोग गरेर परिष्कृत गरिएको छ।त्यसपछि पूर्ण डेटासेटलाई छवि स्तरमा अनियमित रूपमा प्रशिक्षण (51.2%), परीक्षण (12.8%), हाइपरप्यारामिटर ट्युनिङ (16%), र प्रमाणीकरण (20%) डेटासेटहरूमा स्किट-लर्न टूलबक्स पाइथन14 प्रयोग गरी विभाजन गरिएको थियो।दुई केसहरू विचार गरियो, एउटा मात्र उच्च गुणस्तरका छविहरू (समग्र स्कोर 4) पत्ता लगाउनमा आधारित र अर्को सबैभन्दा कम गुणस्तरका छविहरू (समग्र स्कोर 0 वा 1) पत्ता लगाउनमा आधारित।प्रत्येक उच्च-गुणस्तर र कम-गुणस्तरको प्रयोग केसको लागि, हाम्रो छवि डेटामा एक पटक न्यूरल नेटवर्कलाई पुन: प्रशिक्षित गरिन्छ।प्रत्येक प्रयोगको अवस्थामा, न्यूरल नेटवर्कलाई 10 युगहरूका लागि प्रशिक्षित गरिएको थियो, उच्च तहको तौलहरू बाहेक सबै फ्रिज गरिएको थियो, र सबै आन्तरिक मापदण्डहरूको वजनहरू 40 युगहरूका लागि क्रस-एन्ट्रोपी हानि प्रकार्य 15 को साथ भेदभावपूर्ण सिकाइ दर विधि प्रयोग गरेर सिकिएको थियो। १६।।क्रस एन्ट्रोपी हानि प्रकार्य भविष्यवाणी गरिएको नेटवर्क लेबल र वास्तविक डेटा बीचको भिन्नताको लगरिदमिक स्केलको मापन हो।प्रशिक्षणको क्रममा, घाटा कम गर्न न्यूरल नेटवर्कको आन्तरिक मापदण्डहरूमा ग्रेडियन्ट डिसेन्ट गरिन्छ।सिकाइ दर, छोड्ने दर, र तौल घटाउने हाइपरपेरामिटरहरू 2 अनियमित सुरूवात बिन्दुहरू र 10 पुनरावृत्तिहरूका साथ Bayesian अप्टिमाइजेसन प्रयोग गरेर ट्युन गरिएको थियो, र डाटासेटमा AUC 17 को लक्ष्यको रूपमा हाइपरपेरामिटरहरू प्रयोग गरेर ट्युन गरिएको थियो।
सतही केशिका प्लेक्ससको 8 × 8 मिमी OCTA छविहरूको प्रतिनिधि उदाहरणहरू 2 (A, B), 1 (C, D), र 0 (E, F) स्कोर गरियो।देखाइएको छवि कलाकृतिहरूमा फ्लिकरिङ लाइनहरू (तीरहरू), विभाजन कलाकृतिहरू (एस्टेरिस्क), र मिडिया अपारदर्शिता (तीरहरू) समावेश छन्।छवि (E) पनि केन्द्रविहीन छ।
रिसीभर अपरेटिङ विशेषताहरू (ROC) कर्भहरू त्यसपछि सबै न्यूरल नेटवर्क मोडेलहरूका लागि उत्पन्न हुन्छन्, र इन्जिन सिग्नल शक्ति रिपोर्टहरू प्रत्येक कम-गुणस्तर र उच्च-गुणस्तरको प्रयोग केसको लागि उत्पन्न हुन्छन्।वक्र अन्तर्गत क्षेत्र (AUC) pROC R प्याकेज प्रयोग गरी गणना गरिएको थियो, र 95% आत्मविश्वास अन्तरालहरू र p-मानहरू DeLong विधि 18,19 प्रयोग गरी गणना गरिएको थियो।मानव रेटरहरूको संचयी स्कोरहरू सबै ROC गणनाहरूको लागि आधारभूत रूपमा प्रयोग गरिन्छ।मेसिनद्वारा रिपोर्ट गरिएको सिग्नल बलको लागि, AUC दुई पटक गणना गरिएको थियो: एक पटक उच्च गुणस्तर स्केलेबिलिटी स्कोर कटअफको लागि र एक पटक कम गुणस्तर स्केलेबिलिटी स्कोर कटअफको लागि।न्यूरल नेटवर्कलाई यसको आफ्नै प्रशिक्षण र मूल्याङ्कन अवस्थाहरू प्रतिबिम्बित AUC संकेत शक्तिसँग तुलना गरिएको छ।
छुट्टै डेटासेटमा प्रशिक्षित गहिरो सिकाइ मोडेललाई थप परीक्षण गर्न, येल विश्वविद्यालयबाट सङ्कलन गरिएका ३२ पूर्ण अनुहार ६\(\times\) ६ मिमी सतह स्ल्याब छविहरूको कार्यसम्पादन मूल्याङ्कनमा उच्च गुणस्तर र कम गुणस्तरका मोडेलहरू प्रत्यक्ष रूपमा लागू गरियो।आँखाको मास छवि 8 \(\times \) 8 मिमीको रूपमा एकै समयमा केन्द्रित छ।6\(\×\) 6 मिमी छविहरू समान रेटरहरू (RD र JW) द्वारा म्यानुअल रूपमा 8\(\×\) 8 मिमी छविहरूको रूपमा मूल्याङ्कन गरिएको थियो, AUC गणना गरिएको थियो साथै सटीकता र कोहेनको कप्पा। ।बराबरी ।
निम्न गुणस्तरको मोडेलको लागि वर्ग असंतुलन अनुपात १५८:१८९ (\(\rho = १.१९\)) र उच्च गुणस्तरको मोडेलको लागि ८०:२६७ (\(\rho = ३.३\)) छ।वर्ग असन्तुलन अनुपात १:४ भन्दा कम भएकोले, वर्ग असन्तुलन २०,२१ लाई सच्याउन कुनै विशेष वास्तुकला परिवर्तन गरिएको छैन।
सिकाइ प्रक्रियालाई राम्रोसँग हेर्नको लागि, चारवटा प्रशिक्षित गहिरो सिकाइ मोडेलहरूका लागि कक्षा सक्रियता नक्साहरू उत्पन्न गरियो: उच्च गुणस्तरको ResNet152 मोडेल, कम गुणस्तरको ResNet152 मोडेल, उच्च गुणस्तरको AlexNet मोडेल, र कम गुणस्तरको AlexNet मोडेल।वर्ग सक्रियता नक्साहरू यी चार मोडेलहरूको इनपुट कन्भोलुसनल तहहरूबाट उत्पन्न हुन्छन्, र ताप नक्साहरू 8 × 8 mm र 6 × 6 mm प्रमाणीकरण सेटहरूबाट स्रोत छविहरूसँग सक्रियता नक्साहरू ओभरले गरेर उत्पन्न हुन्छन्।
R संस्करण 4.0.3 सबै सांख्यिकीय गणनाहरूको लागि प्रयोग गरिएको थियो, र दृश्यहरू ggplot2 ग्राफिक्स उपकरण पुस्तकालय प्रयोग गरेर सिर्जना गरिएको थियो।
हामीले 134 व्यक्तिहरूबाट 8 \(\times \)8 मिमी नाप्ने सतही केशिका प्लेक्ससको 347 फ्रन्टल छविहरू सङ्कलन गर्यौं।मेसिनले सबै छविहरूको लागि 0 देखि 10 को स्केलमा संकेत शक्ति रिपोर्ट गर्यो (मध्य = 6.99 ± 2.29)।प्राप्त 347 छविहरू मध्ये, परीक्षामा औसत उमेर 58.7 ± 14.6 वर्ष थियो, र 39.2% पुरुष बिरामीहरूबाट थिए।सबै छविहरू मध्ये, 30.8% काकेशियनहरूबाट, 32.6% कालोहरूबाट, 30.8% हिस्पैनिकहरूबाट, 4% एशियालीहरूबाट, र 1.7% अन्य जातिहरूबाट (तालिका 1) थिए।)।OCTA भएका बिरामीहरूको उमेर वितरण छविको गुणस्तर (p <0.001) को आधारमा महत्त्वपूर्ण रूपमा भिन्न थियो।18-45 वर्ष उमेरका युवा बिरामीहरूमा उच्च-गुणवत्ता छविहरूको प्रतिशत 33.8% कम गुणस्तर छविहरूको 12.2% (तालिका 1) को तुलनामा थियो।मधुमेह रेटिनोप्याथी स्थितिको वितरण पनि छवि गुणस्तर (p <0.017) मा उल्लेखनीय रूपमा भिन्न भयो।सबै उच्च गुणस्तरका तस्बिरहरूमा, पीडीआर भएका बिरामीहरूको प्रतिशत सबै कम गुणस्तर छविहरूको 38.8% (तालिका 1) को तुलनामा 18.8% थियो।
सबै छविहरूको व्यक्तिगत मूल्याङ्कनहरूले छविहरू पढ्ने व्यक्तिहरू बीच मध्यमदेखि बलियो अन्तर-रेटिङ विश्वसनीयता देखायो (कोहेनको भारित कप्पा = 0.79, 95% CI: 0.76-0.82), र त्यहाँ कुनै छवि बिन्दुहरू थिएनन् जहाँ रेटरहरू 1 भन्दा बढी (चित्र। 2A)।।सिग्नल तीव्रता म्यानुअल स्कोरिङ (Pearson उत्पादन क्षण सहसंबंध = 0.58, 95% CI 0.51–0.65, p <0.001) संग महत्त्वपूर्ण रूपमा सहसंबद्ध, तर धेरै छविहरू उच्च संकेत तीव्रता तर कम म्यानुअल स्कोरिङ (चित्र .2B) भएको रूपमा पहिचान गरिएको थियो।
ResNet152 र AlexNet आर्किटेक्चरहरूको प्रशिक्षणको क्रममा, प्रमाणीकरण र प्रशिक्षणमा क्रस-एन्ट्रोपी हानि 50 युगहरू (चित्र 3B, C) भन्दा बढी हुन्छ।अन्तिम प्रशिक्षण युगमा प्रमाणीकरण शुद्धता दुबै उच्च गुणस्तर र कम गुणस्तर प्रयोग मामिलाहरूको लागि 90% भन्दा बढी छ।
रिसिभर कार्यसम्पादन कर्भले देखाउँछ कि ResNet152 मोडेलले कम र उच्च गुणस्तरको प्रयोगका अवस्थाहरूमा (p <0.001) दुवै मेसिनद्वारा रिपोर्ट गरिएको सिग्नल पावरलाई उल्लेखनीय रूपमा बढाउँछ।ResNet152 मोडेलले AlexNet आर्किटेक्चर (क्रमशः कम गुणस्तर र उच्च गुणस्तरका केसहरूका लागि p = 0.005 र p = 0.014) लाई पनि उल्लेखनीय रूपमा अगाडि बढाउँछ।यी प्रत्येक कार्यका लागि नतिजा मोडेलहरू क्रमशः 0.99 र 0.97 को AUC मानहरू प्राप्त गर्न सक्षम थिए, जुन 0.82 र 0.78 को अनुरूप AUC मानहरू भन्दा राम्रो छ मेसिन सिग्नल शक्ति सूचकांक वा 0.97 र 0.94 AlexNet को लागि। ।।(चित्र ३)।संकेत शक्तिमा ResNet र AUC बीचको भिन्नता उच्च गुणस्तरका छविहरू पहिचान गर्दा उच्च हुन्छ, जसले यस कार्यको लागि ResNet प्रयोग गर्दा थप फाइदाहरू संकेत गर्दछ।
ग्राफहरूले प्रत्येक स्वतन्त्र रेटरको स्कोर र मेसिनद्वारा रिपोर्ट गरिएको संकेत शक्तिसँग तुलना गर्ने क्षमता देखाउँदछ।(A) मूल्याङ्कन गर्नुपर्ने बिन्दुहरूको योगलाई मूल्याङ्कन गर्नुपर्ने बिन्दुहरूको कुल संख्या सिर्जना गर्न प्रयोग गरिन्छ।4 को समग्र स्केलेबिलिटी स्कोर भएका छविहरूलाई उच्च गुणस्तर तोकिएको छ, जबकि 1 वा कमको समग्र स्केलेबिलिटी स्कोर भएका छविहरूलाई कम गुणस्तर तोकिएको छ।(B) सिग्नलको तीव्रता म्यानुअल अनुमानहरूसँग सम्बन्धित छ, तर उच्च संकेत तीव्रता भएका छविहरू खराब गुणस्तरको हुन सक्छ।रातो थोप्ला रेखाले संकेत शक्ति (संकेत शक्ति \(\ge\)6) मा आधारित निर्माताको सिफारिस गरिएको गुणस्तर थ्रेसहोल्डलाई संकेत गर्दछ।
ResNet स्थानान्तरण शिक्षाले मेशिन-रिपोर्ट गरिएको सिग्नल स्तरहरूको तुलनामा कम गुणस्तर र उच्च गुणस्तरको प्रयोगका केसहरूको लागि छवि गुणस्तर पहिचानमा महत्त्वपूर्ण सुधार प्रदान गर्दछ।(A) पूर्व-प्रशिक्षित (i) ResNet152 र (ii) AlexNet आर्किटेक्चरको सरलीकृत वास्तुकला रेखाचित्र।(B) ResNet152 को लागि प्रशिक्षण इतिहास र रिसीभर कार्यसम्पादन कर्भ मेसिन रिपोर्ट गरिएको संकेत शक्ति र AlexNet कम गुणस्तर मापदण्डको तुलनामा।(C) ResNet152 रिसीभर प्रशिक्षण इतिहास र मेसिन रिपोर्ट गरिएको संकेत शक्ति र AlexNet उच्च गुणस्तर मापदण्डको तुलनामा प्रदर्शन कर्भ।
निर्णय सीमा थ्रेसहोल्ड समायोजन गरेपछि, ResNet152 मोडेलको अधिकतम भविष्यवाणी शुद्धता कम गुणस्तरको केसको लागि 95.3% र उच्च गुणस्तरको केसको लागि 93.5% छ (तालिका 2)।AlexNet मोडेलको अधिकतम भविष्यवाणी शुद्धता कम गुणस्तरको केसको लागि 91.0% र उच्च गुणस्तरको केसको लागि 90.1% (तालिका 2) हो।अधिकतम संकेत शक्ति भविष्यवाणी सटीकता कम गुणस्तर प्रयोग केसको लागि 76.1% र उच्च गुणस्तर प्रयोग केसको लागि 77.8% हो।कोहेनको कप्पा (\(\kappa\)) अनुसार, ResNet152 मोडेल र अनुमानकर्ताहरू बीचको सम्झौता कम गुणस्तरको केसको लागि ०.९० र उच्च गुणस्तरको केसको लागि ०.८१ हो।कोहेनको AlexNet kappa क्रमशः 0.82 र 0.71 कम गुणस्तर र उच्च गुणस्तर प्रयोग केसहरूको लागि हो।कम र उच्च गुणस्तरको प्रयोगका केसहरूका लागि कोहेनको सिग्नल बल काप्पा क्रमशः ०.५२ र ०.२७ हो।
6 मिमी फ्ल्याट प्लेटको 6\(\x\) छविहरूमा उच्च र कम गुणस्तर पहिचान मोडेलहरूको प्रमाणीकरणले विभिन्न इमेजिङ प्यारामिटरहरूमा छवि गुणस्तर निर्धारण गर्न प्रशिक्षित मोडेलको क्षमता देखाउँछ।इमेजिङ गुणस्तरको लागि 6\(\x\) 6 मिमी उथले स्ल्याबहरू प्रयोग गर्दा, कम गुणस्तरको मोडेलमा 0.83 (95% CI: 0.69–0.98) को AUC थियो र उच्च गुणस्तरको मोडेलमा 0.85 को AUC थियो।(९५% CI: ०.५५–१.००) (तालिका २)।
आगत तह वर्ग सक्रियता नक्साको भिजुअल निरीक्षणले देखाएको छ कि सबै प्रशिक्षित तंत्रिका नेटवर्कहरूले छवि वर्गीकरण (चित्र 4A, B) को समयमा छवि सुविधाहरू प्रयोग गरे।8 \(\times \) 8 mm र 6 \(\times \) 6 mm छविहरूको लागि, ResNet सक्रियता छविहरूले रेटिनल भास्कुलेटरलाई नजिकबाट पछ्याउँछन्।AlexNet सक्रियता नक्साहरू पनि रेटिना भाँडाहरू पछ्याउँछन्, तर मोटो रिजोल्युसनको साथ।
ResNet152 र AlexNet मोडेलहरूको लागि वर्ग सक्रियता नक्साले छवि गुणस्तरसँग सम्बन्धित सुविधाहरू हाइलाइट गर्दछ।(A) वर्ग सक्रियता नक्शा 8 \(\times \) 8 mm प्रमाणीकरण छविहरूमा र (B) सानो 6 \(\times \) 6 mm प्रमाणीकरण छविहरूमा सतही रेटिना भास्कुलेटर पछि सुसंगत सक्रियता देखाउँदै।LQ मोडेल कम गुणस्तर मापदण्ड मा प्रशिक्षित, HQ मोडेल उच्च गुणस्तर मापदण्ड मा प्रशिक्षित।
यो पहिले देखाइएको छ कि छवि गुणस्तरले OCTA छविहरूको कुनै पनि परिमाणमा प्रभाव पार्न सक्छ।थप रूपमा, रेटिनोप्याथीको उपस्थितिले छवि कलाकृतिहरू 7,26 को घटनाहरू बढाउँछ।वास्तवमा, हाम्रो डेटामा, अघिल्लो अध्ययनहरूसँग अनुरूप, हामीले बढ्दो उमेर र रेटिना रोगको गम्भीरता र छवि गुणस्तरमा गिरावट (p <0.001, p = 0.017 उमेर र DR स्थितिको लागि, क्रमशः; तालिका 1) 27 बीचको महत्त्वपूर्ण सम्बन्ध फेला पार्यौं। तसर्थ, OCTA छविहरूको कुनै पनि मात्रात्मक विश्लेषण गर्नु अघि छविको गुणस्तर मूल्याङ्कन गर्न महत्त्वपूर्ण छ।OCTA छविहरूको विश्लेषण गर्ने अधिकांश अध्ययनहरूले कम गुणस्तरका छविहरूलाई शासन गर्न मेसिन-रिपोर्ट गरिएको सिग्नल तीव्रता थ्रेसहोल्डहरू प्रयोग गर्दछ।यद्यपि संकेतको तीव्रताले OCTA मापदण्डहरूको परिमाणमा प्रभाव पार्ने देखाइएको छ, उच्च संकेत तीव्रता मात्र छवि कलाकृतिहरू 2,3,28,29 सँग छविहरूलाई अस्वीकार गर्न पर्याप्त नहुन सक्छ।तसर्थ, छवि गुणस्तर नियन्त्रणको थप भरपर्दो विधि विकास गर्न आवश्यक छ।यसका लागि, हामी मेसिनद्वारा रिपोर्ट गरिएको संकेत शक्तिको विरुद्धमा पर्यवेक्षित गहिरो सिकाइ विधिहरूको कार्यसम्पादनको मूल्याङ्कन गर्छौं।
हामीले छवि गुणस्तर मूल्याङ्कन गर्न धेरै मोडेलहरू विकास गरेका छौं किनभने विभिन्न OCTA प्रयोग केसहरूमा फरक छवि गुणस्तर आवश्यकताहरू हुन सक्छन्।उदाहरणका लागि, छविहरू उच्च गुणस्तरको हुनुपर्छ।थप रूपमा, ब्याजको विशिष्ट मात्रात्मक मापदण्डहरू पनि महत्त्वपूर्ण छन्।उदाहरण को लागी, foveal avascular क्षेत्र को क्षेत्र गैर-केन्द्रीय माध्यम को टर्बिडिटी मा निर्भर गर्दैन, तर भाँडा को घनत्व लाई असर गर्छ।हाम्रो अनुसन्धानले छवि गुणस्तरमा सामान्य दृष्टिकोणमा ध्यान केन्द्रित गर्न जारी राखेको छ, कुनै विशेष परीक्षणको आवश्यकताहरूसँग बाँधिएको छैन, तर मेसिनले रिपोर्ट गरेको संकेत शक्तिलाई सीधै प्रतिस्थापन गर्ने उद्देश्य राखेको छ, हामी प्रयोगकर्ताहरूलाई नियन्त्रणको ठूलो डिग्री दिने आशा गर्दछौं। प्रयोगकर्ताको रुचिको विशिष्ट मेट्रिक चयन गर्न सक्नुहुन्छ।स्वीकार्य मानिने छवि कलाकृतिहरूको अधिकतम डिग्रीसँग मेल खाने मोडेल छनोट गर्नुहोस्।
कम-गुणस्तर र उच्च-गुणस्तरका दृश्यहरूका लागि, हामीले क्रमशः 0.97 र 0.99 र कम-गुणस्तरका मोडेलहरूको AUC सँग जडान नभएको गहिरो कन्भोलुसनल न्यूरल नेटवर्कहरूको उत्कृष्ट प्रदर्शन देखाउँछौं।हामीले मेसिनहरूद्वारा मात्र रिपोर्ट गरिएका सङ्केत स्तरहरूको तुलनामा हाम्रो गहिरो सिकाइ दृष्टिकोणको उच्च प्रदर्शन पनि देखाउँछौं।स्किप जडानहरूले तंत्रिका सञ्जालहरूलाई विस्तारको धेरै स्तरहरूमा सुविधाहरू सिक्न अनुमति दिन्छ, छविहरूको राम्रो पक्षहरू (जस्तै कन्ट्रास्ट) साथै सामान्य सुविधाहरू (जस्तै छवि केन्द्रित 30,31) क्याप्चर गर्दै।तस्विरको गुणस्तरलाई असर गर्ने छवि कलाकृतिहरू सम्भवतः विस्तृत दायरामा राम्रोसँग पहिचान गरिएको हुनाले, छुटेको जडान भएका तंत्रिका सञ्जाल आर्किटेक्चरहरूले छवि गुणस्तर निर्धारण कार्यहरू नभएको भन्दा राम्रो प्रदर्शन प्रदर्शन गर्न सक्छ।
6\(\×6mm) OCTA छविहरूमा हाम्रो मोडेल परीक्षण गर्दा, हामीले वर्गीकरणको लागि प्रशिक्षित मोडेलको आकारको विपरीत उच्च गुणस्तर र कम गुणस्तरका मोडेलहरू (चित्र 2) को लागि वर्गीकरण कार्यसम्पादनमा कमी आएको देख्यौं।ResNet मोडेलको तुलनामा, AlexNet मोडेलको ठूलो फल अफ छ।ResNet को तुलनात्मक रूपमा राम्रो प्रदर्शन धेरै स्केलहरूमा जानकारी प्रसारण गर्न अवशिष्ट जडानहरूको क्षमताको कारण हुन सक्छ, जसले मोडेललाई विभिन्न स्केल र/वा म्याग्निफिकेसनहरूमा खिचिएका छविहरूलाई वर्गीकरण गर्नको लागि अझ बलियो बनाउँछ।
8 \(\×\) 8 मिमी छविहरू र 6 \(\×\) 6 मिमी छविहरू बीचको केही भिन्नताहरूले फोभल अवस्कुलर क्षेत्रहरू, दृश्यतामा परिवर्तनहरू, भास्कुलर आर्केडहरू, र छविहरूको तुलनात्मक रूपमा उच्च अनुपात सहित खराब वर्गीकरण गर्न सक्छ। छवि 6×6 mm मा कुनै अप्टिक तंत्रिका छैन।यसका बावजुद, हाम्रो उच्च गुणस्तरको ResNet मोडेलले 6 \(\x\) 6 मिमी छविहरूको लागि 85% को AUC प्राप्त गर्न सक्षम भयो, एउटा कन्फिगरेसन जसको लागि मोडेललाई प्रशिक्षित गरिएको थिएन, जसले छवि गुणस्तर जानकारी न्यूरल नेटवर्कमा इन्कोड गरिएको सुझाव दिन्छ। उपयुक्त छ।एउटा छवि आकार वा यसको प्रशिक्षण बाहिर मेसिन कन्फिगरेसनको लागि (तालिका २)।आश्वस्त रूपमा, ResNet- र AlexNet-जस्तै 8 \(\times \) 8 mm र 6 \(\times \) 6 mm छविहरूले रेटिना भाँडाहरूलाई हाइलाइट गर्न सक्षम थिए, जसले मोडेलसँग महत्त्वपूर्ण जानकारी छ भनेर सुझाव दिन्छ।दुबै प्रकारका OCTA छविहरू (चित्र 4) को वर्गीकरणको लागि लागू हुन्छ।
Lauerman et al।OCTA छविहरूमा छवि गुणस्तर मूल्याङ्कन इन्सेप्शन आर्किटेक्चर, अर्को स्किप-कनेक्सन कन्भोलुसनल न्यूरल नेटवर्क 6,32 गहिरो सिकाइ प्रविधिहरू प्रयोग गरी प्रयोग गरी गरिएको थियो।तिनीहरूले अध्ययनलाई सतही केशिका प्लेक्ससको छविहरूमा पनि सीमित गरे, तर केवल Optovue AngioVue बाट साना 3 × 3 मिमी छविहरू प्रयोग गरेर, यद्यपि विभिन्न chorioretinal रोगहरू भएका बिरामीहरू पनि समावेश थिए।हाम्रो कामले विभिन्न छवि गुणस्तर थ्रेसहोल्डहरू सम्बोधन गर्न र विभिन्न आकारका छविहरूको लागि परिणामहरू प्रमाणीकरण गर्न बहुविध मोडेलहरू सहित तिनीहरूको जगमा निर्माण गर्दछ।हामी मेसिन लर्निङ मोडेलहरूको AUC मेट्रिक पनि रिपोर्ट गर्छौं र कम गुणस्तर (96%) र उच्च गुणस्तर (95.7%) मोडेलहरू6 दुवैको लागि तिनीहरूको पहिले नै प्रभावशाली शुद्धता (90%)6 बढाउँछौं।
यस प्रशिक्षणमा धेरै सीमाहरू छन्।पहिलो, तस्बिरहरू केवल एउटा OCTA मेसिनबाट प्राप्त गरिएका थिए, जसमा 8\(\times\)8 mm र 6\(\times\)6 mm मा सतही केपिलरी प्लेक्ससको मात्र छविहरू समावेश छन्।गहिरो तहहरूबाट छविहरू बहिष्कार गर्नुको कारण यो हो कि प्रक्षेपण कलाकृतिहरूले छविहरूको म्यानुअल मूल्याङ्कनलाई अझ गाह्रो र सम्भवतः कम सुसंगत बनाउन सक्छ।यसबाहेक, छविहरू केवल मधुमेह रोगीहरूमा प्राप्त गरिएको छ, जसको लागि OCTA एक महत्त्वपूर्ण निदान र प्रोग्नोस्टिक उपकरणको रूपमा उदाइरहेको छ33,34।यद्यपि हामीले परिणामहरू बलियो भएको सुनिश्चित गर्न विभिन्न आकारका छविहरूमा हाम्रो मोडेल परीक्षण गर्न सक्षम थियौं, हामीले विभिन्न केन्द्रहरूबाट उपयुक्त डेटासेटहरू पहिचान गर्न सकेनौं, जसले मोडेलको सामान्यीकरणको हाम्रो मूल्याङ्कनलाई सीमित गर्यो।यद्यपि छविहरू केवल एक केन्द्रबाट प्राप्त गरिएको थियो, तिनीहरू विभिन्न जातीय र जातीय पृष्ठभूमिका बिरामीहरूबाट प्राप्त गरिएका थिए, जुन हाम्रो अध्ययनको एक अद्वितीय शक्ति हो।हाम्रो प्रशिक्षण प्रक्रियामा विविधता समावेश गरेर, हामी आशा गर्छौं कि हाम्रा परिणामहरू व्यापक अर्थमा सामान्यीकृत हुनेछन्, र हामीले प्रशिक्षण दिने मोडेलहरूमा जातीय पूर्वाग्रहलाई सङ्केतन गर्नबाट जोगिनेछौं।
हाम्रो अध्ययनले देखाउँछ कि जडान-स्किपिङ न्यूरल नेटवर्कहरू OCTA छवि गुणस्तर निर्धारण गर्न उच्च प्रदर्शन प्राप्त गर्न प्रशिक्षित गर्न सकिन्छ।हामी यी मोडेलहरूलाई थप अनुसन्धानको लागि उपकरणको रूपमा प्रदान गर्दछौं।किनभने विभिन्न मेट्रिक्समा फरक छवि गुणस्तर आवश्यकताहरू हुन सक्छन्, यहाँ स्थापित संरचना प्रयोग गरी प्रत्येक मेट्रिकको लागि एक व्यक्तिगत गुणस्तर नियन्त्रण मोडेल विकास गर्न सकिन्छ।
भविष्यको अनुसन्धानले OCTA प्लेटफर्महरू र इमेजिङ प्रोटोकलहरूमा सामान्यीकरण गर्न सकिने गहिरो शिक्षा छवि गुणस्तर मूल्याङ्कन प्रक्रिया प्राप्त गर्न विभिन्न गहिराइहरू र विभिन्न OCTA मेसिनहरूबाट विभिन्न आकारका छविहरू समावेश गर्नुपर्छ।हालको अनुसन्धान पनि मानव मूल्याङ्कन र छवि मूल्याङ्कन आवश्यक पर्यवेक्षित गहिरो सिकाउने दृष्टिकोणहरूमा आधारित छ, जुन ठूलो डेटासेटहरूको लागि श्रम गहन र समय खपत हुन सक्छ।यो देख्न बाँकी छ कि असुरक्षित गहिरो सिकाइ विधिहरूले कम गुणस्तरका छविहरू र उच्च गुणस्तरका छविहरू बीच पर्याप्त रूपमा फरक गर्न सक्छ।
OCTA प्रविधिको विकास र स्क्यानिङको गति बढ्दै जाँदा, छवि कलाकृतिहरू र खराब गुणस्तरका छविहरूको घटना घट्न सक्छ।हालसालै पेश गरिएको प्रक्षेपण कलाकृति हटाउने सुविधा जस्ता सफ्टवेयरमा भएका सुधारहरूले पनि यी सीमितताहरूलाई कम गर्न सक्छ।यद्यपि, धेरै समस्याहरू कमजोर फिक्सेसन वा महत्त्वपूर्ण मिडिया टर्बिडिटी भएका बिरामीहरूको इमेजिङको रूपमा रहन्छ जुन सधैँ छवि कलाकृतिहरूमा परिणाम दिन्छ।क्लिनिकल परीक्षणहरूमा OCTA अधिक व्यापक रूपमा प्रयोग भएको हुनाले, छवि विश्लेषणको लागि स्वीकार्य छवि कलाकृति स्तरहरूको लागि स्पष्ट दिशानिर्देशहरू स्थापना गर्न सावधानीपूर्वक विचार आवश्यक छ।OCTA छविहरूमा गहिरो सिकाइ विधिहरूको प्रयोगले ठूलो प्रतिज्ञा राख्छ र छवि गुणस्तर नियन्त्रणमा बलियो दृष्टिकोण विकास गर्न यस क्षेत्रमा थप अनुसन्धान आवश्यक छ।
हालको अनुसन्धानमा प्रयोग गरिएको कोड octa-qc रिपोजिटरीमा उपलब्ध छ, https://github.com/rahuldhodapkar/octa-qc।हालको अध्ययनको क्रममा उत्पन्न र/वा विश्लेषण गरिएका डाटासेटहरू उचित अनुरोधमा सम्बन्धित लेखकहरूबाट उपलब्ध छन्।
Spaide, RF, Fujimoto, JG & Waheed, NK छवि कलाकृतिहरू अप्टिकल कोहेरेन्स एन्जियोग्राफीमा।रेटिना ३५, २१६३–२१८० (२०१५)।
फेनर, बीजे एट अल।OCT एन्जियोग्राफीमा रेटिनल केशिका प्लेक्सस घनत्व मापनको गुणस्तर र प्रजनन क्षमता निर्धारण गर्ने इमेजिङ सुविधाहरूको पहिचान।BRJ. Ophthalmol।१०२, ५०९–५१४ (२०१८)।
Lauerman, JL et al।उमेर-सम्बन्धित म्याकुलर डिजेनेसनमा OCT एन्जियोग्राफीको छवि गुणस्तरमा आँखा ट्र्याकिङ प्रविधिको प्रभाव।ग्रेभ आर्क।क्लिनिकल।समाप्त।नेत्र विज्ञान।२५५, १५३५–१५४२ (२०१७)।
Babyuch AS et al।OCTA केशिका पर्फ्यूजन घनत्व मापनहरू म्याकुलर ischemia पत्ता लगाउन र मूल्याङ्कन गर्न प्रयोग गरिन्छ।नेत्र शल्यक्रिया।रेटिना लेजर इमेजिङ ५१, S30–S36 (2020)।
He, K., Zhang, X., Ren, S., र Sun, J. छवि पहिचानको लागि गहिरो अवशिष्ट शिक्षा।2016 मा कम्प्युटर भिजन र ढाँचा पहिचान (2016) मा IEEE सम्मेलन।
Lauerman, JL et al।गहिरो शिक्षा एल्गोरिदम प्रयोग गरेर स्वचालित OCT एंजियोग्राफिक छवि गुणस्तर मूल्याङ्कन।ग्रेभ आर्क।क्लिनिकल।समाप्त।नेत्र विज्ञान।२५७, १६४१–१६४८ (२०१९)।
Lauremann, J. et al।OCT एन्जियोग्राफीमा विभाजन त्रुटि र गति कलाकृतिहरूको व्यापकता रेटिनाको रोगमा निर्भर गर्दछ।ग्रेभ आर्क।क्लिनिकल।समाप्त।नेत्र विज्ञान।२५६, १८०७–१८१६ (२०१८)।
पास्क, एडम एट अल।Pytorch: एक अत्यावश्यक, उच्च प्रदर्शन गहिरो शिक्षा पुस्तकालय।तंत्रिका जानकारी को उन्नत प्रशोधन।प्रणाली।३२, ८०२६–८०३७ (२०१९)।
देङ, जे एट अल।ImageNet: एक ठूलो स्केल श्रेणीबद्ध छवि डाटाबेस।2009 कम्प्यूटर भिजन र ढाँचा पहिचान मा IEEE सम्मेलन।२४८–२५५।(२००९)।
Krizhevsky A., Sutzkever I. र Hinton GE Imagenet वर्गीकरण गहिरो कन्भोलुसनल न्यूरल नेटवर्कहरू प्रयोग गरेर।तंत्रिका जानकारी को उन्नत प्रशोधन।प्रणाली।२५, १ (२०१२)।
पोस्ट समय: मे-30-2023