Evaluation of the diagnostic accuracy of Artificial Intelligence detection of pulmonary tuberculosis on Chest Radiograph among outpatients in Maeramard district, Thailand
Article Sidebar
Main Article Content
Abstract
Background: Chest radiograph (CXR) has been an important method for tuberculosis screening. However, there were limitations in CXR interpretation. Using Artificial Intelligence technology (AI) to read CXR for TB detection has been introduced.
Objectives: To evaluate the diagnostic accuracy of AI detection of pulmonary TB using AFB and clinical diagnosis as the reference standard.
Methods: The study was a diagnostic test study of AI from INET company, Thailand. The data was collected retrospectively in an electronic medical record for those who had CXR and AFB tests together with having any TB suggestive symptoms from February - September 2020. The study defined Sensitivity, Specificity, Positive Predictive Value(PPV), Negative Predictive Value (NPV), and Area Under the Curve (AUC) at a cutoff score of 70 out of 100 and defined the cutoff score that would make the sensitivity over 90%
Results: For AFB as the reference standard, AI has sensitivity 89.65%, specificity 74.38%, PPV 16.25%, NPV 99.23% and AUC 0.888 (95% CI 0.827-0.949). For clinical diagnosis as the reference standard, AI has Sensitivity 85.42%, Specificity 76.39%, PPV 25.62%, NPV 98.21% and AUC 0.885 (95% CI 0.842-0.928). For Sensitivity over 90%, the cutoff score should be at 38-54 out of 100.
Conclusion: AI offered good diagnostic accuracy in CXR interpretation for tuberculosis detection in patients with TB suggestive symptoms.
Article Details
เนื้อหาและข้อมูลในบทความที่ลงตีพิมพ์ในวารสาร PCFM ถือเป็นข้อคิดเห็นและความรับผิดชอบของผู้เขียนบทความโดยตรง ซึ่งกองบรรณาธิการวารสารไม่จำเป็นต้องเห็นด้วยหรือร่วมรับผิดชอบใด ๆ
บทความ ข้อมูล เนื้อหา รูปภาพ ฯลฯ ที่ได้รับการตีพิมพ์ลงในวารสาร PCFM ถือเป็นลิขสิทธิ์ของวารสาร PCFM หากบุคคลหรือหน่วยงานใดต้องการนำทั้งหมดหรือส่วนหนึ่งส่วนใดไปเผยแพร่ต่อหรือเพื่อกระทำการใด ๆ จะต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากวารสาร PCFM ก่อนเท่านั้น
References
2. สำนักวัณโรค กรมควบคุมโรค. แนวทางการควบคุมวัณโรคประเทศไทย พ.ศ.2561. กรุงเทพฯ: อักษรกราฟฟิกแอนด์ดีไซน์; 2561.
3. Qin ZZ, Sander MS, Rai B, Titahong CN, Sudrungrot S, Laah SN, et al. Using artificial intelligence to read chest radiographs for tuberculosis detection: A multi-site evaluation of the diagnostic accuracy of three deep learning systems. Sci Rep [Internet]. 2019;9(1):1–10. Available from: http://dx.doi.org/10.1038/s41598-019-51503-3
4. Murphy K, Habib SS, Zaidi SMA, Khowaja S, Khan A, Melendez J, et al. Computer aided detection of tuberculosis on chest radiographs: An evaluation of the CAD4TB v6 system. Sci Rep [Internet]. 2020;10(1):1–11. Available from: http://dx.doi.org/10.1038/s41598-020-62148-y
5. Pande T, Cohen C, Pai M, Ahmad Khan F. Computer-aided detection of pulmonary tuberculosis on digital chest radiographs: A systematic review. Int J Tuberc Lung Dis. 2016;20(9):1226–30.
6. Breuninger M, Van Ginneken B, Philipsen RHHM, Mhimbira F, Hella JJ, Lwilla F, et al. Diagnostic accuracy of computer-aided detection of pulmonary tuberculosis in chest radiographs: A validation study from sub-Saharan Africa. PLoS One. 2014;9(9).
7. Zaidi SMA, Habib SS, Van Ginneken B, Ferrand RA, Creswell J, Khowaja S, et al. Evaluation of the diagnostic accuracy of Computer-Aided Detection of tuberculosis on Chest radiography among private sector patients in Pakistan. Sci Rep [Internet]. 2018;8(1):1–9. Available from: http://dx.doi.org/10.1038/s41598-018-30810-1
8. Habib SS, Rafiq S, Zaidi SMA, Ferrand RA, Creswell J, Van Ginneken B, et al. Evaluation of computer aided detection of tuberculosis on chest radiography among people with diabetes in Karachi Pakistan. Sci Rep. 2020;10(1):1–5.
9. Muyoyeta M, Maduskar P, Moyo M, Kasese N, Milimo D, Spooner R, et al. The sensitivity and specificity of using a computer aided diagnosis program for automatically scoring chest X-rays of presumptive TB patients compared with Xpert MTB/RIF in Lusaka Zambia. PLoS One. 2014;9(4):16–8.
10. Chanchaichujit J., Tan A., Meng F., Eaimkhong S.. Application of artificial intelligence in healthcare. In: Healthcare 4.0. Singapore: Palgrave Pivot; 2019. p. 63–93
11. Park SH, Han K. Methodologic guide for evaluating clinical performance and effect of artificial intelligence technology for medical diagnosis and prediction. Radiology. 2018;286(3):800–9.
12. Osatavanichvong K, de Goes Nakano E, Dessí G, Saksirinukul T. Evaluation Artificial Intelligent (Ai) Assists Radiologist in Radiographic Chest Interpretation. Bangkok Med J. 2018;14(2):59–65.
13. สำนักวัณโรค กรมควบคุมโรค. การคัดกรองเพื่อค้นหาวัณโรคและวัณโรคดื้อยา (Systematic screening for active TB and drug-resistant TB). พิมพ์ครั้งที่ 2. กรุงเทพฯ: อักษรกราฟฟิกแอนด์ดีไซน์; 2561.
14. Lakhani P, Sundaram B. THORACIC IMAGING: Deep Learning at Chest Radiography Lakhani and Sundaram. Radiol n Radiol Radiol [Internet]. 2017;284(2—August). Available from: http://pubs.rsna.org.ezp-prod1.hul.harvard.edu/doi/pdf/10.1148/radiol.2017162326
15. Mandrekar JN. Receiver operating characteristic curve in diagnostic test assessment. J Thorac Oncol [Internet]. 2010;5(9):1315–6. Available from: http://dx.doi.org/10.1097/JTO.0b013e3181ec173d
16. Khan FA, Majidulla A, Tavaziva G, Nazish A, Abidi SK, Benedetti A, et al. Articles Chest x-ray analysis with deep learning-based software as a triage test for pulmonary tuberculosis: a prospective study of diagnostic accuracy for culture-confirmed disease. Lancet Digit Heal [Internet]. 2(11):e573–81. Available from: http://dx.doi.org/10.1016/S2589-7500(20)30221-1
17. ศศิธร ศรีโพธิ์ทอง, วิโรจน์ วรรณภิระ, วาสนา เกตุมะ. การคัดกรองวัณโรคปอดในกลุ่มเสี่ยงและประสิทธิภาพของแบบคัดกรองอาการสงสัยวัณโรคปอด. พุทธชินราชเวชสาร 2018;35(3):394–400.
18. ศิริพร อุปจักร์, วิลาวัณย์ พิเชียรเสถียร, จิตตาภรณ์ จิตรีเชื้อ. ประสิทธิภาพของแบบคัดกรองวัณโรคปอดในโรงพยาบาล. พยาบาลสาร 2016;43(January):107–17.
19. Nash M, Kadavigere R, Andrade J, Sukumar CA, Chawla K, Shenoy VP, et al. Deep learning , computer- aided radiography reading for tuberculosis: a diagnostic accuracy study from a tertiary hospital in India. Sci Rep [Internet]. 2020;1–10. Available from: http://dx.doi.org/10.1038/s41598-019-56589-3