國防部軍醫局宣布在智慧醫療與精準醫學研究邁入全新里程碑，同時揭示將中英文醫療專業語音及醫療專業影像自動生成文字報告的願景，此外，未來也將透過醫療大數據的分析，協助醫師執行醫療的決策，提升醫療品質與效率。其研究成果後續將由國防醫學院三軍總醫院(以下簡稱三軍總醫院)醫療資訊技術團隊推展到全國軍醫院的護理紀錄、醫師門診、巡房及手術紀錄等，加速推動智慧醫療與精準醫學的發展，提升醫療決策與病患的照護品質。

三軍總醫院全方位提升國軍醫院醫療品質，以微軟AI技術賦能醫療創新

COVID 19疫情不僅對於產業帶來衝擊，也加重第一線醫療及護理人員的工作量及心理壓力。為了降低醫護人員行政作業的負荷，軍醫局率領三軍總醫院與微軟台灣研發中心於2023年7月啟動「醫療大數據訓練分析平台專案」，以專案階段方式提升國軍醫療資訊研發能量。此專案採用了微軟的語音辨識、自然語言處理、電腦視覺等人工智慧技術，並在三軍總醫院與微軟的合作下，提升了文字報告的正確辨識率，自動生成中英文護理紀錄及英文專業影像報告，大幅節省護理人員撰寫報告時間及提升放射科醫師完成影像報告的時間。

利用微軟的語音辨識和自然語言處理技術，能協助將護理人員在照護病人後所需記錄的報告內容，以語音的方式轉換成結構化的文字報告，並儲存到資料庫中，進而節省護理人員在每次手動輸入紀錄的時間和精力，而更專注於病人的需求。未來這個功能也會擴展到醫師的門診、查房和手術等場景，讓醫師可以更有效率地管理病歷和治療方案。再來是使用微軟的電腦視覺和深度學習技術，將各種醫療影像資料，進行分析和評估，並生成相關的文字報告。這些報告不僅包含影像的描述和解釋，還包含過去的醫療病歷和數據的比對，以及對於影像中存在的病理徵兆和病程發展的預測和建議，不僅可以幫助放射科醫師減少撰寫報告的負擔，也可以幫助主治醫師快速地做出診斷和治療決策，提高醫療品質和效率。

結合國軍醫院資源與微軟技術 實現更進階的醫療服務

「此專案是軍醫與微軟的跨領域合作，結合了軍醫的醫療資源與微軟的AI科技與研發資源，展現了國軍醫院在推動智慧醫療與精準醫學方面的決心與能力。」三軍總醫院院長洪乙仁少將表示：「透過AI科技應用與微軟先進技術資源，可以讓醫生及護理人員減少撰寫報告的負擔，更專注在醫療照護行為上，同時也可以提供更精準的影像分析及醫療診斷建議，幫助醫師做出更好的治療決策，進而提升國軍及民眾的健康福祉。」

微軟台灣研發中心總經理張仁炯指出，微軟的使命是運用科技賦能地球上每一個人以及每一個組織都能實現更多、成就非凡，加速醫療數位轉型一直是微軟努力的目標，此次與三軍總醫院的研究合作，是提升醫師與護理人員行政效率非常重要的計畫，現在透過人工產出的紀錄與報告等繁瑣作業，透過AI結合微軟的大型語言模型及微軟台灣研發中心的技術支援，將能夠藉由AI自動生成，賦能醫師及護理人員提升療療診斷與照護品質。微軟台灣研發中心將持續與三軍總醫院合作，讓此成果能夠嘉惠更多的醫院。

結合醫療大數據及微軟Azure OpenAI提升三軍總醫院專業中英醫療影音辨識正確

三軍總醫院是國內最大的醫學教學醫院之一，每年接受超過200萬人次的門診及住院服務，醫護人員的工作量非常大。三軍總醫院研究副院長葉?斌上校指出：「透過此研究專案，三軍總醫院未來可減少了護理人員撰寫紀錄的時間，減少放射科醫師完成影像報告的時間，並提供更精準的診斷建議，讓醫護人員可以更專注在照護病人，讓主治醫師能夠更有效地制定治療方案，不僅提升了三軍總醫院的醫療品質，也提高了病人的滿意度。」

三軍總醫院AIoT中心執行長方文輝表示此專案的技術難度非常高，因為中英文及醫療專業語音辨識的準確度要求很高，而且要考慮到不同的口音、語速、背景雜音等因素。藉微軟利用在大型語言模型、生成式AI、Azure OpenAI等方面的優勢，以及與三軍總醫院的密切合作，才能克服這些挑戰，期盼創造出令人驚豔的成果。

台灣微軟公共業務事業群總經理陳守正則表示，微軟一直致力於推動數位轉型與創新，在醫療領域也有多項合作案例。此專案展現了台灣微軟在智慧醫療領域的持續耕耘，以及與政府單位、學術機構、產業夥伴等不同領域合作的能力，台灣微軟期待未來能夠持續在智慧醫療與精確醫學方面創造更多的價值與影響力。

此次與微軟合作的專案中，三軍總醫院提供了專業的醫療場域與實務需求加上微軟電腦科技與AI技術跟能力，未來將持續進行測試及驗證效能。三總醫療資訊團隊將其技術發展開發後擴展到醫師查房、門診及手術的紀錄報告，醫療影像辨識生成報告及病兆預測診斷的研究成果也將分享給其餘的13家軍醫院，期望藉由科技賦能醫療產業，進一步提升醫療品質與效率，加速智慧醫療與精準醫學發展。