波新聞─陶泰山／台北
台灣人工智慧實驗室（Taiwan AI Labs）今（21）日與慈濟傳播人文志業基金會（簡稱慈濟人文志業）簽署合作意向書，聯手打造全國首個落地於影音媒體、配備特定知識庫的GPT。
此項服務將彙整大愛電視自 1998 年創立以來所積累的逾十萬部影音及內容，透過 AI 技術自動生成影音摘要、場景記錄（場記），進一步主動學習，並輔助媒體工作者產製內容腳本、文稿等新型態內容，為國內媒體資產管理系統的數位轉型立下重要里程碑。
慈濟人文志業此次攜手台灣人工智慧實驗室，是實踐「科技傳法」理念的關鍵一步。20 多年來，慈濟人文志業透過衛星、廣播、網站、平面出版品與社群媒體，將人間真善美的訊息傳遞至全球超過 136 個國家與地區。走入AI 時代，本次合作將聚焦於活化慈濟近六十年來積累的內容資產，透過AI萃取出議題的新面向，讓媒體工作者可更專注創作具有人文溫度的內容，是人類與科技共善的實踐。
慈濟傳播人文志業基金會執行長王端正表示，慈濟的使命，不只是使用生成式AI，而是建立能理解並傳遞慈濟精神的大型語言模型。或許現在看來，這樣的工作還感受不到它的重量，但從長遠來看，它的意義在於為這個時代作見證，為人類寫下歷史，也為慈濟留下深刻的足跡。
慈濟傳播人文志業基金會合心精進長姚仁祿表示，很高興雙方終於踏出合作的步伐，這一步比想像中重要。他指出我們正在迎接一個四個AI的時代，首先，如果沒有「覺醒智能」(Awakening Intelligence)，所謂的淨化人心就無從談起。第二個是「美感智能」(Aesthetic Intelligence)要把美感變成一種能量才能發揮功效；另外「人工智能」(Artificial Intelligence)愈來愈強，在具有「覺醒」與「美感」的心靈使用下，對人類有更強大的助益，前三個智能加在一起就是最後的「利他智能」(Altruistic Intelligence)，則是證嚴上人一直希望能實踐的精神。本次與台灣人工智慧實驗室合作，就是希望融合這4種智能，做出讓人驚艷的成果。
台灣人工智慧實驗室創辦人杜奕瑾提到，雙方將合作導入具備多模態多專家的AI Agent（AI 代理）應用程式，具有影視音「人、事、時、地、物」辨識能力，與符合慈濟人文志業中心場記摘要功能的解決方案，協助從業人員從海量歷史影視音紀錄中，快速彙整所需資訊。
媒體是講求真實的產業，更需要嚴謹、專業、可信任的 AI 解方。一般市面上的主流開源模型，如同具備基礎知識的應屆斜槓大學派遣工讀生，雖能進行一般網路對話，卻缺乏內部專業知識與理解力。要成為熟知內部經驗的專家需將資料上傳雲端，把機敏資料交給外部派遣人員，潛藏外洩風險；而台灣人工智慧實驗室打造可信任、負責任的AI 治理原則下，訓練出的 FedGPT ，更像是各領域最專業的博士生，畢業之後進入企業全職工作，可依企業需求進行再訓練，快速吸收內部知識。採用聯邦式 GPT 技術，不分享資料就能精進技能，對組織忠誠、不會洩漏機密。
在全球 AI 模型百家爭鳴的關鍵時刻，FedGPT 強調符合企業永續需求的內部專家模型，符合ESG不需要使用大量能源，而是憑藉高效訓練與產業專精策略，在專業領域展現亮眼表現。未來 FedGPT 在慈濟人文志業落地，就如同多了一位聰敏的志工，協助產製團隊提升工作效率。
應用於媒體領域時，FedGPT 支援國語、臺語與英語語音辨識，一年處理任務超過 170 萬小時，能精準理解如「惦惦吃三碗公」等深具在地文化語境的臺語用語。相較依賴雲端部署的國際大型語言模型，FedGPT 搭載本土防偏見資料庫與 Guardian 機制，除了可以精準有效抑制偏誤與幻覺生成，更貼近臺灣語言與文化使用情境。
三大合作方向，啟動影視製作智慧轉型
台灣人工智慧實驗室與慈濟傳播人文志業基金會的合作，聚焦於打造三大專屬服務：
1. 建立慈濟人文志業專屬的影片場記 GPT：以台灣人工智慧實驗室開發的影視音多模態、多專家生成式 AI 平台 FedGPT 為基礎，為慈濟人文志業建立場記 GPT，自動理解影片內容，並建立包含「人、事、時、地、物」等關鍵資訊的專屬影音知識庫。
2. 建立慈濟人文志業專屬的輔助GPT：產製團隊在設定影片議題後，FedGPT 可主動整理歷史影音片段，加速內容製作流程，強化即時傳播效能。
3. 打造慈濟主動學習的 AutoML (自動化機器學習)平台：FedGPT 除了進行特定產業知識的預訓練（pre-train），更具備 AutoML 主動學習功能。未來，慈濟人文志業可整合內部影片內容與使用者回饋，持續增強專屬語言模型能力，提升場記分析與產製團隊應用的處理效率。
杜奕瑾表示，過去一年中，台灣人工智慧實驗室與慈濟人文志業密切合作，深入瞭解影視音媒體的使用情境與需求。FedGPT 平台整合大型語言模型（LLM）、視覺語言模型（VLM）、語音識別逐字稿（ASR）、企業專屬知識庫 AutoKB，以及 AutoCopilot 任務執行工具。訓練資料包含近兆級繁體中文與英文符元（token），並使用超過 5,000 小時臺灣本土語音語料及數萬筆人臉、服裝圖資，全面強化語音、照片與影像辨識能力，更貼近在地應用場景。
在影像或照片中，即便是同一人物，也可能出現於正面、側面等不同角度，髮型與服裝亦經常變化，提升了視覺辨識的技術挑戰。FedGPT 為實務場景打造精準物件辨識功能，使用者可自訂標的物，如證嚴上人所穿袈裟、慈濟藍天白雲志工制服，或特定志工面容，一鍵即能調出所有相關畫面與圖像。其臉部辨識技術在 Google 圖片測試中達成 94.81% 的 top-1 準確率，展現於複雜場景中的穩定效能。
例如，當臨時接獲任務，需要製作一支呈現證嚴上人足跡的特輯影片時，只需請 FedGPT 協助，即可迅速找出相關素材。即使畫面中多人均戴口罩、穿著相同服裝，FedGPT 仍能準確辨識上人出場片段，大幅節省看影片逐格、巨量照片中大海撈針的確認時間。
針對場記功能，FedGPT 提供三種顆粒度的紀錄方式：
1. 以數秒鐘為單位進行鏡位主題辨識；
2. 逐段分析不同情境主題，如開場、訪談、產品展示等；
3. 整部影片主題與內容精華濃縮摘要。
透過這項功能，產製單位不再需要耗費大量時間人工撰寫場記或反覆檢查內容品質。對於每日需處理數十則素材的產製單位而言，尤為關鍵——只需將影片與照片交由 FedGPT 處理，即可快速生成涵蓋人物、事件、時間、地點與物件的結構化資料，如「畫面中記者正在進行街訪」、「切換至記者 A 的現場報導」等，大幅加速影片製作節奏。
此外，團隊亦透過大量訓練，強化 FedGPT 對畫面、語音、字幕等脈絡的整合理解能力，讓 AI 的判斷更貼近人類。例如在賑災新聞影片中，若畫面同時出現翻覆車輛與斷垣殘壁，FedGPT 可辨識主題為地震災後重建，而非誤判為單一車禍事件。
杜奕瑾提到，「人工智慧要不斷學習才會成長，我們跟慈濟人文志業學習了很多。未來，更要教導GPT自己主動學習，說出符合慈濟精神的語言。我們在媒體產業不可逆的轉變中，勇敢踏出的這一步，不只是台灣，在全世界都是第一步。慈濟人文志業是我們第一個學習對象。」
目前媒體影音製作流程中，仍有諸多環節仰賴人工完成，尤其場記作業需投入大量人力與時間。FedGPT 導入後，可望逐步解決這些核心挑戰：從影片解析、場記紀錄，到分鏡畫面與聲音內容的詳實標註，皆可由系統自動完成；針對不同團隊或專案所需的格式，FedGPT 亦能自動語意分段並摘要出關鍵內容，進一步減輕產製人員負擔。
此外，面對龐大的影音資料庫，FedGPT 將可理解並分析內容，協助搜尋與編輯流程，提升檢索效率。而在場記格式學習方面，系統亦可透過人員回饋持續優化，逐步取代仰賴人工訓練的流程。未來，慈濟影音產製團隊將可與慈濟專屬 GPT 互動，不僅提升作業效率，在AI輔助下，製作貼近慈濟語言風格的內容，進一步傳遞「不分宗教、共同一心」的慈濟精神。
圖／台灣人工智慧實驗室與慈濟傳播人文志業基金會簽署合作意向書。左起：姚仁祿、王端正、杜奕瑾。
