更新加了MLLM

main.py

@@ -12,15 +12,16 @@ import cv2
 from ultralytics import YOLO
 import shutil # Import shutil for copying files
 import zipfile # Import zipfile for creating zip archives
+import gemini_ai  as genai  # Assuming gemini_ai is a custom module for Gemini API interactions
 
 def multi_model_detection(image_paths_list: list, model_paths_list: list, output_dir: str = 'detection_results', conf_threshold: float = 0.40):
     """
-    使用多個 YOLOv8 模型對多張圖片進行物件辨識，
+    使用多個 YOLO 模型對多張圖片進行物件辨識，
     並將結果繪製在圖片上，同時保存辨識資訊到文字檔案。
 
     Args:
         image_paths_list (list): 包含所有待辨識圖片路徑的列表。
-        model_paths_list (list): 包含所有模型 (.pt 檔案) 路度的列表。
+        model_paths_list (list): 包含所有模型 (.pt 檔案) 路徑的列表。
         output_dir (str): 儲存結果圖片和文字檔案的目錄。
                          如果不存在，函式會自動創建。
         conf_threshold (float): 置信度閾值，只有高於此值的偵測結果會被標示。
@@ -38,7 +39,7 @@ def multi_model_detection(image_paths_list: list, model_paths_list: list, output
     # 載入所有模型
     loaded_models = []
     print("\n--- 載入模型 ---")
-    # If no models are uploaded, use the default yoloe-11s-seg-pf.pt
+    # If no models are uploaded, use the default yolov8n.pt
     if not model_paths_list:
         default_model_path = 'yoloe-11s-seg-pf.pt' #'yolov8n.pt'
         try:
@@ -100,6 +101,7 @@ def multi_model_detection(image_paths_list: list, model_paths_list: list, output
             # 將辨識結果添加到 txt 輸出內容和繪圖列表
             txt_output_content.append(f"\n--- 模型: {model_name} ---")
 
+            # Example usage of Gemini API
             if results.boxes: # 檢查是否有偵測到物件
                 for box in results.boxes:
                     # 取得邊界框座標和置信度
@@ -121,7 +123,10 @@ def multi_model_detection(image_paths_list: list, model_paths_list: list, output
                         txt_output_content.append(f"  - {cls_name} (Conf: {conf:.2f}) [x1:{x1}, y1:{y1}, x2:{x2}, y2:{y2}]")
             else:
                 txt_output_content.append("  沒有偵測到任何物件。")
-
+        
+        MLLM_str = genai.analyze_content_with_gemini(image_path) 
+        txt_output_content.append("-MLLM 分析結果為 : " + MLLM_str)
+        
         # 繪製所有模型在當前圖片上的偵測結果
         # 我們會根據模型來源給予不同的顏色或樣式，讓結果更容易區分
 
@@ -248,8 +253,8 @@ def gradio_multi_model_detection(image_files, model_files, conf_threshold, outpu
 
 # Create the Gradio interface
 with gr.Blocks() as demo:
-    gr.Markdown("# 支援多模型YOLO物件辨識，暫不支援MLLM (demo)")
-    gr.Markdown("上傳您的圖片和模型，並設定置信度閾值進行物件辨識。若未上傳模型，將使用預設的模型進行辨識。")
+    gr.Markdown("# 支援多模型YOLO物件辨識+MLLM(demo)")
+    gr.Markdown("上傳您的圖片和模型，並設定置信度閾值進行物件辨識。若未上傳模型，將使用預設模型進行辨識。")
 
     with gr.Row():
         with gr.Column():