Upload 8 files

app.py

@@ -1,85 +1,71 @@
 # app.py
 import os
-from typing import Tuple, List
-
+from typing import Dict
 import gradio as gr
-import spaces  # <- habilita ZeroGPU decorators
+import spaces
 import torch
 from PIL import Image
 from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration
 
 MODEL_ID = os.environ.get("MODEL_ID", "BSC-LT/salamandra-7b-vision")
-DTYPE = torch.float16  # half precision para H200/A100
-DEVICE = "cuda"        # ZeroGPU asigna gpu por llamada en @spaces.GPU
+DTYPE = torch.float16
+DEVICE = "cuda"
 
-# Carga perezosa: sólo la primera vez que se invoca en GPU
 _model = None
 _processor = None
 
 def _lazy_load():
     global _model, _processor
     if _model is None or _processor is None:
-        _processor = AutoProcessor.from_pretrained(MODEL_ID)
+        _processor = AutoProcessor.from_pretrained(MODEL_ID, trust_remote_code=True)
         _model = LlavaOnevisionForConditionalGeneration.from_pretrained(
             MODEL_ID,
             torch_dtype=DTYPE,
             low_cpu_mem_usage=True,
             trust_remote_code=True,
-            device_map=None,  # movemos explícitamente a cuda con @spaces.GPU
             use_safetensors=True,
+            device_map=None,
         )
     return _model, _processor
 
-@spaces.GPU  # <- asegura que la función se ejecute con GPU asignada
-def describe(image: Image.Image, prompt_text: str, max_new_tokens: int, temperature: float) -> str:
-    """
-    Devuelve una descripción a partir de imagen + prompt en texto.
-    """
-    model, processor = _lazy_load()
-
-    # Formateo estilo chat template recomendado por el model card
-    conversation = [
-        {
-            "role": "user",
-            "content": [
-                {"type": "image"},
-                {"type": "text", "text": prompt_text or "Descriu la imatge amb el màxim detall possible."},
-            ],
-        }
-    ]
-    prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
+def _compose_prompt(user_text: str):
+    convo = [{"role": "user", "content": [{"type": "image"},
+                                          {"type": "text", "text": user_text or "Describe la imagen con detalle."}]}]
+    return convo
 
-    # A GPU justo antes de inferir (ZeroGPU)
+@spaces.GPU
+def infer_core(image: Image.Image, text: str, max_new_tokens: int = 256, temperature: float = 0.7) -> str:
+    model, processor = _lazy_load()
+    prompt = processor.apply_chat_template(_compose_prompt(text), add_generation_prompt=True)
     model = model.to(DEVICE)
     inputs = processor(images=image, text=prompt, return_tensors="pt").to(DEVICE, DTYPE)
-
     with torch.inference_mode():
-        output = model.generate(
-            **inputs,
-            max_new_tokens=int(max_new_tokens),
-            temperature=float(temperature),
-        )
-
-    text = processor.decode(output[0], skip_special_tokens=True)
-    return text.strip()
-
-with gr.Blocks(title="Salamandra Vision 7B (ZeroGPU)") as demo:
-    gr.Markdown("# Salamandra-Vision 7B · ZeroGPU\nEnvía una imagen y un texto/prompta, recibe una descripción.")
+        out = model.generate(**inputs, max_new_tokens=int(max_new_tokens), temperature=float(temperature))
+    return processor.decode(out[0], skip_special_tokens=True).strip()
 
+# ---------- UI ----------
+with gr.Blocks(title="Salamandra Vision 7B · ZeroGPU") as demo:
+    gr.Markdown("## Salamandra-Vision 7B · ZeroGPU\nImagen + texto → descripción.")
     with gr.Row():
         with gr.Column():
             in_img = gr.Image(label="Imagen", type="pil")
-            in_txt = gr.Textbox(
-                label="Texto/prompta",
-                value="Describe la imagen con el mayor detalle posible (en catalán o español)."
-            )
+            in_txt = gr.Textbox(label="Texto/prompt", value="Describe la imagen con detalle (ES/CA).")
             max_new = gr.Slider(16, 1024, value=256, step=16, label="max_new_tokens")
             temp = gr.Slider(0.0, 1.5, value=0.7, step=0.05, label="temperature")
             btn = gr.Button("Generar", variant="primary")
         with gr.Column():
             out = gr.Textbox(label="Descripción", lines=18)
+    btn.click(infer_core, [in_img, in_txt, max_new, temp], out, api_name="describe")
 
-    btn.click(describe, inputs=[in_img, in_txt, max_new, temp], outputs=out, api_name="describe")
+# ---------- API pura (sin UI) ----------
+# Exponemos un endpoint REST nítido (multipart/form-data o JSON base64) sin depender de componentes UI.
+# /api/describe_raw -> recibe {image,file} y campos simples.
+@gr.api()
+@spaces.GPU
+def describe_raw(image: gr.File, text: str = "Describe la imagen con detalle.", 
+                 max_new_tokens: int = 256, temperature: float = 0.7) -> Dict[str, str]:
+    img = Image.open(image)
+    result = infer_core(img, text, max_new_tokens, temperature)
+    return {"text": result}
 
-# Cola de Gradio: útil para ZeroGPU y picos de demanda
 demo.queue(concurrency_count=1, max_size=16).launch()

requirements.txt

@@ -1,3 +1,4 @@
+# app (ZeroGPU Gradio)
 gradio>=4.44.0
 spaces>=0.25.0
 transformers>=4.44.0
@@ -5,3 +6,7 @@ torch>=2.2
 accelerate>=0.30.0
 safetensors>=0.4.2
 pillow>=10.3
+
+# clients
+#requests>=2.31.0
+#streamlit>=1.36.0