Holo3 Benchmark — 20260423_195519_qwen36-27b-q8-schema_replay

patient=00000001 screens=6 time=2026-04-23T19:57:23.288624 • model=Qwen3.6-27B Q8_0 + JSON schema
Grounding Hit: 0.84Mean Pixel Dist: 148OCR Recall: 1.00⏱ Avg grounding: 3.32s⏱ Avg OCR: 5.72s⏱ Total: 123s (35 calls)

login (DOM: 2 elements)

login
#TargetGT bboxPredResultDistLatency
#1ログイン[961, 606, 1041, 629](1000,616)HIT1.4px3.15s
#2キャンセル[1049, 606, 1132, 629](1089,615)HIT2.2px3.31s
Show grounding prompts & raw responses (2 items)
#1 ログイン [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「ログイン」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 521, "y": 570}
#2 キャンセル [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「キャンセル」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 567, "y": 569}

patient_list (DOM: 11 elements)

patient_list
#TargetGT bboxPredResultDistLatency
#1検索条件を入力...[130, 100, 410, 123](273,112)HIT3.2px3.29s
#2検索(S)[418, 100, 485, 123](451,112)HIT1.0px3.29s
#3📋 受付一覧[4, 45, 73, 72](42,62)HIT5.7px3.25s
#4🏥 受付管理[83, 45, 153, 72](117,62)HIT4.1px3.25s
#5🛏 入院管理[163, 45, 232, 72](198,62)HIT4.1px3.29s
#6📅 予約管理[242, 45, 312, 72](276,62)HIT4.1px3.27s
Show grounding prompts & raw responses (6 items)
#1 検索条件を入力... [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索条件を入力...」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 142, "y": 104}
#2 検索(S) [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索(S)」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 104}
#3 📋 受付一覧 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📋
受付一覧」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 22, "y": 57}
#4 🏥 受付管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🏥
受付管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 61, "y": 57}
#5 🛏 入院管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🛏
入院管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 103, "y": 57}
#6 📅 予約管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📅
予約管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 144, "y": 57}

karte (DOM: 23 elements)

karte
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](154,57)HIT30.1px3.28s
#2処方[220, 45, 258, 66](244,57)HIT5.4px3.29s
#3検査[260, 45, 298, 66](278,57)HIT2.2px3.28s
#4病名[300, 45, 338, 66](609,121)MISS297.4px3.32s
#5検査結果窓[421, 45, 489, 66](1841,391)MISS1426.1px3.32s
#6処方一覧窓[491, 45, 559, 66](513,57)HIT12.2px3.30s
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 80, "y": 53}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 127, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 145, "y": 53}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 317, "y": 112}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 959, "y": 362}
#6 処方一覧窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 267, "y": 53}

labs (DOM: 26 elements)

labs
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](123,57)HIT2.2px3.27s
#2処方[220, 45, 258, 66](240,57)HIT2.2px3.29s
#3検査[260, 45, 298, 66](280,57)HIT2.2px3.28s
#4病名[300, 45, 338, 66](317,57)HIT2.8px3.30s
#5検査結果窓[421, 45, 489, 66](451,51)HIT5.7px3.30s
#6処方一覧窓[491, 45, 559, 66](516,57)HIT9.2px3.48s
OCR [lab_results]: 6/6 (recall 1.00) • 6.09s
GT
[
  {
    "name": "AST(GOT)",
    "value": "16.8"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2"
  },
  {
    "name": "CRP定量",
    "value": "0.1"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6"
  }
]
Predicted
[
  {
    "name": "AST(GOT)",
    "value": "16.8",
    "unit": "U/L"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3",
    "unit": "U/L"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8",
    "unit": "mg/dL"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2",
    "unit": "/μL"
  },
  {
    "name": "CRP定量",
    "value": "0.1",
    "unit": "mg/dL"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6",
    "unit": "mEq/L"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている検査値をJSON配列で取得。各項目: name, value, unit
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"AST(GOT)","value":"16.8","unit":"U/L"},{"name":"ALT(GPT)","value":"19.3","unit":"U/L"},{"name":"クレアチニン(Cr)","value":"0.8","unit":"mg/dL"},{"name":"白血球数(WBC)","value":"5270.2","unit":"/μL"},{"name":"CRP定量","value":"0.1","unit":"mg/dL"},{"name":"Na(ナトリウム)","value":"139.6","unit":"mEq/L"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 64, "y": 53}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 125, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 146, "y": 53}
#4 病名 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 165, "y": 53}
#5 検査結果窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 47}
#6 処方一覧窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 269, "y": 53}

meds (DOM: 30 elements)

meds
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](125,56)HIT1.4px3.35s
#2処方[220, 45, 258, 66](238,57)HIT2.2px3.32s
#3検査[260, 45, 298, 66](276,57)HIT3.6px3.47s
#4病名[300, 45, 338, 66](315,56)HIT4.1px3.34s
#5検査結果窓[421, 45, 489, 66](1041,538)MISS759.4px3.35s
#6処方一覧窓[491, 45, 559, 66](1860,411)MISS1381.7px3.51s
OCR [medications]: 1/1 (recall 1.00) • 7.28s
GT
[
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "1錠 1日1回 朝食前"
  }
]
Predicted
[
  {
    "name": "メトホルミン塩酸塩錠250mg",
    "dosage": "500mg/日"
  },
  {
    "name": "アムロジピンベシレート塩錠5mg",
    "dosage": "5mg/日"
  },
  {
    "name": "カンデサルタンシレキセチル錠8mg",
    "dosage": "8mg/日"
  },
  {
    "name": "ロスバスタチンカルシウム錠2.5mg",
    "dosage": "2.5mg/日"
  },
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "15mg/日"
  },
  {
    "name": "アスピリン腸溶錠100mg",
    "dosage": "100mg/日"
  },
  {
    "name": "ワルファリンカリウム錠1mg",
    "dosage": "1-5mg/日"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている処方薬一覧をJSON配列で取得。各項目: name, dosage
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"メトホルミン塩酸塩錠250mg","dosage":"500mg/日"},{"name":"アムロジピンベシレート塩錠5mg","dosage":"5mg/日"},{"name":"カンデサルタンシレキセチル錠8mg","dosage":"8mg/日"},{"name":"ロスバスタチンカルシウム錠2.5mg","dosage":"2.5mg/日"},{"name":"ランソプラゾールOD錠15mg","dosage":"15mg/日"},{"name":"アスピリン腸溶錠100mg","dosage":"100mg/日"},{"name":"ワルファリンカリウム錠1mg","dosage":"1-5mg/日"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 65, "y": 52}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 124, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 144, "y": 53}
#4 病名 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 164, "y": 52}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 542, "y": 498}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 969, "y": 381}

diagnoses (DOM: 32 elements)

diagnoses
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](123,56)HIT1.4px3.31s
#2処方[220, 45, 258, 66](238,57)HIT2.2px3.30s
#3検査[260, 45, 298, 66](278,57)HIT2.2px3.33s
#4病名[300, 45, 338, 66](916,480)MISS732.8px3.32s
#5検査結果窓[421, 45, 489, 66](451,56)HIT4.1px3.29s
#6処方一覧窓[491, 45, 559, 66](516,56)HIT9.1px3.44s
OCR [diagnoses]: 2/2 (recall 1.00) • 3.80s
GT
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54"
  }
]
Predicted
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54.5"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている病名一覧をJSON配列で取得。各項目: name, icd10
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"うつ病エピソード","icd10":"F32"},{"name":"背部痛","icd10":"M54.5"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 64, "y": 52}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 124, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 145, "y": 53}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 477, "y": 444}
#5 検査結果窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 52}
#6 処方一覧窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 269, "y": 52}