Holo3 Benchmark — 20260423_195953_qwen36-35b-bf16-schema_replay

patient=00000001 screens=6 time=2026-04-23T20:01:15.331300 • model=Qwen3.6-35B-A3B BF16 + JSON schema
Grounding Hit: 0.06Mean Pixel Dist: 376OCR Recall: 1.00⏱ Avg grounding: 2.18s⏱ Avg OCR: 3.88s⏱ Total: 82s (35 calls)

login (DOM: 2 elements)

login
#TargetGT bboxPredResultDistLatency
#1ログイン[961, 606, 1041, 629](1000,615)HIT2.2px2.36s
#2キャンセル[1049, 606, 1132, 629](1094,615)HIT4.5px2.22s
Show grounding prompts & raw responses (2 items)
#1 ログイン [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「ログイン」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 521, "y": 569}
#2 キャンセル [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「キャンセル」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 570, "y": 569}

patient_list (DOM: 11 elements)

patient_list
#TargetGT bboxPredResultDistLatency
#1検索条件を入力...[130, 100, 410, 123](253,148)MISS40.7px2.18s
#2検索(S)[418, 100, 485, 123](447,148)MISS37.2px2.16s
#3📋 受付一覧[4, 45, 73, 72](54,73)MISS21.9px2.16s
#4🏥 受付管理[83, 45, 153, 72](73,73)MISS47.4px2.16s
#5🛏 入院管理[163, 45, 232, 72](192,73)MISS15.8px2.17s
#6📅 予約管理[242, 45, 312, 72](192,78)MISS87.3px2.18s
Show grounding prompts & raw responses (6 items)
#1 検索条件を入力... [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索条件を入力...」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 132, "y": 137}
#2 検索(S) [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索(S)」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 233, "y": 137}
#3 📋 受付一覧 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📋
受付一覧」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 28, "y": 68}
#4 🏥 受付管理 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🏥
受付管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 38, "y": 68}
#5 🛏 入院管理 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🛏
入院管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 100, "y": 68}
#6 📅 予約管理 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📅
予約管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 100, "y": 72}

karte (DOM: 23 elements)

karte
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](192,81)MISS72.8px2.17s
#2処方[220, 45, 258, 66](518,124)MISS287.4px2.19s
#3検査[260, 45, 298, 66](730,121)MISS455.8px2.18s
#4病名[300, 45, 338, 66](899,121)MISS583.7px2.19s
#5検査結果窓[421, 45, 489, 66](1824,410)MISS1414.3px2.20s
#6処方一覧窓[491, 45, 559, 66](538,124)MISS70.2px2.19s
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 100, "y": 75}
#2 処方 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 270, "y": 115}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 380, "y": 112}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 468, "y": 112}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 950, "y": 380}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 280, "y": 115}

labs (DOM: 26 elements)

labs
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](288,108)MISS172.4px2.18s
#2処方[220, 45, 258, 66](538,189)MISS327.7px2.18s
#3検査[260, 45, 298, 66](791,181)MISS527.3px2.17s
#4病名[300, 45, 338, 66](864,198)MISS563.4px2.20s
#5検査結果窓[421, 45, 489, 66](1824,637)MISS1487.6px2.18s
#6処方一覧窓[491, 45, 559, 66](1507,121)MISS984.2px2.18s
OCR [lab_results]: 6/6 (recall 1.00) • 4.42s
GT
[
  {
    "name": "AST(GOT)",
    "value": "16.8"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2"
  },
  {
    "name": "CRP定量",
    "value": "0.1"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6"
  }
]
Predicted
[
  {
    "name": "AST(GOT)",
    "value": "16.8",
    "unit": "U/L"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3",
    "unit": "U/L"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8",
    "unit": "mg/dL"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2",
    "unit": "/μL"
  },
  {
    "name": "CRP定量",
    "value": "0.1",
    "unit": "mg/dL"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6",
    "unit": "mEq/L"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている検査値をJSON配列で取得。各項目: name, value, unit
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[
  {
    "name": "AST(GOT)",
    "value": "16.8",
    "unit": "U/L"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3",
    "unit": "U/L"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8",
    "unit": "mg/dL"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2",
    "unit": "/μL"
  },
  {
    "name": "CRP定量",
    "value": "0.1",
    "unit": "mg/dL"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6",
    "unit": "mEq/L"
  }
]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 150, "y": 100}
#2 処方 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 280, "y": 175}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 412, "y": 168}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 450, "y": 183}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 950, "y": 590}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 785, "y": 112}

meds (DOM: 30 elements)

meds
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](240,108)MISS127.5px2.19s
#2処方[220, 45, 258, 66](572,360)MISS451.6px2.18s
#3検査[260, 45, 298, 66](384,108)MISS117.6px2.17s
#4病名[300, 45, 338, 66](614,167)MISS315.5px2.16s
#5検査結果窓[421, 45, 489, 66](941,540)MISS686.6px2.17s
#6処方一覧窓[491, 45, 559, 66](941,540)MISS639.0px2.17s
OCR [medications]: 1/1 (recall 1.00) • 4.79s
GT
[
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "1錠 1日1回 朝食前"
  }
]
Predicted
[
  {
    "name": "メトホルミン塩酸塩錠250mg",
    "dosage": "500mg/日"
  },
  {
    "name": "アムロジピンベシル酸塩錠5mg",
    "dosage": "5mg/日"
  },
  {
    "name": "カンデサルタンシレキセチル錠8mg",
    "dosage": "8mg/日"
  },
  {
    "name": "ロスバスタチンカルシウム錠2.5mg",
    "dosage": "2.5mg/日"
  },
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "15mg/日"
  },
  {
    "name": "アスピリン腸溶錠100mg",
    "dosage": "100mg/日"
  },
  {
    "name": "ワルファリンカリウム錠1mg",
    "dosage": "1-5mg/日"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている処方薬一覧をJSON配列で取得。各項目: name, dosage
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[
  {
    "name": "メトホルミン塩酸塩錠250mg",
    "dosage": "500mg/日"
  },
  {
    "name": "アムロジピンベシル酸塩錠5mg",
    "dosage": "5mg/日"
  },
  {
    "name": "カンデサルタンシレキセチル錠8mg",
    "dosage": "8mg/日"
  },
  {
    "name": "ロスバスタチンカルシウム錠2.5mg",
    "dosage": "2.5mg/日"
  },
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "15mg/日"
  },
  {
    "name": "アスピリン腸溶錠100mg",
    "dosage": "100mg/日"
  },
  {
    "name": "ワルファリンカリウム錠1mg",
    "dosage": "1-5mg/日"
  }
]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 125, "y": 100}
#2 処方 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 298, "y": 333}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 200, "y": 100}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 320, "y": 155}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 490, "y": 500}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 490, "y": 500}

diagnoses (DOM: 32 elements)

diagnoses
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](215,90)MISS97.5px2.17s
#2処方[220, 45, 258, 66](528,181)MISS315.3px2.17s
#3検査[260, 45, 298, 66](422,124)MISS158.8px2.17s
#4病名[300, 45, 338, 66](733,407)MISS543.4px2.18s
#5検査結果窓[421, 45, 489, 66](954,559)MISS709.2px2.18s
#6処方一覧窓[491, 45, 559, 66](954,567)MISS668.0px2.19s
OCR [diagnoses]: 2/2 (recall 1.00) • 2.44s
GT
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54"
  }
]
Predicted
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54.5"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている病名一覧をJSON配列で取得。各項目: name, icd10
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name": "うつ病エピソード", "icd10": "F32"}, {"name": "背部痛", "icd10": "M54.5"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 112, "y": 83}
#2 処方 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 275, "y": 168}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 220, "y": 115}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 382, "y": 377}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 497, "y": 518}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 497, "y": 525}