Holo3 Benchmark — 20260423_100914_qwen36-27b-v3_replay

patient=00000001 screens=6 time=2026-04-23T10:12:15.463939 • model=Qwen3.6-27B-GGUF:Q8_0 (dense)
Grounding Hit: 0.62Mean Pixel Dist: 111OCR Recall: 1.00⏱ Avg grounding: 5.02s⏱ Avg OCR: 5.88s⏱ Total: 178s (35 calls)

login (DOM: 2 elements)

login
#TargetGT bboxPredResultDistLatency
#1ログイン[961, 606, 1041, 629](1000,616)HIT1.4px6.34s
#2キャンセル[1049, 606, 1132, 629](1089,615)HIT2.2px3.31s
Show grounding prompts & raw responses (2 items)
#1 ログイン [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「ログイン」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 521, "y": 570}
#2 キャンセル [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「キャンセル」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 567, "y": 569}

patient_list (DOM: 11 elements)

patient_list
#TargetGT bboxPredResultDistLatency
#1検索条件を入力...[130, 100, 410, 123](273,112)HIT3.2px6.52s
#2検索(S)[418, 100, 485, 123](451,112)HIT1.0px6.72s
#3📋 受付一覧[4, 45, 73, 72](42,62)HIT5.7px3.27s
#4🏥 受付管理[83, 45, 153, 72](117,62)HIT4.1px3.25s
#5🛏 入院管理[163, 45, 232, 72](198,62)HIT4.1px4.63s
#6📅 予約管理[242, 45, 312, 72](276,62)HIT4.1px3.30s
Show grounding prompts & raw responses (6 items)
#1 検索条件を入力... [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索条件を入力...」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 142, "y": 104}
#2 検索(S) [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検索(S)」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 104}
#3 📋 受付一覧 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📋
受付一覧」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 22, "y": 57}
#4 🏥 受付管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🏥
受付管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 61, "y": 57}
#5 🛏 入院管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「🛏
入院管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 103, "y": 57}
#6 📅 予約管理 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「📅
予約管理」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 144, "y": 57}

karte (DOM: 23 elements)

karte
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](154,57)HIT30.1px3.25s
#2処方[220, 45, 258, 66](244,57)HIT5.4px3.30s
#3検査[260, 45, 298, 66](278,57)HIT2.2px3.31s
#4病名[300, 45, 338, 66](609,121)MISS297.4px3.32s
#5検査結果窓[421, 45, 489, 66](1841,391)MISS1426.1px3.33s
#6処方一覧窓[491, 45, 559, 66](513,57)HIT12.2px6.11s
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 80, "y": 53}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 127, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 145, "y": 53}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 317, "y": 112}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 959, "y": 362}
#6 処方一覧窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 267, "y": 53}

labs (DOM: 26 elements)

labs
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66](123,57)HIT2.2px3.28s
#2処方[220, 45, 258, 66](240,57)HIT2.2px3.30s
#3検査[260, 45, 298, 66](280,57)HIT2.2px7.00s
#4病名[300, 45, 338, 66](317,57)HIT2.8px3.30s
#5検査結果窓[421, 45, 489, 66](451,51)HIT5.7px4.30s
#6処方一覧窓[491, 45, 559, 66]N/AMISSN/A8.15s
OCR [lab_results]: 6/6 (recall 1.00) • 6.05s
GT
[
  {
    "name": "AST(GOT)",
    "value": "16.8"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2"
  },
  {
    "name": "CRP定量",
    "value": "0.1"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6"
  }
]
Predicted
[
  {
    "name": "AST(GOT)",
    "value": "16.8",
    "unit": "U/L"
  },
  {
    "name": "ALT(GPT)",
    "value": "19.3",
    "unit": "U/L"
  },
  {
    "name": "クレアチニン(Cr)",
    "value": "0.8",
    "unit": "mg/dL"
  },
  {
    "name": "白血球数(WBC)",
    "value": "5270.2",
    "unit": "/μL"
  },
  {
    "name": "CRP定量",
    "value": "0.1",
    "unit": "mg/dL"
  },
  {
    "name": "Na(ナトリウム)",
    "value": "139.6",
    "unit": "mEq/L"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている検査値をJSON配列で取得。各項目: name, value, unit
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"AST(GOT)","value":"16.8","unit":"U/L"},{"name":"ALT(GPT)","value":"19.3","unit":"U/L"},{"name":"クレアチニン(Cr)","value":"0.8","unit":"mg/dL"},{"name":"白血球数(WBC)","value":"5270.2","unit":"/μL"},{"name":"CRP定量","value":"0.1","unit":"mg/dL"},{"name":"Na(ナトリウム)","value":"139.6","unit":"mEq/L"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 64, "y": 53}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 125, "y": 53}
#3 検査 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 146, "y": 53}
#4 病名 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 165, "y": 53}
#5 検査結果窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 47}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
```json
{"x": [269, 52], "y": [52, 62]}
```

meds (DOM: 30 elements)

meds
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66]N/AMISSN/A6.78s
#2処方[220, 45, 258, 66](238,57)HIT2.2px3.30s
#3検査[260, 45, 298, 66]N/AMISSN/A5.54s
#4病名[300, 45, 338, 66]N/AMISSN/A4.42s
#5検査結果窓[421, 45, 489, 66]N/AMISSN/A7.65s
#6処方一覧窓[491, 45, 559, 66]N/AMISSN/A4.42s
OCR [medications]: 1/1 (recall 1.00) • 7.77s
GT
[
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "1錠 1日1回 朝食前"
  }
]
Predicted
[
  {
    "name": "メトホルミン塩酸塩錠250mg",
    "dosage": "500mg/日"
  },
  {
    "name": "アムロジピンベシレート塩錠5mg",
    "dosage": "5mg/日"
  },
  {
    "name": "カンデサルタンシレキセチル錠8mg",
    "dosage": "8mg/日"
  },
  {
    "name": "ロスバスタチンカルシウム錠2.5mg",
    "dosage": "2.5mg/日"
  },
  {
    "name": "ランソプラゾールOD錠15mg",
    "dosage": "15mg/日"
  },
  {
    "name": "アスピリン腸溶錠100mg",
    "dosage": "100mg/日"
  },
  {
    "name": "ワルファリンカリウム錠1mg",
    "dosage": "1-5mg/日"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている処方薬一覧をJSON配列で取得。各項目: name, dosage
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"メトホルミン塩酸塩錠250mg","dosage":"500mg/日"},{"name":"アムロジピンベシレート塩錠5mg","dosage":"5mg/日"},{"name":"カンデサルタンシレキセチル錠8mg","dosage":"8mg/日"},{"name":"ロスバスタチンカルシウム錠2.5mg","dosage":"2.5mg/日"},{"name":"ランソプラゾールOD錠15mg","dosage":"15mg/日"},{"name":"アスピリン腸溶錠100mg","dosage":"100mg/日"},{"name":"ワルファリンカリウム錠1mg","dosage":"1-5mg/日"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": [65, 52], "y": [34, 58]}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 124, "y": 53}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
```json
{"x": [143, 52], "y": [52, 52]}
```
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": [316, 111], "y": [111, 111]}
#5 検査結果窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": [150, 280, 937, 412], "y": [280, 412, 937, 280]}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
```json
{"x": [969, 381], "y": [381]}
```

diagnoses (DOM: 32 elements)

diagnoses
#TargetGT bboxPredResultDistLatency
#1カルテ記載[90, 45, 158, 66]N/AMISSN/A8.97s
#2処方[220, 45, 258, 66](238,57)HIT2.2px3.30s
#3検査[260, 45, 298, 66]N/AMISSN/A8.33s
#4病名[300, 45, 338, 66](916,480)MISS732.8px7.84s
#5検査結果窓[421, 45, 489, 66](451,56)HIT4.1px3.31s
#6処方一覧窓[491, 45, 559, 66]N/AMISSN/A7.42s
OCR [diagnoses]: 2/2 (recall 1.00) • 3.80s
GT
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54"
  }
]
Predicted
[
  {
    "name": "うつ病エピソード",
    "icd10": "F32"
  },
  {
    "name": "背部痛",
    "icd10": "M54.5"
  }
]
prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面に表示されている病名一覧をJSON配列で取得。各項目: name, icd10
回答はJSON配列のみ: [{...}, {...}]
markdown fence(```)は一切不要、JSONだけ返してください。
Raw response
[{"name":"うつ病エピソード","icd10":"F32"},{"name":"背部痛","icd10":"M54.5"}]
Show grounding prompts & raw responses (6 items)
#1 カルテ記載 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「カルテ記載」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": [63, 52], "y": [52, 63]}
#2 処方 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 124, "y": 53}
#3 検査 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": [145, 52], "y": [52, 52]}
#4 病名 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「病名」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 477, "y": 444}
#5 検査結果窓 [HIT] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「検査結果窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
{"x": 235, "y": 52}
#6 処方一覧窓 [MISS] — prompt & raw response
Prompt
画像サイズは 1920 × 1080 ピクセルです。
画面のスクリーンショットを見てください。
「処方一覧窓」の中心座標を返してください。
座標は 0〜1000 の正規化値でも、絶対ピクセル値でも構いません。
回答はこのJSON形式のみ: {"x": 整数, "y": 整数}
Raw response
```json
{"x": [969, 383], "y": [383]}
```