Detection Benchmark — 20260423_202744_qwen36-27b-bf16-v2_detect

screens=6 • GT=118 • Pred=238 • model=Qwen3.6-27B BF16 + schema v2 (maxItems=50)
Precision: 0.40Recall: 0.81F1: 0.53TP 95 / FP 143 / FN 23⏱ 68.65s/screen, total 411.9s
GT (matched) / GT (unmatched = FN) / pred (matched = TP) / pred (unmatched = FP)

login — TP=4 FP=1 FN=0 • P=0.80 R=1.00 F1=0.89 • ⏱ 11.2s

login
Ground truth (4)
#roletextbboxstatus
0input[897, 519, 1128, 542]TP
1input[897, 550, 1128, 573]TP
2buttonログイン[961, 606, 1041, 629]TP
3buttonキャンセル[1049, 606, 1132, 629]TP
Prediction (5)
#rolelabelxystatus
0button×(1131,420)FP
1inputユーザーID(&U) 入力欄(1010,528)TP
2inputパスワード(&P) 入力欄(1010,559)TP
3buttonログイン(998,615)TP
4buttonキャンセル(1089,615)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "button",
    "x": 589,
    "y": 389,
    "label": "×"
  },
  {
    "role": "input",
    "x": 526,
    "y": 489,
    "label": "ユーザーID(&U) 入力欄"
  },
  {
    "role": "input",
    "x": 526,
    "y": 518,
    "label": "パスワード(&P) 入力欄"
  },
  {
    "role": "button",
    "x": 520,
    "y": 569,
    "label": "ログイン"
  },
  {
    "role": "button",
    "x": 567,
    "y": 569,
    "label": "キャンセル"
  }
]

patient_list — TP=11 FP=22 FN=0 • P=0.33 R=1.00 F1=0.50 • ⏱ 58.2s

patient_list
Ground truth (11)
#roletextbboxstatus
0button📋 受付一覧[4, 45, 73, 72]TP
1button🏥 受付管理[83, 45, 153, 72]TP
2button🛏 入院管理[163, 45, 232, 72]TP
3button📅 予約管理[242, 45, 312, 72]TP
4button📊 統計[322, 45, 371, 72]TP
5input検索条件を入力...[130, 100, 410, 123]TP
6button検索(S)[418, 100, 485, 123]TP
7button新規患者登録(N)[1793, 100, 1903, 123]TP
8input患者ID / 氏名 / カナ で絞り込み...[10, 142, 290, 176]TP
9input10件 20件 50件[1844, 146, 1910, 172]TP
10button次へ[1848, 614, 1902, 644]TP
Prediction (33)
#rolelabelxystatus
0menuitemファイル(F)(35,35)FP
1menuitem患者(P)(104,35)FP
2menuitemカルテ(K)(165,35)FP
3menuitemオーダ(O)(228,35)FP
4menuitemヘルプ(H)(292,35)FP
5button医師:山田 太郎(1889,14)FP
6button医療法人 富士見総合病院(1774,14)FP
7buttonログアウト(1884,14)FP
8tab受付一覧(42,62)TP
9tab受付管理(117,62)TP
10tab入院管理(196,62)TP
11tab予約管理(275,62)TP
12tab統計(342,62)TP
13input検索条件を入力...(269,112)TP
14button検索(S)(451,112)TP
15button新規患者登録(N)(1847,112)TP
16input患者ID / 氏名 / カナ で絞り込み...(148,160)TP
17button20件(1876,160)TP
18button患者ID(38,194)FP
19button氏名(351,194)FP
20buttonカナ(780,194)FP
21button性別(1279,194)FP
22button生年月日(1446,194)FP
23button年齢(1780,194)FP
24button00000001(38,214)FP
25button00000002(38,233)FP
26button前へ(1749,622)FP
27button次へ(1874,622)TP
28buttonF1 ヘルプ(36,1065)FP
29buttonF2 患者検索(117,1065)FP
30buttonF3 印刷(190,1065)FP
31buttonF5 更新(252,1065)FP
32buttonF12 ログアウト(328,1065)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 32,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 54,
    "y": 32,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 32,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 119,
    "y": 32,
    "label": "オーダ(O)"
  },
  {
    "role": "menuitem",
    "x": 152,
    "y": 32,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 984,
    "y": 13,
    "label": "医師:山田 太郎"
  },
  {
    "role": "button",
    "x": 924,
    "y": 13,
    "label": "医療法人 富士見総合病院"
  },
  {
    "role": "button",
    "x": 981,
    "y": 13,
    "label": "ログアウト"
  },
  {
    "role": "tab",
    "x": 22,
    "y": 57,
    "label": "受付一覧"
  },
  {
    "role": "tab",
    "x": 61,
    "y": 57,
    "label": "受付管理"
  },
  {
    "role": "tab",
    "x": 102,
    "y": 57,
    "label": "入院管理"
  },
  {
    "role": "tab",
    "x": 143,
    "y": 57,
    "label": "予約管理"
  },
  {
    "role": "tab",
    "x": 178,
    "y": 57,
    "label": "統計"
  },
  {
    "role": "input",
    "x": 140,
    "y": 104,
    "label": "検索条件を入力..."
  },
  {
    "role": "button",
    "x": 235,
    "y": 104,
    "label": "検索(S)"
  },
  {
    "role": "button",
    "x": 962,
    "y": 104,
    "label": "新規患者登録(N)"
  },
  {
    "role": "input",
    "x": 77,
    "y": 148,
    "label": "患者ID / 氏名 / カナ で絞り込み..."
  },
  {
    "role": "button",
    "x": 977,
    "y": 148,
    "label": "20件"
  },
  {
    "role": "button",
    "x": 20,
    "y": 180,
    "label": "患者ID"
  },
  {
    "role": "button",
    "x": 183,
    "y": 180,
    "label": "氏名"
  },
  {
    "role": "button",
    "x": 406,
    "y": 180,
    "label": "カナ"
  },
  {
    "role": "button",
    "x": 666,
    "y": 180,
    "label": "性別"
  },
  {
    "role": "button",
    "x": 753,
    "y": 180,
    "label": "生年月日"
  },
  {
    "role": "button",
    "x": 927,
    "y": 180,
    "label": "年齢"
  },
  {
    "role": "button",
    "x": 20,
    "y": 198,
    "label": "00000001"
  },
  {
    "role": "button",
    "x": 20,
    "y": 216,
    "label": "00000002"
  },
  {
    "role": "button",
    "x": 911,
    "y": 576,
    "label": "前へ"
  },
  {
    "role": "button",
    "x": 976,
    "y": 576,
    "label": "次へ"
  },
  {
    "role": "button",
    "x": 19,
    "y": 986,
    "label": "F1 ヘルプ"
  },
  {
    "role": "button",
    "x": 61,
    "y": 986,
    "label": "F2 患者検索"
  },
  {
    "role": "button",
    "x": 99,
    "y": 986,
    "label": "F3 印刷"
  },
  {
    "role": "button",
    "x": 131,
    "y": 986,
    "label": "F5 更新"
  },
  {
    "role": "button",
    "x": 171,
    "y": 986,
    "label": "F12 ログアウト"
  }
]

karte — TP=11 FP=39 FN=13 • P=0.22 R=0.46 F1=0.30 • ⏱ 84.5s

karte
Ground truth (24)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]FN
12button外来処方[1799, 122, 1901, 145]FN
13button外来注射[1799, 147, 1901, 171]FN
14button院内処方[1799, 173, 1901, 196]FN
15button検体検査[1799, 198, 1901, 222]FN
16button画像診断[1799, 224, 1901, 247]FN
17button生理検査[1799, 249, 1901, 273]FN
18button病名登録[1799, 275, 1901, 298]FN
19button紹介状[1799, 300, 1901, 324]FN
20button入院指示[1799, 326, 1901, 349]FN
21button検査結果窓[1799, 378, 1901, 399]FN
22button処方一覧窓[1799, 401, 1901, 423]FN
23buttonバイタル窓[1799, 425, 1901, 446]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,35)FP
1menuitem患者(P)(106,35)FP
2menuitemカルテ(K)(163,35)FP
3menuitemオーダー(O)(227,35)FP
4menuitemテキスト挿入(T)(300,35)FP
5menuitemスタンプ(S)(380,35)FP
6menuitemヘルプ(H)(445,35)FP
7button(19,57)TP
8button患者一覧(56,57)FP
9buttonカルテ記載(123,57)TP
10buttonバイタル(192,57)TP
11button処方(242,57)TP
12button検査(282,57)TP
13button病名(321,57)TP
14buttonアレルギー(367,57)TP
15button検査結果(436,57)TP
16button処方一覧窓(503,57)TP
17buttonバイタル窓(582,57)TP
18button退院サマリ(659,57)TP
19button入院(25,83)FP
20buttonアレルギー(1763,83)FP
21buttonロキソプロフェン(1847,83)FP
22button2025/12月(38,107)FP
23button2026/01月(131,107)FP
24button2026/02月(225,107)FP
25button1(19,133)FP
26button2(36,133)FP
27button8(19,144)FP
28button9(36,144)FP
29button15(19,154)FP
30button16(36,154)FP
31button22(19,165)FP
32button23(36,165)FP
33button29(19,176)FP
34button30(36,176)FP
35button4(131,133)FP
36button5(148,133)FP
37button11(131,144)FP
38button12(148,144)FP
39button18(131,154)FP
40button19(148,154)FP
41button25(131,165)FP
42button26(148,165)FP
43button1(225,133)FP
44button2(242,133)FP
45button8(225,144)FP
46button9(242,144)FP
47button15(225,154)FP
48button16(242,154)FP
49button22(225,165)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 32,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 32,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 85,
    "y": 32,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 118,
    "y": 32,
    "label": "オーダー(O)"
  },
  {
    "role": "menuitem",
    "x": 156,
    "y": 32,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 198,
    "y": 32,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 232,
    "y": 32,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 10,
    "y": 53,
    "label": "←"
  },
  {
    "role": "button",
    "x": 29,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 64,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 100,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 126,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 147,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 167,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 191,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 227,
    "y": 53,
    "label": "検査結果"
  },
  {
    "role": "button",
    "x": 262,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 303,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 343,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 13,
    "y": 77,
    "label": "入院"
  },
  {
    "role": "button",
    "x": 918,
    "y": 77,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 962,
    "y": 77,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 20,
    "y": 99,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 68,
    "y": 99,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 117,
    "y": 99,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 10,
    "y": 123,
    "label": "1"
  },
  {
    "role": "button",
    "x": 19,
    "y": 123,
    "label": "2"
  },
  {
    "role": "button",
    "x": 10,
    "y": 133,
    "label": "8"
  },
  {
    "role": "button",
    "x": 19,
    "y": 133,
    "label": "9"
  },
  {
    "role": "button",
    "x": 10,
    "y": 143,
    "label": "15"
  },
  {
    "role": "button",
    "x": 19,
    "y": 143,
    "label": "16"
  },
  {
    "role": "button",
    "x": 10,
    "y": 153,
    "label": "22"
  },
  {
    "role": "button",
    "x": 19,
    "y": 153,
    "label": "23"
  },
  {
    "role": "button",
    "x": 10,
    "y": 163,
    "label": "29"
  },
  {
    "role": "button",
    "x": 19,
    "y": 163,
    "label": "30"
  },
  {
    "role": "button",
    "x": 68,
    "y": 123,
    "label": "4"
  },
  {
    "role": "button",
    "x": 77,
    "y": 123,
    "label": "5"
  },
  {
    "role": "button",
    "x": 68,
    "y": 133,
    "label": "11"
  },
  {
    "role": "button",
    "x": 77,
    "y": 133,
    "label": "12"
  },
  {
    "role": "button",
    "x": 68,
    "y": 143,
    "label": "18"
  },
  {
    "role": "button",
    "x": 77,
    "y": 143,
    "label": "19"
  },
  {
    "role": "button",
    "x": 68,
    "y": 153,
    "label": "25"
  },
  {
    "role": "button",
    "x": 77,
    "y": 153,
    "label": "26"
  },
  {
    "role": "button",
    "x": 117,
    "y": 123,
    "label": "1"
  },
  {
    "role": "button",
    "x": 126,
    "y": 123,
    "label": "2"
  },
  {
    "role": "button",
    "x": 117,
    "y": 133,
    "label": "8"
  },
  {
    "role": "button",
    "x": 126,
    "y": 133,
    "label": "9"
  },
  {
    "role": "button",
    "x": 117,
    "y": 143,
    "label": "15"
  },
  {
    "role": "button",
    "x": 126,
    "y": 143,
    "label": "16"
  },
  {
    "role": "button",
    "x": 117,
    "y": 153,
    "label": "22"
  }
]

labs — TP=22 FP=28 FN=3 • P=0.44 R=0.88 F1=0.59 • ⏱ 86.0s

labs
Ground truth (25)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]TP
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]TP
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]FN
23buttonバイタル窓[1815, 425, 1917, 446]FN
24button退院サマリ[1815, 1000, 1917, 1027]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,33)FP
1menuitem患者(P)(106,33)FP
2menuitemカルテ(K)(165,33)FP
3menuitemオーダー(O)(230,33)FP
4menuitemテキスト挿入(T)(307,33)FP
5menuitemスタンプ(S)(390,33)FP
6menuitemヘルプ(H)(461,33)FP
7button患者一覧(42,57)TP
8buttonカルテ記載(125,57)TP
9buttonバイタル(194,57)TP
10button処方(240,57)TP
11button検査(282,57)TP
12button病名(323,57)TP
13buttonアレルギー(371,57)TP
14button検査結果窓(438,57)TP
15button処方一覧窓(511,57)TP
16buttonバイタル窓(586,57)TP
17button退院サマリ(662,57)TP
18buttonアレルギー(1784,83)FP
19buttonロキソプロフェン(1864,83)FP
20button2025/12月(31,107)FP
21button2026/01月(131,107)FP
22button2026/02月(230,107)FP
23button1(31,157)FP
24button8(42,167)FP
25tabカルテ(313,120)FP
26tab検体検査(374,120)FP
27tab検査推移(438,120)FP
28tab処方(495,120)FP
29tabオーダー(545,120)FP
30tab病名(599,120)FP
31tab文書(645,120)FP
32buttonメモ(31,208)FP
33button来院歴(69,208)FP
34buttonアレルギー(109,208)FP
35button身体情報(159,208)FP
36input入院中、心不全のフォロー中...(136,252)TP
37button外来処方(1862,135)TP
38button外来注射(1862,157)TP
39button院内処方(1862,178)TP
40button検体検査(1862,200)TP
41button画像診断(1862,221)FP
42button生理検査(1862,243)TP
43button病名登録(1862,265)TP
44button紹介状(1862,286)TP
45button入院指示(1862,308)TP
46button表示(1862,329)TP
47button検査結果窓(1862,351)FP
48button処方一覧窓(1862,373)FP
49buttonバイタル窓(1862,394)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 120,
    "y": 31,
    "label": "オーダー(O)"
  },
  {
    "role": "menuitem",
    "x": 160,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 203,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 240,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 22,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 65,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 101,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 125,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 147,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 168,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 193,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 228,
    "y": 53,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 266,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 305,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 345,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 929,
    "y": 77,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 971,
    "y": 77,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 16,
    "y": 99,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 68,
    "y": 99,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 120,
    "y": 99,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 16,
    "y": 145,
    "label": "1"
  },
  {
    "role": "button",
    "x": 22,
    "y": 155,
    "label": "8"
  },
  {
    "role": "tab",
    "x": 163,
    "y": 111,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 195,
    "y": 111,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 228,
    "y": 111,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 258,
    "y": 111,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 284,
    "y": 111,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 312,
    "y": 111,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 336,
    "y": 111,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 16,
    "y": 193,
    "label": "メモ"
  },
  {
    "role": "button",
    "x": 36,
    "y": 193,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 57,
    "y": 193,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 193,
    "label": "身体情報"
  },
  {
    "role": "input",
    "x": 71,
    "y": 233,
    "label": "入院中、心不全のフォロー中..."
  },
  {
    "role": "button",
    "x": 970,
    "y": 125,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 145,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 970,
    "y": 165,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 185,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 205,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 970,
    "y": 225,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 245,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 970,
    "y": 265,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 970,
    "y": 285,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 305,
    "label": "表示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 325,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 345,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 365,
    "label": "バイタル窓"
  }
]

meds — TP=23 FP=27 FN=6 • P=0.46 R=0.79 F1=0.58 • ⏱ 85.6s

meds
Ground truth (29)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]FN
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]TP
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]FN
23buttonバイタル窓[1815, 425, 1917, 446]FN
24button退院サマリ[1815, 1000, 1917, 1027]FN
25button×[1384, 337, 1402, 355]TP
26input薬品名またはカテゴリで検索...[524, 438, 1396, 472]TP
27buttonキャンセル[1113, 697, 1217, 735]FN
28button次へ: 用法設定 →[1229, 697, 1396, 735]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(33,33)FP
1menuitem患者(P)(102,33)FP
2menuitemカルテ(K)(159,33)FP
3menuitemバイタル(217,33)FP
4menuitem処方(275,33)FP
5menuitemテキスト挿入(T)(332,33)FP
6menuitemスタンプ(S)(390,33)FP
7menuitemヘルプ(H)(447,33)FP
8button(19,57)TP
9button患者一覧(63,57)FP
10buttonカルテ記載(131,57)TP
11buttonバイタル(198,57)TP
12button処方(246,57)TP
13button検査(284,57)TP
14button病名(323,57)TP
15buttonアレルギー(371,57)TP
16button検査結果(447,57)TP
17button処方一覧窓(524,57)TP
18buttonバイタル窓(591,57)TP
19button退院サマリ(668,57)TP
20buttonアレルギー(1791,82)FP
21buttonロキソプロフェン(1868,82)FP
22tabカルテ(313,120)FP
23tab検体検査(371,120)FP
24tab検査推移(438,120)FP
25tab処方(495,120)FP
26tabオーダー(543,120)FP
27tab病名(601,120)FP
28tab文書(649,120)FP
29button来院歴(54,208)FP
30buttonアレルギー(102,208)FP
31button身体情報(159,208)FP
32button外来処方(1849,136)TP
33button外来注射(1849,158)TP
34button院内処方(1849,179)TP
35button検体検査(1849,201)TP
36button画像診断(1849,222)FP
37button生理検査(1849,244)TP
38button病名登録(1849,266)TP
39button紹介状(1849,287)TP
40button入院指示(1849,309)TP
41button表示(1849,330)TP
42button検査結果窓(1849,352)FP
43button処方一覧窓(1849,374)FP
44buttonバイタル窓(1849,395)TP
45button×(1388,347)TP
46tab1 薬剤選択(851,384)FP
47tab2 用法設定(985,384)FP
48tab3 確認(1100,384)FP
49input薬品名またはカテゴリで検索...(947,455)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 17,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 53,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 83,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 113,
    "y": 31,
    "label": "バイタル"
  },
  {
    "role": "menuitem",
    "x": 143,
    "y": 31,
    "label": "処方"
  },
  {
    "role": "menuitem",
    "x": 173,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 203,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 233,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 10,
    "y": 53,
    "label": "←"
  },
  {
    "role": "button",
    "x": 33,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 68,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 103,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 128,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 148,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 168,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 193,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 233,
    "y": 53,
    "label": "検査結果"
  },
  {
    "role": "button",
    "x": 273,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 308,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 348,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 933,
    "y": 76,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 973,
    "y": 76,
    "label": "ロキソプロフェン"
  },
  {
    "role": "tab",
    "x": 163,
    "y": 111,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 193,
    "y": 111,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 228,
    "y": 111,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 258,
    "y": 111,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 283,
    "y": 111,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 313,
    "y": 111,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 338,
    "y": 111,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 28,
    "y": 193,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 53,
    "y": 193,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 193,
    "label": "身体情報"
  },
  {
    "role": "button",
    "x": 963,
    "y": 126,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 963,
    "y": 146,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 963,
    "y": 166,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 963,
    "y": 186,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 963,
    "y": 206,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 963,
    "y": 226,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 963,
    "y": 246,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 963,
    "y": 266,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 963,
    "y": 286,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 963,
    "y": 306,
    "label": "表示"
  },
  {
    "role": "button",
    "x": 963,
    "y": 326,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 963,
    "y": 346,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 963,
    "y": 366,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 723,
    "y": 321,
    "label": "×"
  },
  {
    "role": "tab",
    "x": 443,
    "y": 356,
    "label": "1 薬剤選択"
  },
  {
    "role": "tab",
    "x": 513,
    "y": 356,
    "label": "2 用法設定"
  },
  {
    "role": "tab",
    "x": 573,
    "y": 356,
    "label": "3 確認"
  },
  {
    "role": "input",
    "x": 493,
    "y": 421,
    "label": "薬品名またはカテゴリで検索..."
  }
]

diagnoses — TP=24 FP=26 FN=1 • P=0.48 R=0.96 F1=0.64 • ⏱ 86.3s

diagnoses
Ground truth (25)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]TP
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]FN
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]TP
23buttonバイタル窓[1815, 425, 1917, 446]TP
24button退院サマリ[1815, 1000, 1917, 1027]TP
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,33)FP
1menuitem患者(P)(106,33)FP
2menuitemカルテ(K)(165,33)FP
3menuitemオーダ(O)(227,33)FP
4menuitemテキスト挿入(T)(309,33)FP
5menuitemスタンプ(S)(396,33)FP
6menuitemヘルプ(H)(467,33)FP
7button患者一覧(52,58)TP
8buttonカルテ記載(123,58)TP
9buttonバイタル(188,58)TP
10button処方(236,58)TP
11button検査(278,58)TP
12button病名(319,58)TP
13buttonアレルギー(369,58)TP
14button検査結果窓(442,58)TP
15button処方一覧窓(515,58)TP
16buttonバイタル窓(588,58)TP
17button退院サマリ(664,58)TP
18buttonアレルギー(1784,84)FP
19buttonロキソプロフェン(1866,84)FP
20button2025/12月(40,108)FP
21button2026/01月(134,108)FP
22button2026/02月(228,108)FP
23button1(31,149)FP
24button8(40,162)FP
25tabカルテ(311,121)FP
26tab検体検査(372,121)FP
27tab検査推移(436,121)FP
28tab処方(497,121)FP
29tabオーダー(551,121)FP
30tab病名(605,121)FP
31tab文書(651,121)FP
32button来院歴(52,210)FP
33buttonアレルギー(106,210)FP
34button身体情報(159,210)FP
35input入院中。心不全のフォロー中。...(136,255)TP
36button外来処方(1862,135)TP
37button外来注射(1862,158)TP
38button院内処方(1862,180)TP
39button検体検査(1862,203)TP
40button画像診断(1862,226)TP
41button生理検査(1862,248)FP
42button病名登録(1862,271)TP
43button紹介状(1862,294)TP
44button入院指示(1862,316)TP
45button検査結果窓(1862,384)TP
46button処方一覧窓(1862,407)TP
47buttonバイタル窓(1862,430)TP
48button退院サマリ(1862,1008)TP
49buttonF1 ヘルプ(35,1063)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 118,
    "y": 31,
    "label": "オーダ(O)"
  },
  {
    "role": "menuitem",
    "x": 161,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 206,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 243,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 27,
    "y": 54,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 64,
    "y": 54,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 98,
    "y": 54,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 123,
    "y": 54,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 145,
    "y": 54,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 166,
    "y": 54,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 192,
    "y": 54,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 230,
    "y": 54,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 268,
    "y": 54,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 306,
    "y": 54,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 346,
    "y": 54,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 929,
    "y": 78,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 972,
    "y": 78,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 21,
    "y": 100,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 70,
    "y": 100,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 119,
    "y": 100,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 16,
    "y": 138,
    "label": "1"
  },
  {
    "role": "button",
    "x": 21,
    "y": 150,
    "label": "8"
  },
  {
    "role": "tab",
    "x": 162,
    "y": 112,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 194,
    "y": 112,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 227,
    "y": 112,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 259,
    "y": 112,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 287,
    "y": 112,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 315,
    "y": 112,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 339,
    "y": 112,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 27,
    "y": 194,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 55,
    "y": 194,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 194,
    "label": "身体情報"
  },
  {
    "role": "input",
    "x": 71,
    "y": 236,
    "label": "入院中。心不全のフォロー中。..."
  },
  {
    "role": "button",
    "x": 970,
    "y": 125,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 146,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 970,
    "y": 167,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 188,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 209,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 970,
    "y": 230,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 251,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 970,
    "y": 272,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 970,
    "y": 293,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 356,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 377,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 398,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 933,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 18,
    "y": 984,
    "label": "F1 ヘルプ"
  }
]