Detection Benchmark — 20260423_202744_qwen36-27b-bf16-v2_detect

screens=6 • GT=118 • Pred=238 • model=Qwen3.6-27B BF16 + schema v2 (maxItems=50)
Precision: 0.40Recall: 0.81F1: 0.53TP 95 / FP 143 / FN 23⏱ 68.65s/screen, total 411.9s
■ GT (matched) / ■ GT (unmatched = FN) / ● pred (matched = TP) / ● pred (unmatched = FP)

login — TP=4 FP=1 FN=0 • P=0.80 R=1.00 F1=0.89 • ⏱ 11.2s

login
Ground truth (4)
#roletextbboxstatus
0input[897, 519, 1128, 542]TP
1input[897, 550, 1128, 573]TP
2buttonログイン[961, 606, 1041, 629]TP
3buttonキャンセル[1049, 606, 1132, 629]TP
Prediction (5)
#rolelabelxystatus
0button×(1131,420)FP
1inputユーザーID(&U) 入力欄(1010,528)TP
2inputパスワード(&P) 入力欄(1010,559)TP
3buttonログイン(998,615)TP
4buttonキャンセル(1089,615)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "button",
    "x": 589,
    "y": 389,
    "label": "×"
  },
  {
    "role": "input",
    "x": 526,
    "y": 489,
    "label": "ユーザーID(&U) 入力欄"
  },
  {
    "role": "input",
    "x": 526,
    "y": 518,
    "label": "パスワード(&P) 入力欄"
  },
  {
    "role": "button",
    "x": 520,
    "y": 569,
    "label": "ログイン"
  },
  {
    "role": "button",
    "x": 567,
    "y": 569,
    "label": "キャンセル"
  }
]

patient_list — TP=11 FP=22 FN=0 • P=0.33 R=1.00 F1=0.50 • ⏱ 58.2s

patient_list
Ground truth (11)
#roletextbboxstatus
0button📋 受付一覧[4, 45, 73, 72]TP
1button🏥 受付管理[83, 45, 153, 72]TP
2button🛏 入院管理[163, 45, 232, 72]TP
3button📅 予約管理[242, 45, 312, 72]TP
4button📊 統計[322, 45, 371, 72]TP
5input検索条件を入力...[130, 100, 410, 123]TP
6button検索(S)[418, 100, 485, 123]TP
7button新規患者登録(N)[1793, 100, 1903, 123]TP
8input患者ID / 氏名 / カナ で絞り込み...[10, 142, 290, 176]TP
9input10件 20件 50件[1844, 146, 1910, 172]TP
10button次へ[1848, 614, 1902, 644]TP
Prediction (33)
#rolelabelxystatus
0menuitemファイル(F)(35,35)FP
1menuitem患者(P)(104,35)FP
2menuitemカルテ(K)(165,35)FP
3menuitemオーダ(O)(228,35)FP
4menuitemヘルプ(H)(292,35)FP
5button医師:山田 太郎(1889,14)FP
6button医療法人 富士見総合病院(1774,14)FP
7buttonログアウト(1884,14)FP
8tab受付一覧(42,62)TP
9tab受付管理(117,62)TP
10tab入院管理(196,62)TP
11tab予約管理(275,62)TP
12tab統計(342,62)TP
13input検索条件を入力...(269,112)TP
14button検索(S)(451,112)TP
15button新規患者登録(N)(1847,112)TP
16input患者ID / 氏名 / カナ で絞り込み...(148,160)TP
17button20件(1876,160)TP
18button患者ID(38,194)FP
19button氏名(351,194)FP
20buttonカナ(780,194)FP
21button性別(1279,194)FP
22button生年月日(1446,194)FP
23button年齢(1780,194)FP
24button00000001(38,214)FP
25button00000002(38,233)FP
26button前へ(1749,622)FP
27button次へ(1874,622)TP
28buttonF1 ヘルプ(36,1065)FP
29buttonF2 患者検索(117,1065)FP
30buttonF3 印刷(190,1065)FP
31buttonF5 更新(252,1065)FP
32buttonF12 ログアウト(328,1065)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 32,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 54,
    "y": 32,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 32,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 119,
    "y": 32,
    "label": "オーダ(O)"
  },
  {
    "role": "menuitem",
    "x": 152,
    "y": 32,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 984,
    "y": 13,
    "label": "医師:山田 太郎"
  },
  {
    "role": "button",
    "x": 924,
    "y": 13,
    "label": "医療法人 富士見総合病院"
  },
  {
    "role": "button",
    "x": 981,
    "y": 13,
    "label": "ログアウト"
  },
  {
    "role": "tab",
    "x": 22,
    "y": 57,
    "label": "受付一覧"
  },
  {
    "role": "tab",
    "x": 61,
    "y": 57,
    "label": "受付管理"
  },
  {
    "role": "tab",
    "x": 102,
    "y": 57,
    "label": "入院管理"
  },
  {
    "role": "tab",
    "x": 143,
    "y": 57,
    "label": "予約管理"
  },
  {
    "role": "tab",
    "x": 178,
    "y": 57,
    "label": "統計"
  },
  {
    "role": "input",
    "x": 140,
    "y": 104,
    "label": "検索条件を入力..."
  },
  {
    "role": "button",
    "x": 235,
    "y": 104,
    "label": "検索(S)"
  },
  {
    "role": "button",
    "x": 962,
    "y": 104,
    "label": "新規患者登録(N)"
  },
  {
    "role": "input",
    "x": 77,
    "y": 148,
    "label": "患者ID / 氏名 / カナ で絞り込み..."
  },
  {
    "role": "button",
    "x": 977,
    "y": 148,
    "label": "20件"
  },
  {
    "role": "button",
    "x": 20,
    "y": 180,
    "label": "患者ID"
  },
  {
    "role": "button",
    "x": 183,
    "y": 180,
    "label": "氏名"
  },
  {
    "role": "button",
    "x": 406,
    "y": 180,
    "label": "カナ"
  },
  {
    "role": "button",
    "x": 666,
    "y": 180,
    "label": "性別"
  },
  {
    "role": "button",
    "x": 753,
    "y": 180,
    "label": "生年月日"
  },
  {
    "role": "button",
    "x": 927,
    "y": 180,
    "label": "年齢"
  },
  {
    "role": "button",
    "x": 20,
    "y": 198,
    "label": "00000001"
  },
  {
    "role": "button",
    "x": 20,
    "y": 216,
    "label": "00000002"
  },
  {
    "role": "button",
    "x": 911,
    "y": 576,
    "label": "前へ"
  },
  {
    "role": "button",
    "x": 976,
    "y": 576,
    "label": "次へ"
  },
  {
    "role": "button",
    "x": 19,
    "y": 986,
    "label": "F1 ヘルプ"
  },
  {
    "role": "button",
    "x": 61,
    "y": 986,
    "label": "F2 患者検索"
  },
  {
    "role": "button",
    "x": 99,
    "y": 986,
    "label": "F3 印刷"
  },
  {
    "role": "button",
    "x": 131,
    "y": 986,
    "label": "F5 更新"
  },
  {
    "role": "button",
    "x": 171,
    "y": 986,
    "label": "F12 ログアウト"
  }
]

karte — TP=11 FP=39 FN=13 • P=0.22 R=0.46 F1=0.30 • ⏱ 84.5s

karte
Ground truth (24)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]FN
12button外来処方[1799, 122, 1901, 145]FN
13button外来注射[1799, 147, 1901, 171]FN
14button院内処方[1799, 173, 1901, 196]FN
15button検体検査[1799, 198, 1901, 222]FN
16button画像診断[1799, 224, 1901, 247]FN
17button生理検査[1799, 249, 1901, 273]FN
18button病名登録[1799, 275, 1901, 298]FN
19button紹介状[1799, 300, 1901, 324]FN
20button入院指示[1799, 326, 1901, 349]FN
21button検査結果窓[1799, 378, 1901, 399]FN
22button処方一覧窓[1799, 401, 1901, 423]FN
23buttonバイタル窓[1799, 425, 1901, 446]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,35)FP
1menuitem患者(P)(106,35)FP
2menuitemカルテ(K)(163,35)FP
3menuitemオーダー(O)(227,35)FP
4menuitemテキスト挿入(T)(300,35)FP
5menuitemスタンプ(S)(380,35)FP
6menuitemヘルプ(H)(445,35)FP
7button←(19,57)TP
8button患者一覧(56,57)FP
9buttonカルテ記載(123,57)TP
10buttonバイタル(192,57)TP
11button処方(242,57)TP
12button検査(282,57)TP
13button病名(321,57)TP
14buttonアレルギー(367,57)TP
15button検査結果(436,57)TP
16button処方一覧窓(503,57)TP
17buttonバイタル窓(582,57)TP
18button退院サマリ(659,57)TP
19button入院(25,83)FP
20buttonアレルギー(1763,83)FP
21buttonロキソプロフェン(1847,83)FP
22button2025/12月(38,107)FP
23button2026/01月(131,107)FP
24button2026/02月(225,107)FP
25button1(19,133)FP
26button2(36,133)FP
27button8(19,144)FP
28button9(36,144)FP
29button15(19,154)FP
30button16(36,154)FP
31button22(19,165)FP
32button23(36,165)FP
33button29(19,176)FP
34button30(36,176)FP
35button4(131,133)FP
36button5(148,133)FP
37button11(131,144)FP
38button12(148,144)FP
39button18(131,154)FP
40button19(148,154)FP
41button25(131,165)FP
42button26(148,165)FP
43button1(225,133)FP
44button2(242,133)FP
45button8(225,144)FP
46button9(242,144)FP
47button15(225,154)FP
48button16(242,154)FP
49button22(225,165)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 32,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 32,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 85,
    "y": 32,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 118,
    "y": 32,
    "label": "オーダー(O)"
  },
  {
    "role": "menuitem",
    "x": 156,
    "y": 32,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 198,
    "y": 32,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 232,
    "y": 32,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 10,
    "y": 53,
    "label": "←"
  },
  {
    "role": "button",
    "x": 29,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 64,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 100,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 126,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 147,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 167,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 191,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 227,
    "y": 53,
    "label": "検査結果"
  },
  {
    "role": "button",
    "x": 262,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 303,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 343,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 13,
    "y": 77,
    "label": "入院"
  },
  {
    "role": "button",
    "x": 918,
    "y": 77,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 962,
    "y": 77,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 20,
    "y": 99,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 68,
    "y": 99,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 117,
    "y": 99,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 10,
    "y": 123,
    "label": "1"
  },
  {
    "role": "button",
    "x": 19,
    "y": 123,
    "label": "2"
  },
  {
    "role": "button",
    "x": 10,
    "y": 133,
    "label": "8"
  },
  {
    "role": "button",
    "x": 19,
    "y": 133,
    "label": "9"
  },
  {
    "role": "button",
    "x": 10,
    "y": 143,
    "label": "15"
  },
  {
    "role": "button",
    "x": 19,
    "y": 143,
    "label": "16"
  },
  {
    "role": "button",
    "x": 10,
    "y": 153,
    "label": "22"
  },
  {
    "role": "button",
    "x": 19,
    "y": 153,
    "label": "23"
  },
  {
    "role": "button",
    "x": 10,
    "y": 163,
    "label": "29"
  },
  {
    "role": "button",
    "x": 19,
    "y": 163,
    "label": "30"
  },
  {
    "role": "button",
    "x": 68,
    "y": 123,
    "label": "4"
  },
  {
    "role": "button",
    "x": 77,
    "y": 123,
    "label": "5"
  },
  {
    "role": "button",
    "x": 68,
    "y": 133,
    "label": "11"
  },
  {
    "role": "button",
    "x": 77,
    "y": 133,
    "label": "12"
  },
  {
    "role": "button",
    "x": 68,
    "y": 143,
    "label": "18"
  },
  {
    "role": "button",
    "x": 77,
    "y": 143,
    "label": "19"
  },
  {
    "role": "button",
    "x": 68,
    "y": 153,
    "label": "25"
  },
  {
    "role": "button",
    "x": 77,
    "y": 153,
    "label": "26"
  },
  {
    "role": "button",
    "x": 117,
    "y": 123,
    "label": "1"
  },
  {
    "role": "button",
    "x": 126,
    "y": 123,
    "label": "2"
  },
  {
    "role": "button",
    "x": 117,
    "y": 133,
    "label": "8"
  },
  {
    "role": "button",
    "x": 126,
    "y": 133,
    "label": "9"
  },
  {
    "role": "button",
    "x": 117,
    "y": 143,
    "label": "15"
  },
  {
    "role": "button",
    "x": 126,
    "y": 143,
    "label": "16"
  },
  {
    "role": "button",
    "x": 117,
    "y": 153,
    "label": "22"
  }
]

labs — TP=22 FP=28 FN=3 • P=0.44 R=0.88 F1=0.59 • ⏱ 86.0s

labs
Ground truth (25)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]TP
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]TP
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]FN
23buttonバイタル窓[1815, 425, 1917, 446]FN
24button退院サマリ[1815, 1000, 1917, 1027]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,33)FP
1menuitem患者(P)(106,33)FP
2menuitemカルテ(K)(165,33)FP
3menuitemオーダー(O)(230,33)FP
4menuitemテキスト挿入(T)(307,33)FP
5menuitemスタンプ(S)(390,33)FP
6menuitemヘルプ(H)(461,33)FP
7button患者一覧(42,57)TP
8buttonカルテ記載(125,57)TP
9buttonバイタル(194,57)TP
10button処方(240,57)TP
11button検査(282,57)TP
12button病名(323,57)TP
13buttonアレルギー(371,57)TP
14button検査結果窓(438,57)TP
15button処方一覧窓(511,57)TP
16buttonバイタル窓(586,57)TP
17button退院サマリ(662,57)TP
18buttonアレルギー(1784,83)FP
19buttonロキソプロフェン(1864,83)FP
20button2025/12月(31,107)FP
21button2026/01月(131,107)FP
22button2026/02月(230,107)FP
23button1(31,157)FP
24button8(42,167)FP
25tabカルテ(313,120)FP
26tab検体検査(374,120)FP
27tab検査推移(438,120)FP
28tab処方(495,120)FP
29tabオーダー(545,120)FP
30tab病名(599,120)FP
31tab文書(645,120)FP
32buttonメモ(31,208)FP
33button来院歴(69,208)FP
34buttonアレルギー(109,208)FP
35button身体情報(159,208)FP
36input入院中、心不全のフォロー中...(136,252)TP
37button外来処方(1862,135)TP
38button外来注射(1862,157)TP
39button院内処方(1862,178)TP
40button検体検査(1862,200)TP
41button画像診断(1862,221)FP
42button生理検査(1862,243)TP
43button病名登録(1862,265)TP
44button紹介状(1862,286)TP
45button入院指示(1862,308)TP
46button表示(1862,329)TP
47button検査結果窓(1862,351)FP
48button処方一覧窓(1862,373)FP
49buttonバイタル窓(1862,394)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 120,
    "y": 31,
    "label": "オーダー(O)"
  },
  {
    "role": "menuitem",
    "x": 160,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 203,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 240,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 22,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 65,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 101,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 125,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 147,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 168,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 193,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 228,
    "y": 53,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 266,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 305,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 345,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 929,
    "y": 77,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 971,
    "y": 77,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 16,
    "y": 99,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 68,
    "y": 99,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 120,
    "y": 99,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 16,
    "y": 145,
    "label": "1"
  },
  {
    "role": "button",
    "x": 22,
    "y": 155,
    "label": "8"
  },
  {
    "role": "tab",
    "x": 163,
    "y": 111,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 195,
    "y": 111,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 228,
    "y": 111,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 258,
    "y": 111,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 284,
    "y": 111,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 312,
    "y": 111,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 336,
    "y": 111,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 16,
    "y": 193,
    "label": "メモ"
  },
  {
    "role": "button",
    "x": 36,
    "y": 193,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 57,
    "y": 193,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 193,
    "label": "身体情報"
  },
  {
    "role": "input",
    "x": 71,
    "y": 233,
    "label": "入院中、心不全のフォロー中..."
  },
  {
    "role": "button",
    "x": 970,
    "y": 125,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 145,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 970,
    "y": 165,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 185,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 205,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 970,
    "y": 225,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 245,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 970,
    "y": 265,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 970,
    "y": 285,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 305,
    "label": "表示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 325,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 345,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 365,
    "label": "バイタル窓"
  }
]

meds — TP=23 FP=27 FN=6 • P=0.46 R=0.79 F1=0.58 • ⏱ 85.6s

meds
Ground truth (29)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]FN
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]TP
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]FN
23buttonバイタル窓[1815, 425, 1917, 446]FN
24button退院サマリ[1815, 1000, 1917, 1027]FN
25button×[1384, 337, 1402, 355]TP
26input薬品名またはカテゴリで検索...[524, 438, 1396, 472]TP
27buttonキャンセル[1113, 697, 1217, 735]FN
28button次へ: 用法設定 →[1229, 697, 1396, 735]FN
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(33,33)FP
1menuitem患者(P)(102,33)FP
2menuitemカルテ(K)(159,33)FP
3menuitemバイタル(217,33)FP
4menuitem処方(275,33)FP
5menuitemテキスト挿入(T)(332,33)FP
6menuitemスタンプ(S)(390,33)FP
7menuitemヘルプ(H)(447,33)FP
8button←(19,57)TP
9button患者一覧(63,57)FP
10buttonカルテ記載(131,57)TP
11buttonバイタル(198,57)TP
12button処方(246,57)TP
13button検査(284,57)TP
14button病名(323,57)TP
15buttonアレルギー(371,57)TP
16button検査結果(447,57)TP
17button処方一覧窓(524,57)TP
18buttonバイタル窓(591,57)TP
19button退院サマリ(668,57)TP
20buttonアレルギー(1791,82)FP
21buttonロキソプロフェン(1868,82)FP
22tabカルテ(313,120)FP
23tab検体検査(371,120)FP
24tab検査推移(438,120)FP
25tab処方(495,120)FP
26tabオーダー(543,120)FP
27tab病名(601,120)FP
28tab文書(649,120)FP
29button来院歴(54,208)FP
30buttonアレルギー(102,208)FP
31button身体情報(159,208)FP
32button外来処方(1849,136)TP
33button外来注射(1849,158)TP
34button院内処方(1849,179)TP
35button検体検査(1849,201)TP
36button画像診断(1849,222)FP
37button生理検査(1849,244)TP
38button病名登録(1849,266)TP
39button紹介状(1849,287)TP
40button入院指示(1849,309)TP
41button表示(1849,330)TP
42button検査結果窓(1849,352)FP
43button処方一覧窓(1849,374)FP
44buttonバイタル窓(1849,395)TP
45button×(1388,347)TP
46tab1 薬剤選択(851,384)FP
47tab2 用法設定(985,384)FP
48tab3 確認(1100,384)FP
49input薬品名またはカテゴリで検索...(947,455)TP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 17,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 53,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 83,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 113,
    "y": 31,
    "label": "バイタル"
  },
  {
    "role": "menuitem",
    "x": 143,
    "y": 31,
    "label": "処方"
  },
  {
    "role": "menuitem",
    "x": 173,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 203,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 233,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 10,
    "y": 53,
    "label": "←"
  },
  {
    "role": "button",
    "x": 33,
    "y": 53,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 68,
    "y": 53,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 103,
    "y": 53,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 128,
    "y": 53,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 148,
    "y": 53,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 168,
    "y": 53,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 193,
    "y": 53,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 233,
    "y": 53,
    "label": "検査結果"
  },
  {
    "role": "button",
    "x": 273,
    "y": 53,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 308,
    "y": 53,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 348,
    "y": 53,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 933,
    "y": 76,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 973,
    "y": 76,
    "label": "ロキソプロフェン"
  },
  {
    "role": "tab",
    "x": 163,
    "y": 111,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 193,
    "y": 111,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 228,
    "y": 111,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 258,
    "y": 111,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 283,
    "y": 111,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 313,
    "y": 111,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 338,
    "y": 111,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 28,
    "y": 193,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 53,
    "y": 193,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 193,
    "label": "身体情報"
  },
  {
    "role": "button",
    "x": 963,
    "y": 126,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 963,
    "y": 146,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 963,
    "y": 166,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 963,
    "y": 186,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 963,
    "y": 206,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 963,
    "y": 226,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 963,
    "y": 246,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 963,
    "y": 266,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 963,
    "y": 286,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 963,
    "y": 306,
    "label": "表示"
  },
  {
    "role": "button",
    "x": 963,
    "y": 326,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 963,
    "y": 346,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 963,
    "y": 366,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 723,
    "y": 321,
    "label": "×"
  },
  {
    "role": "tab",
    "x": 443,
    "y": 356,
    "label": "1 薬剤選択"
  },
  {
    "role": "tab",
    "x": 513,
    "y": 356,
    "label": "2 用法設定"
  },
  {
    "role": "tab",
    "x": 573,
    "y": 356,
    "label": "3 確認"
  },
  {
    "role": "input",
    "x": 493,
    "y": 421,
    "label": "薬品名またはカテゴリで検索..."
  }
]

diagnoses — TP=24 FP=26 FN=1 • P=0.48 R=0.96 F1=0.64 • ⏱ 86.3s

diagnoses
Ground truth (25)
#roletextbboxstatus
0button← 患者一覧[4, 45, 77, 66]TP
1buttonカルテ記載[90, 45, 158, 66]TP
2buttonバイタル[160, 45, 218, 66]TP
3button処方[220, 45, 258, 66]TP
4button検査[260, 45, 298, 66]TP
5button病名[300, 45, 338, 66]TP
6buttonアレルギー[340, 45, 408, 66]TP
7button検査結果窓[421, 45, 489, 66]TP
8button処方一覧窓[491, 45, 559, 66]TP
9buttonバイタル窓[561, 45, 629, 66]TP
10button退院サマリ[642, 45, 710, 66]TP
11input入院中。心不全のフォロー中。 塩分制限6g/日指導済み。 家族: 妻(連絡先 090-xxxx-xxxx)[4, 222, 274, 282]TP
12button外来処方[1815, 122, 1917, 145]TP
13button外来注射[1815, 147, 1917, 171]TP
14button院内処方[1815, 173, 1917, 196]TP
15button検体検査[1815, 198, 1917, 222]TP
16button画像診断[1815, 224, 1917, 247]TP
17button生理検査[1815, 249, 1917, 273]TP
18button病名登録[1815, 275, 1917, 298]TP
19button紹介状[1815, 300, 1917, 324]TP
20button入院指示[1815, 326, 1917, 349]FN
21button検査結果窓[1815, 378, 1917, 399]TP
22button処方一覧窓[1815, 401, 1917, 423]TP
23buttonバイタル窓[1815, 425, 1917, 446]TP
24button退院サマリ[1815, 1000, 1917, 1027]TP
Prediction (50)
#rolelabelxystatus
0menuitemファイル(F)(35,33)FP
1menuitem患者(P)(106,33)FP
2menuitemカルテ(K)(165,33)FP
3menuitemオーダ(O)(227,33)FP
4menuitemテキスト挿入(T)(309,33)FP
5menuitemスタンプ(S)(396,33)FP
6menuitemヘルプ(H)(467,33)FP
7button患者一覧(52,58)TP
8buttonカルテ記載(123,58)TP
9buttonバイタル(188,58)TP
10button処方(236,58)TP
11button検査(278,58)TP
12button病名(319,58)TP
13buttonアレルギー(369,58)TP
14button検査結果窓(442,58)TP
15button処方一覧窓(515,58)TP
16buttonバイタル窓(588,58)TP
17button退院サマリ(664,58)TP
18buttonアレルギー(1784,84)FP
19buttonロキソプロフェン(1866,84)FP
20button2025/12月(40,108)FP
21button2026/01月(134,108)FP
22button2026/02月(228,108)FP
23button1(31,149)FP
24button8(40,162)FP
25tabカルテ(311,121)FP
26tab検体検査(372,121)FP
27tab検査推移(436,121)FP
28tab処方(497,121)FP
29tabオーダー(551,121)FP
30tab病名(605,121)FP
31tab文書(651,121)FP
32button来院歴(52,210)FP
33buttonアレルギー(106,210)FP
34button身体情報(159,210)FP
35input入院中。心不全のフォロー中。...(136,255)TP
36button外来処方(1862,135)TP
37button外来注射(1862,158)TP
38button院内処方(1862,180)TP
39button検体検査(1862,203)TP
40button画像診断(1862,226)TP
41button生理検査(1862,248)FP
42button病名登録(1862,271)TP
43button紹介状(1862,294)TP
44button入院指示(1862,316)TP
45button検査結果窓(1862,384)TP
46button処方一覧窓(1862,407)TP
47buttonバイタル窓(1862,430)TP
48button退院サマリ(1862,1008)TP
49buttonF1 ヘルプ(35,1063)FP
Prompt & raw response
Prompt
画面のスクリーンショットを見てください。
画面内で **クリックできる・入力できる UI 要素** をすべて列挙してください。
具体的には: ボタン / リンク / タブ / 入力欄 / チェックボックス / メニュー項目 など。
テキストだけの装飾・見出し・表示のみのテキストは対象外。

**重要**: 同じ種類の要素が繰り返し並んでいる場合 (カレンダーの日付やテーブルの各行の操作ボタン等) は
<b>代表1〜2個</b>だけ返して全部を列挙しないこと。総数は多くても 50 個まで。

各要素について以下を返してください:
- role: "button" / "input" / "tab" / "link" / "menuitem" / "checkbox" / "other" のいずれか
- x, y: その要素の中心座標 (0〜1000 正規化か絶対ピクセル、どちらでも可)
- label: 見えているテキスト (無ければアイコン記述、40文字以内)

画像サイズは 1920 × 1080 ピクセルです。
JSON配列のみで返してください。
Raw response
[
  {
    "role": "menuitem",
    "x": 18,
    "y": 31,
    "label": "ファイル(F)"
  },
  {
    "role": "menuitem",
    "x": 55,
    "y": 31,
    "label": "患者(P)"
  },
  {
    "role": "menuitem",
    "x": 86,
    "y": 31,
    "label": "カルテ(K)"
  },
  {
    "role": "menuitem",
    "x": 118,
    "y": 31,
    "label": "オーダ(O)"
  },
  {
    "role": "menuitem",
    "x": 161,
    "y": 31,
    "label": "テキスト挿入(T)"
  },
  {
    "role": "menuitem",
    "x": 206,
    "y": 31,
    "label": "スタンプ(S)"
  },
  {
    "role": "menuitem",
    "x": 243,
    "y": 31,
    "label": "ヘルプ(H)"
  },
  {
    "role": "button",
    "x": 27,
    "y": 54,
    "label": "患者一覧"
  },
  {
    "role": "button",
    "x": 64,
    "y": 54,
    "label": "カルテ記載"
  },
  {
    "role": "button",
    "x": 98,
    "y": 54,
    "label": "バイタル"
  },
  {
    "role": "button",
    "x": 123,
    "y": 54,
    "label": "処方"
  },
  {
    "role": "button",
    "x": 145,
    "y": 54,
    "label": "検査"
  },
  {
    "role": "button",
    "x": 166,
    "y": 54,
    "label": "病名"
  },
  {
    "role": "button",
    "x": 192,
    "y": 54,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 230,
    "y": 54,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 268,
    "y": 54,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 306,
    "y": 54,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 346,
    "y": 54,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 929,
    "y": 78,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 972,
    "y": 78,
    "label": "ロキソプロフェン"
  },
  {
    "role": "button",
    "x": 21,
    "y": 100,
    "label": "2025/12月"
  },
  {
    "role": "button",
    "x": 70,
    "y": 100,
    "label": "2026/01月"
  },
  {
    "role": "button",
    "x": 119,
    "y": 100,
    "label": "2026/02月"
  },
  {
    "role": "button",
    "x": 16,
    "y": 138,
    "label": "1"
  },
  {
    "role": "button",
    "x": 21,
    "y": 150,
    "label": "8"
  },
  {
    "role": "tab",
    "x": 162,
    "y": 112,
    "label": "カルテ"
  },
  {
    "role": "tab",
    "x": 194,
    "y": 112,
    "label": "検体検査"
  },
  {
    "role": "tab",
    "x": 227,
    "y": 112,
    "label": "検査推移"
  },
  {
    "role": "tab",
    "x": 259,
    "y": 112,
    "label": "処方"
  },
  {
    "role": "tab",
    "x": 287,
    "y": 112,
    "label": "オーダー"
  },
  {
    "role": "tab",
    "x": 315,
    "y": 112,
    "label": "病名"
  },
  {
    "role": "tab",
    "x": 339,
    "y": 112,
    "label": "文書"
  },
  {
    "role": "button",
    "x": 27,
    "y": 194,
    "label": "来院歴"
  },
  {
    "role": "button",
    "x": 55,
    "y": 194,
    "label": "アレルギー"
  },
  {
    "role": "button",
    "x": 83,
    "y": 194,
    "label": "身体情報"
  },
  {
    "role": "input",
    "x": 71,
    "y": 236,
    "label": "入院中。心不全のフォロー中。..."
  },
  {
    "role": "button",
    "x": 970,
    "y": 125,
    "label": "外来処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 146,
    "label": "外来注射"
  },
  {
    "role": "button",
    "x": 970,
    "y": 167,
    "label": "院内処方"
  },
  {
    "role": "button",
    "x": 970,
    "y": 188,
    "label": "検体検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 209,
    "label": "画像診断"
  },
  {
    "role": "button",
    "x": 970,
    "y": 230,
    "label": "生理検査"
  },
  {
    "role": "button",
    "x": 970,
    "y": 251,
    "label": "病名登録"
  },
  {
    "role": "button",
    "x": 970,
    "y": 272,
    "label": "紹介状"
  },
  {
    "role": "button",
    "x": 970,
    "y": 293,
    "label": "入院指示"
  },
  {
    "role": "button",
    "x": 970,
    "y": 356,
    "label": "検査結果窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 377,
    "label": "処方一覧窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 398,
    "label": "バイタル窓"
  },
  {
    "role": "button",
    "x": 970,
    "y": 933,
    "label": "退院サマリ"
  },
  {
    "role": "button",
    "x": 18,
    "y": 984,
    "label": "F1 ヘルプ"
  }
]