eval-harness

dataset

fleet_dedup_v1

100 items · 2 arms. Headline: each arm's own primary metric, mean over its items; arms with different primary metrics are not ranked against each other.

Open its sheet

01arms

scored against silverscored by a judgewrote the reference it is scored againstscored against a label set, not a reference setunmarked rows are scored against gold

2 shown
armmetricmeanitemscost per itemspeed per itemrunsscored against
dedup_guard_v1key_match1.000100not recordedp50 0.048 · p95 0.089 ms1silver/fleet_dedup_v1 silverinspect
dedup_pinned_f07efa9_v1key_match—100not recordedp50 0.069 · p95 0.17 ms1—inspect

02what's inside

100 items, json, 17–65 words (median 33, middle half 33–35).

05010017–21 words: 1427–31 words: 732–36 words: 5637–41 words: 942–46 words: 562–66 words: 917–2122–2627–3132–3637–4142–4647–5152–5657–6162–66
100 shown
itemwordsgoldopen
glitchtip:PO27——
glitchtip:PO45——
glitchtip:PO35——
glitchtip:PO41——
glitchtip:PO39——
glitchtip:PO65——
glitchtip:PO65——
glitchtip:PO65——
glitchtip:PL31——
glitchtip:PO17——
glitchtip:OR33——
glitchtip:PO45——
glitchtip:PO35——
glitchtip:PO39——
glitchtip:PO65——
glitchtip:PO65——
glitchtip:PL33——
glitchtip:PL31——
glitchtip:PL29——
glitchtip:PL29——
glitchtip:PO45——
glitchtip:PO35——
glitchtip:PO39——
glitchtip:PO65——
glitchtip:PO33——
glitchtip:PO43——
glitchtip:PO35——
glitchtip:PO39——
glitchtip:PO41——
glitchtip:PO65——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO17——
glitchtip:PO39——
glitchtip:PO65——
glitchtip:PO17——
glitchtip:PO32——
glitchtip:OR33——
glitchtip:OR33——
glitchtip:OR33——
glitchtip:OR27——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO31——
glitchtip:PO35——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO65——
glitchtip:PO35——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO35——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO39——
glitchtip:PO39——
glitchtip:PO45——
glitchtip:PO35——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO35——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——
glitchtip:PO33——

Each row is the profile evh dataset-items --dataset-id fleet_dedup_v1 prints; inspect opens the item in the inspector with the dataset's largest group of comparable arms, and its text where the inspector runs on a machine that has it.

03reference sets

04labels

setmade oncoverageguidelinemadepromoted
model silver_fleet_dedup_v1this one100 of 100nonemodel · dedup_pinned_f07efa9_v1_20261030T143130Z 2026-11-01silver/fleet_dedup_v1 silver