판정문
질문, 판정, 근거와 재검토 트리거를 한 곳에서 본다.
벤치에서 빨랐던 리랭크 설정을 7일 카나리가 되돌렸다
Hindsight-Crew의 리랭크 배치 300은 복제본 벤치에서 PASS를 받았다가 보류로 고쳐졌고, 운영 7일 카나리에서 cold 초과율과 warm p99에 걸려 롤백됐다. 그 판정은 롤백 규칙을 배포 전에 코드에 묶어 둔 판정기에서 나왔다.
보지도 않은 리뷰가 주간 사용량 19%를 썼다
GPT를 부른 기억이 없는데 Codex 주간 사용량이 줄어 있었다. 서버 사용 내역이 가리킨 주인은 GitHub 자동 코드 리뷰였고, 지적 대부분이 맞았는데도 머지가 끝난 뒤에 도착해 반영된 것이 없었다. 그래서 끄고, 같은 리뷰를 머지 전 검수 안으로 옮겼다.
Upstage API 하루 실측, 정확도를 맨 나중에 재기로 했다
영수증 50장에서 상호명 F1이 76%로 나왔다. 오답 14건을 원본과 대조하니 모델이 틀린 것은 1건이었고 나머지는 정답 쪽과 내가 쓴 스키마 문구가 만들었다.
Gemini 무료 계정, 하루 5회라던 한도를 직접 세어봤다
무료 계정만으로 따라올 수 있어야 하는 소상공인 AI 교육을 만들다 보니 무료 한도가 교재의 사실 주장이 됐다. 문서와 커뮤니티의 숫자를 직접 확인하자 세 항목이 달랐다.
표준이라던 TEI 추론 서버가 내 맥에서는 10배 느렸다
개인 메모리 검색을 죽이던 리랭킹 35~55초를 표준 해법인 TEI로 고치려다 실측에서 기각했다. 채택 근거는 벤더가 발표한 수치가 아니라 내 기계에서 나온 숫자다.