평가와 벤치마크
ASHD - 영수증 사진을 환불·보증 마감 알림으로 바꾸는 웹 서비스
사진 한 장에서 구매 정보를 읽어 마감 전에 알려 주는 서비스를 두 번 만들고 조용히 지나가던 실패를 고친 뒤 전시물로 남긴 기록
발행 게이트로 고른 humanizer를 한 달 만에 껐다
문서 조사로 이 블로그의 발행 전 게이트에 올린 humanizer 스킬을 31일 뒤 껐다. 끈 이유는 재검토 트리거에 없던 업스트림 정체와 다른 윤문 도구와의 반대 처방이었고, 그 뒤에 만든 2단 윤문의 게이트는 원문이 아니라 1단 결과와만 비교했다.
벤치에서 빨랐던 리랭크 설정을 7일 카나리가 되돌렸다
Hindsight-Crew의 리랭크 배치 300은 복제본 벤치에서 PASS를 받았다가 보류로 고쳐졌고, 운영 7일 카나리에서 cold 초과율과 warm p99에 걸려 롤백됐다. 그 판정은 롤백 규칙을 배포 전에 코드에 묶어 둔 판정기에서 나왔다.
collection-resilience-lab - 차단하는 서버와 수집 워커를 함께 만든 실험실
차단하는 서버를 직접 만들어 네 시나리오를 같은 조건으로 돌렸다. 결과는 모두 200/200이었고, 쓸 만한 교훈은 실제로 막힌 기록에서 나왔다.
Upstage API 하루 실측, 정확도를 맨 나중에 재기로 했다
영수증 50장에서 상호명 F1이 76%로 나왔다. 오답 14건을 원본과 대조하니 모델이 틀린 것은 1건이었고 나머지는 정답 쪽과 내가 쓴 스키마 문구가 만들었다.