Topic

평가·검증

주장과 실측이 갈리는 지점. 벤치마크, 재현율, 표본 수, 회귀 게이트를 다룬다.

판정

제품 도입을 판정할 때 정확도 표를 먼저 봐도 되는가? 정확도는 맨 나중에 잰다. 필드 정의, 응답 형식 지정, 과금 관측 경로를 먼저 고정하고 그 뒤에 잰다. 복제본 벤치가 합격시킨 속도 개선을 운영 카나리가 악화로 판정하면 무엇을 근거로 따르는가? 리랭크 배치 300은 운영 7일 카나리에서 cold 7.5초 초과율과 warm p99가 기준선보다 나빠 롤백했고, 그 판정은 배포 전에 코드 상수와 테스트로 묶고 판정기가 기준선과 대조하게 한 롤백 규칙에서 나왔다. 원천 테이블의 행 수를 사람 평가의 분모로 그대로 써도 되는가? 평가에 들어갈 분모는 원천 행을 세기 전에 중복 제거 규칙부터 정의한다. 작은 도구 사이트가 해외 마켓에서 500불에서 2000불에 팔린다는 Threads 글의 주장은 실제 체결가로도 맞는가 Flippa 도구 체결가 38건의 중앙값은 $375이고 $500 이상은 18건이라, 이 주장은 상단 일부에만 맞는다. 실험 결과가 사전에 정한 조건에 미달하면 무엇을 결론으로 쓰는가? 결정 규칙을 실행 전에 얼려두고, 표본이 그 규칙의 최소치에 미달하면 앞선 숫자가 있어도 승자를 고르지 않는다.

아티클

아티클 ·4분 읽기

검사기 셋을 지우고 테스트 73건을 71건으로 줄여서 닫았다

보안 점검 도구부터 접은 제품의 랜딩까지, 2026년 여름에 닫은 산출물 네 계열의 커밋에는 공통으로 검증되지 않은 주장의 삭제가 들어 있었다

아티클 ·4분 읽기

27일에 커밋일은 10일, 세션 인덱스에는 하루만 잡혔다

한 프로젝트의 27일 구간을 커밋 원장과 세션 인덱스 두 집계기로 각각 세어 보고, 밀도 수치에 집계 범위 라벨을 붙이지 않으면 무엇이 사라지는지 실측으로 확인한 기록

아티클 ·4분 읽기

석 달 동안 원천 부재로 닫아둔 8일 구간의 기록이 세 곳에 있었다

내 기기와 계정만 전수 조사해 원천 부재로 판정한 8일 구간의 1차 기록을 제3자 시스템과 클라우드 사본 세 곳에서 찾고, 부재 판정 라벨에 조사 범위를 붙이기로 한 기록

아티클 ·9분 읽기

191MB는 Pixel에서 잰 값이었다

새 모델 발표에 나온 속도·메모리·출처 주장을 내 환경의 값으로 읽으려다가, 그 숫자를 잰 조건이 원문에 이미 적혀 있었다는 것을 Jev 조사와 EmbeddingGemma 2 비교에서 두 번 확인했다.

아티클 ·4분 읽기

이미지 1,000장을 전부 열고 프롬프트 950건을 데이터에서 지웠다

무료 배포 자료가 유료 본체를 잠식하지 않는 선을 첫날 한 문장으로 고정하고, 그 선을 화면이 아니라 서버로 나가는 데이터에서 구현했다

아티클 ·4분 읽기

검색을 잃은 오후, 인수인계 스코프를 15분에 세 번 고쳐 썼다

팀 메모리 시스템의 백엔드 장비가 회수돼 시맨틱 검색이 끊긴 날, 로컬 덤프와 클라우드 드라이브의 파일 수정 시각으로 재직 전 구간의 타임라인을 다시 세운 기록

노트

노트 ·2분 읽기

Claude Code가 한 달 동안 바보가 된 이유

사고 깊이 하향, 사고 기록 삭제 버그, 프롬프트 한 줄. 세 가지가 겹쳐 재현 불가능한 품질 저하를 만든 과정과 교훈.

노트 ·1분 읽기

원샷 PRD는 반쪽이다, enhance 루프를 돌려라

품질 게이트 9개 기준 정량 채점, 갭 분석과 추가 인터뷰 루프로 7.5점에서 9.5점까지. 원샷 완벽은 LLM에게 아직 무리다.