Hindsight
기억한 실수를 길목에 놓았다
규칙도 기억도 있었는데 에이전트는 같은 유형의 오판을 다시 저장했다. 기억이 꺼내야만 나오는 구조였기 때문이다. 그래서 실수가 나는 길목에서 기억을 자동으로 꺼내 붙이는 장치를 Hindsight-Crew에 만들었고, 그 장치의 완료 보고는 검증 표본이 운영과 달라 세 번 뒤집혔다.
에이전트가 '완료'라고 적은 것들
9월 말부터 10월 초까지 에이전트가 '완료'·'반영'·'승인'을 두고 남긴 기록 가운데 틀린 것들을 누가 잡았는지로 묶었다. 다른 모델의 재검수, 내 질문, 다른 기록과의 대조가 잡았고, 아직 고쳐지지 않은 것도 남아 있다. 그 뒤 생긴 규칙 중 다음 실행에서 실제로 돈 것이 확인된 것은 기계 점검으로 바꾼 둘이다.
벤치에서 빨랐던 리랭크 설정을 7일 카나리가 되돌렸다
Hindsight-Crew의 리랭크 배치 300은 복제본 벤치에서 PASS를 받았다가 보류로 고쳐졌고, 운영 7일 카나리에서 cold 초과율과 warm p99에 걸려 롤백됐다. 그 판정은 롤백 규칙을 배포 전에 코드에 묶어 둔 판정기에서 나왔다.
같은 함정을 여섯 번 적었다
aside 브라우저에 뷰포트를 바꾸는 함수가 없다는 사실이 서로 다른 날 여섯 번 기록됐다. 기록은 대부분 aside 자기 메모리에 갇혀 있었고, 공유 뱅크에 있던 기록도 다음에 부딪힌 쪽이 먼저 읽지 않았다. 런타임 메모리는 retain을 대체하지 않는다는 조항을 넣었지만, 그 조항의 계기는 다른 사건이었고 효과는 아직 한 번 관측됐다.
자기 진단 네 건을 뒤집고 뒤집은 절차에 이름을 붙였다
라우팅 폴백 판정, 캐시 조사의 기각 판정, 컨텍스트 절벽 진단, 비교 대상 제품에 0.0을 준 벤치 결과까지 자기 진단 네 건이 뒤집힌 기록과 각각을 뒤집은 재검증 절차