이번 Anthropic은 정말로 대중의 분노를 샀는데, 제가 팔로우하는 연구원들 거의 모두가 그들을 비난하고 있습니다. 주로 지적되는 문제점은 다음과 같습니다:
안전 위험
이 시스템의 보안 장벽은 매우 엄격합니다. 가장 기초적인 중학교 생물학 문제조차 물어보면 답변을 거부당합니다. 이로 인해 많은 생물학 연구자와 연구팀이 과학 연구를 수행하기 위한 정상적인 허가를 받지 못하고 있습니다.
데이터 저장 정책
Mythos 및 Fable 모델의 데이터는 평문으로 저장되며, 최대 2년 동안 의무적으로 보관됩니다. 공식적으로는 보안 분석 및 오탐지 감소를 위해서만 사용되며 모델 훈련에는 사용되지 않는다고 주장하지만, 업계에서는 아무도 이러한 주장을 믿지 않습니다. 이 조항이 존재하기 때문에 마이크로소프트는 이미 내부에서 Fable 모델의 사용을 금지했습니다.
숨겨진 강등 (가장 심각한 문제)
시스템이 사용자가 Fable 모델을 디스틸하려는 것으로 판단하면, 단순히 서비스를 거부하는 데 그치지 않고 몰래 모델을 Opus 4.8 또는 그보다 낮은 버전으로 다운그레이드합니다. 심지어 프롬프트 수정이나 미세 조정 등의 방법을 통해 Fable이 관련 주제에 대해 더 어리석게 반응하도록 은밀히 조작하여, 성능이 원래의 Opus 4.8보다도 떨어지게 만들기도 합니다.
사람들이 가장 분노하는 점은 바로:
도움을 주든지, 아니면 거절하든지 해야 합니다. 돕는 척하면서 실제로는 의도적으로 결과를 나쁘게 만드는 것은 매우 심각한 윤리적 문제입니다. 이는 해당 모델을 기반으로 수행된 모든 알고리즘 효율성 비교 및 평가를 직접적으로 훼손하여, 현재 테스트기를 통해 정상적인 평가를 수행하는 것이 전혀 불가능한 상황을 초래하고 있습니다.
https://x.com/op7418/status/2064909864867074294?s=20
705
2시간 전
