클로드 소넷 4.6과 함께 공개된 동적 필터링 기능에 대해서 말씀드립니다.

동적 필터링은 클로드가 웹 검색/가져오기 툴을 이용한 뒤 결과를 컨텍스트에 넣기 전에 자동으로 코드를 작성하고 실행합니다. 기존에는 검색 결과 전체 HTML을 불러와 토큰을 낭비했지만 이제 관련 정보만 필터링해 넣습니다. 이로 인해 응답 품질이 향상되고 토큰 사용량이 줄어듭니다. 간단하게 아래 이미지로 성능과 토큰 사용량 전후를 비교해보세요.


즉, 웹 검색 등 HTML을 파싱하는 코드를 직접 작성해서 이를 실행하여, 기존에 HTML을 통째로 가져올 때보다 여러 성능이나 효율 면에서 큰 이득을 보았다는 내용입니다.

이는 소넷 4.6과 오퍼스 4.6에서 사용되며, API 사용시 헤더 추가로 지정해주어야 합니다.

개인적으로 웹검색/가져오기 툴이 HTML 내용 전체를 가져와 읽기 때문에 토큰 낭비가 심하다는 글을 최근에 보았습니다. 웹 크롤러처럼 링크를 타고 타고 들어가서 보지 않을 뿐이지, 주어진 링크는 전체를 가져오겠더라고요. 이럴때 필요한 텍스트만 딱 가져오는 그런게 있으면 좋겠다고 생각한게 정확히 2주 전쯤입니다. 그런데 앤스로픽은 역시 빠르네요!

내가 생각한건 항상 누가 만들고 있더라...