팀 미라이의 AI 팩트 체커(증거 체커)를 2일 만에 만든 이야기 - 일본은 인지전에 어떻게 대처할 것인가?

시작하며

팀 미라이에서 AI 팩트 체커(이하 체커)를 만들었다.

거짓 정보라는, 전 세계 민주주의를 흔드는 큰 문제에 어떻게든 대처하고, 조금이라도 세계의 분단을 회피하기 위해서다.

공명당도 이용을 표명하고 있듯이, 정당을 횡단하여 사용할 수 있는 도구이며, 민주주의의 질을 향상시킬 가능성을 지닌 획기적인 도구라고 생각한다.

이하에서는, 자기소개, 체커를 만든 배경, 체커로 무엇에 대처하려고 하는지, 기술적인 설명, 실제로 작동시켜 어떠했는지, 앞으로 어떻게 해나갈지, 를 쓴다.

자기소개

나는 상좌부 불교도이며, 정당이나 이데올로기에는 관심이 없다.

살아있는 모든 것에게 도움이 되면 좋다.

이번에는 팀 미라이에서 개발하는 것이 가장 세상에 도움이 된다고 생각했기 때문에 참가했을 뿐, 특정 정당을 편들 생각은 없다.

체커를 만든 배경

원래, 세상에 혐오와 분단이 퍼져나가는 것을 어떻게든 하고 싶다고 생각했다.

이 글이 실린 Evame라는 사이트도 내가 개발한 다국어 블로그 사이트로, 사용자가 쓴 기사가 자동으로 다국어로 번역되는 사이트인데, 이 사이트도 지식이나 이야기를 세계적으로 공유함으로써 분단을 회피할 수 있지 않을까 생각하며 개발하고 있다.

그러던 중, 야스노 씨로부터 체커의 제안이 있었고, 확실히 이것은 세상에 도움이 될 것 같다고 생각했다.

또한, 이전 불교 AI라는 팔리어 삼장의 경장을 바탕으로 답변하는 AI를 만든 적이 있었기 때문에, 그 경험을 바탕으로 OpenAI의 VectorStore를 사용하면 할 수 있다는 것을 알고 개발을 시작했다.

예상대로 기능 자체는 2~3시간 만에 만들었지만, X의 API나 GCP와의 권한 관련 인증과, 정확도를 높이기 위한 프롬프트 조정으로 공개까지는 2~3일 걸렸다. 여담이지만, 팀 미라이는 진짜 스타트업이었기 때문에, 처음에는 이 부분의 권한 관련도 야스노 씨가 하고 있었다.

체커로 무엇에 대처하려고 하는가

SNS에 의한 거짓 정보 확산의 위협은, 이미 큰 정치적 리스크가 되어, '인지전'이라고 불리는 새로운 전장이 되고 있다.

루마니아에서는 2024년 대통령 선거에서 인플루언서가 외국에 매수되어, 결과가 부정하게 조작되었다는 의혹이 크다고 하여, 실제로 대통령 선거가 다시 치러졌다.

미국에서는 SNS는 혐오를 부추기는 연료가 되고 있다고 하며, 정책의 타협이 어려워지고, 폭력 동원의 위험이 지속되고 있다고 한다.

기존의 인력에 의한 감시로는, 24시간 체제로 SNS를 체크하는 것은 현실적으로 불가능했다. 또한, 거짓 정보의 유포부터 정정까지 부정확한 정보가 확산되는 문제도 심각하다. 팀 미라이의 팩트 체커는, 이 과제에 즉응하는, 구체적인 해결책으로 개발되었다.

기술적인 설명

이 시스템은 5개의 단계로 작동한다.

1. 매니페스트 등의 신뢰할 수 있는 정보를 시스템에 등록

2. Twitter/X상에서 특정 키워드(ex. 팀 미라이, 야스노 타카히로)의 투고를 자동 수집

3. OpenAI의 GPT와 VerctorStore를 사용한 RAG로, 신뢰할 수 있는 정보와 맞춰 진위 판정

4. 의심스러운 정보를 검출했을 경우, Slack에 통지

5. 인간이 판단을 행하고, 필요에 따라 대응.

최종적인 판단은 인간이 행하는 것이 중요하다. AI는 어디까지나 대량의 정보를 선별하는 역할을 수행하고, 대응은 인간이 책임감을 가지고 행한다.

오픈 소스이므로, 더 깊이 알고 싶은 사람은 이하에서 코드를 엿봐주길 바란다.

GitHub - team-mirai-volunteer/fact-checker: Twitter/X投稿をリアルタイム監視し、AI powered ファクトチェックで政党関連の誤情報を自動検出‧ Slack通知するシステム

Twitter/X投稿をリアルタイム監視し、AI powered ファクトチェックで政党関連の誤情報を自動検出‧ Slack通知するシステム - team-mirai-volunteer/fact-checker

github.com

실제로 작동시켜 어떠했는가

1. 전문가로부터 「당사자가 행하는 것은 팩트 체크라고 말하지 않는다」라는 지적이 있었다.

   이것은 지적대로이며, 그 후 명칭을 증거 체커로 변경하기로 결정했다(선거가 너무 바빠서 아직 여러 설정 변경은 되어 있지 않지만､､､､).

2. 팀 미라이는 아직 지명도가 높지 않고, 유명 정당만큼 거짓 정보는 흐르지 않았기 때문에, 효과는 제한적이었다.

   팀 미라이에서 작동시키고 있는 체커는 어디까지나 팀 미라이의 매니페스트 등을 바탕으로 조사하므로, 기타 정당에 대한 정보는 조사할 수 없고, 일반적인 정보에 대해서도 조사할 수 없다. 이것은 어떻게든 해야 할 과제라고 생각한다.

   예를 들어 대만에서는 Cofacts라는 시민 연계 팩트 체크 기관이 있어, AI와 인간이 협력하여 INE 봇 경유로 1일 3,000건의 투고를 AI＋인간이 체크하는 구조가 있다.

   https://news.yahoo.co.jp/expert/articles/ea08db1d092604950430e920febc63682cd1b6b9

   이러한 구조를 일본에서도 하고 싶다고 생각하고 있다.

3. 실제로 분단을 낳고 있는 것은, 명확한 거짓 정보라기보다는 악의 있는 언급이 아닐까 생각했다.

   이것은 정량적인 분석이 되어 있는 것은 아니기 때문에 명확하게 말할 수는 없지만, 실제로 선거 중의 언론을 보고 있으면 「〇〇는 무능하다」든가 「〇〇 때문에 일본은 망했다」라는 것과 같은, 명확하게 거짓 정보라고 판단할 수 없는 악의 있는 말이 많이 오가고 있었다. 향후 「인지전」이라고 불리는 영역에서는, 이러한 언설에 대항하는 것도 필요하다고 생각하고 있다.

앞으로 어떻게 해나갈까

「인지전」은, 이번 선거뿐만 아니라, 향후 국민 생활에 크게 영향을 미치는 과제다.

선거 종료 후에는 디지털 민주주의 2030이라는 틀에서 이에 대항해나가고 싶다.

デジタル民主主義2030

デジタル民主主義2030プロジェクトポータルサイト

dd2030.org

구체적으로 어떻게 해나갈지에 대해서는 백지이지만, 대만의 사례를 참고하면, 밈에 의해 악의에 대항하는 것이 합리적이지 않을까 생각하고 있다.

대만에서는 「humour over rumour(소문보다 유머)」라는 접근 방식으로 거짓 정보에 대항하고 있는데, 예를 들어 「화장지가 없어진다!」라는 소문이 돌았을 때, 정부의 쑤 총리가 “엉덩이를 흔드는” 만화를 게재하여, 엉덩이는 하나, 사재기해도 소용없다는 유머로 거짓 정보에 대항했다.

How Taiwan used memes to fight pandemic rumours

Audrey Tang, Taiwan’s Digital Minister, shares three ingredients behind Taiwan’s successful pandemic response.

govinsider.asia

일본풍으로 말하면 「악의보다 웃음」이 될까.

만약 웃음으로 세상을 좋게 하는 것에 관심이 있는 사람이 있다면 디지털 민주주의 2030에 참가해주길 바란다. 엔지니어뿐만 아니라, 코미디언이나 동영상 크리에이터 등도 있어주면 매우 도움이 된다.