Claude Codeの性能向上・劣化を可視化したい！

概要

Claude Codeの性能変化を客観的に把握するため、X（旧Twitter）のユーザー投稿を感情分析し時系列で可視化するシステムの構築を試みた実験レポート。

詳細内容

筆者は、日々変化を感じるClaude Codeの性能を可視化するため、まず固定タスクによるベンチマークを試みたが、難易度設計の困難さから断念した。その後、SNS上のユーザーの「体感」を収集・分析するアプローチへ転換。形態素解析を用いた辞書ベースの判定と、Claude自身によるLLMベースの感情分析（速度、品質、知能、信頼性、コストの5観点）を組み合わせ、エンゲージメント加重平均による「性能インデックス」を算出するダッシュボードを構築した。定性的な声を数値化する仕組みを実現したものの、X APIの高額なコストが実運用上の大きな壁となることも明らかにしている。

元記事を読む他のサマリーを見る