claude3.5 sonnetのコード生成能力

最近はclaude3.5 sonnetでコードを書いてもらうことが多いが、先ほどもclaudeのエクスポートデータをsqliteに入れるためのpythonコードを書いてもらった。

まずチャットのjsonデータのサンプルを提示して、この情報をもとにsqliteに格納するコードを書かせたのだが、テーブル設計は完璧だった。jsonvalueがリストだったり、さらにjson入れ子になっていたりするのだが、このあたりも正規化して主キーも外部参照設定もきれいに設計してくれたので驚いた。

作らせる前は2つテーブルがいるだろうなと予想していたが、3つ設計してきて、よくよくjsonデータを見ると確かに3ついることがわかり、私が気付かなかった点も漏らさずに反映させている。artifactによりコードが右側に独立して表示されるのも非常に見やすい。

 

chatGPTを使う機会がどんどん減りそうだ。

 

現時点での私の評価だと、大規模言語モデルとしての地頭では上から、claude3.5、gemini、GPT4oという順番となる。ただしwebアプリとしてみた場合にはchatGPTは周辺機能が充実しているのでchatGPTが上回るかなといった感じだ。gemini advancedは周辺機能が弱い。特にエクスポート機能がないのが残念だ。

主に英文の要約を作るのに利用しているが、拒否する頻度はclaudeが一番低い。geminiは回答を拒否することが結構多い。再回答させることで最終的には回答してくれることも多いが、政治的なものや性的なものに対してガードレールが強めではないかという気がする。