自律型AIエンジニアDevinの実力と開発現場への応用

1.はじめに

こんにちは、次世代システム研究室のK.X.Dです。

自律型AIエンジニアDevinの実力開発現場への応用について、初導入の実績、事例を紹介したいと思います。

2.結論

• Devin Wikiやソースコード調査はすごく便利
• PRの対応速度はとても早い
• PRのマージ割合は半分
• うまくいくケースは、指示がはっきりな内容

3.Devinとは

Cognition Labsが開発した、世界初の完全自律型AIソフトウェアエンジニアです。

特徴
要件定義から設計、実装、テスト、デプロイまでを自律的に実行。
自然言語での指示に対応し、タスクを自動で完了。
クラウド上の仮想環境で実装・テスト実行が可能
ローカルPCとは別で動作するので、人間は並列で別の作業ができる。

4.ACUとは

Devinが作業工数の基本単位です。1 ACU = 約15分作業時間

月額500ドル（約75000円）の標準プランでは250 ACUが提供されます

時給に約8ドル/時間（約1,200円/時間）

人間の稼働工数のように、DevinのACUは上手く管理するとコスト効率できます。

5.全自動で動く超便利な機能

5-1.ドキュメント自動化

初回Devinセットアップの際に、DevinはプロジェクトのソースコードをIndexして、Devin Wikiにソースコードの構造から自動で資料を作成します。

ソースコードのアーキテクチャ、主要な機能が一瞬でまとめられてます。

自分のプロジェクトでは90%以上の精度ができてます。超便利な機能です。

今後、新しいメンバーが入る時に、全体像把握ための資料で活用できると思います。

5-2.ソースコード調査

DevinはWiki化できるノウハウにより、いつでもソースコード仕様を聞き出す可能

調査依頼はDevinのコンソール画面または、Slackより呼び出のどちらかでもできます。
※Slackの方は、便利で利用できます。

6.全自動の実装力の実態

6-1.外部情報を使って、実装する

LINE APIによりユーザーへ自動でLINEメッセージ送信する機能実装するために、LINE API情報のURLを指示に入れました。

Devinは外部リンク先の情報が読み込みができて、すごく便利でプロンプト書くことができます。

既存のLINE API実装も賢く参考してくれます。

結果：
Devinの実装時間は、2分でPRを作成できました。
人間の対応は30分で動作確認を行いました。

6-2.少し難しい実装 （新卒レベルのアウトプット）

運用対応で、あるクエリを毎回手動実装する必要であり、そのような手間を削減ためにDevinに機能化指示しました。

今回もDevinは自動でGithub Issueページにあるクエリ情報が賢く収集できて、依頼内容がある程度理解と実装できてましたが

下記のような問題点であります。

• プログラムアーキテクチャー無視
• 画面のUI実装は弱い
• 要らないソースコードが残ってる

結果
Devinの実装時間は3分で、人間の対応時間は1時間30分です。

人間は正しいプログラムアーキテクチャーをはっきりで再指示、画面のUI実装

7.まとめ

Devinのメトリクス機能で、Devinにより作成のPRのマージ割合集計できます。

自分のプロジェクトのマージ割合は48.7%です。

傾向としては、

• 曖昧な指示（プロンプト）で、ダメなPR
• はっきりな指示で、品質が高いPR

宣伝

次世代システム研究室では、アプリケーション開発や設計を行うアーキテクトを募集しています。アプリケーション開発者の方、次世代システム研究室にご興味を持って頂ける方がいらっしゃいましたら、募集職種一覧 からご応募をお願いします。
皆さんのご応募をお待ちしています。