8.9 KiB
8.9 KiB
E2Eテスト概要
このドキュメントは、E2Eテストの目的・前提条件・実行方法を短くまとめた索引です。 E2Eテストを追加・変更した場合は、このドキュメントも更新してください。
前提条件
ghCLI が利用可能で、対象GitHubアカウントでログイン済みであること。takt-testingリポジトリが対象アカウントに存在すること(E2Eがクローンして使用)。- 必要に応じて
TAKT_E2E_PROVIDERを設定すること(例:claude/codex)。 - 実行時間が長いテストがあるため、タイムアウトに注意すること。
- E2Eは
e2e/helpers/test-repo.tsがghでリポジトリをクローンし、テンポラリディレクトリで実行する。 - 対話UIを避けるため、E2E環境では
TAKT_NO_TTY=1を設定してTTYを無効化する。 - 実行ディレクトリの形式(macOSの例):
- リポジトリクローン:
$(os.tmpdir())/takt-e2e-repo-<random>/ - 実行環境:
$(os.tmpdir())/takt-e2e-<runId>-<random>/
- リポジトリクローン:
実行コマンド
npm run test:e2e: E2E全体を実行。npm run test:e2e:mock: mock固定のE2Eのみ実行。npm run test:e2e:provider:claudeとcodexの両方で実行。npm run test:e2e:provider:claude:TAKT_E2E_PROVIDER=claudeで実行。npm run test:e2e:provider:codex:TAKT_E2E_PROVIDER=codexで実行。npm run test:e2e:all:mock+providerを通しで実行。npm run test:e2e:claude:test:e2e:provider:claudeの別名。npm run test:e2e:codex:test:e2e:provider:codexの別名。npx vitest run e2e/specs/add-and-run.e2e.ts: 単体実行の例。
シナリオ一覧
- Add task and run(
e2e/specs/add-and-run.e2e.ts)- 目的:
.takt/tasks.yamlに pending タスクを配置し、takt runが実行できることを確認。 - LLM: 条件付き(
TAKT_E2E_PROVIDERがclaude/codexの場合に呼び出す) - 手順(ユーザー行動/コマンド):
.takt/tasks.yamlにタスクを作成(pieceはe2e/fixtures/pieces/simple.yamlを指定)。takt runを実行する。README.mdに行が追加されることを確認する。- 実行後にタスクが
tasks.yamlから消えることを確認する。
- 目的:
- Worktree/Clone isolation(
e2e/specs/worktree.e2e.ts)- 目的:
--create-worktree yes指定で隔離環境に実行されることを確認。 - LLM: 条件付き(
TAKT_E2E_PROVIDERがclaude/codexの場合に呼び出す) - 手順(ユーザー行動/コマンド):
takt --task 'Add a line "worktree test" to README.md' --piece e2e/fixtures/pieces/simple.yaml --create-worktree yesを実行する。- コマンドが成功終了することを確認する。
- 目的:
- Pipeline mode(
e2e/specs/pipeline.e2e.ts)- 目的: ブランチ作成→タスク実行→コミット→push→PR作成の一連フローを確認。
- LLM: 条件付き(
TAKT_E2E_PROVIDERがclaude/codexの場合に呼び出す) - 手順(ユーザー行動/コマンド):
takt --pipeline --task 'Create a file called hello.txt with the content "Hello World"' --piece e2e/fixtures/pieces/simple.yaml --auto-pr --repo <owner>/<repo>を実行する。- 出力に
completedとPR createdが含まれることを確認する。 gh pr list --repo <owner>/<repo>でPRが作成されていることを確認する。
- GitHub Issue processing(
e2e/specs/github-issue.e2e.ts)- 目的: Issue番号からパイプラインを起動してPR作成までを確認。
- LLM: 条件付き(
TAKT_E2E_PROVIDERがclaude/codexの場合に呼び出す) - 手順(ユーザー行動/コマンド):
gh issue create --title 'E2E Test Issue' --body 'Create a file called issue-test.txt with the content \"Issue resolved\"' --repo <owner>/<repo>でIssueを作成する。- 作成したIssue番号を控える。
takt --pipeline --issue <issue-number> --piece e2e/fixtures/pieces/simple.yaml --auto-pr --repo <owner>/<repo>を実行する。- 出力に
Issue #/completed/PR createdが含まれることを確認する。 gh pr list --repo <owner>/<repo>でPR一覧にIssueタイトルがあることを確認する。
- Direct task execution(
e2e/specs/direct-task.e2e.ts)- 目的:
--taskの直接実行が、プロンプトなしで完了することを確認。 - LLM: 呼び出さない(
--provider mock固定) - 手順(ユーザー行動/コマンド):
takt --task 'Create a file called noop.txt' --piece e2e/fixtures/pieces/mock-single-step.yaml --create-worktree no --provider mockを実行する。TAKT_MOCK_SCENARIO=e2e/fixtures/scenarios/execute-done.jsonを設定する。- 出力に
Piece completedが含まれることを確認する。
- 目的:
- Pipeline mode with --skip-git(
e2e/specs/pipeline-skip-git.e2e.ts)- 目的:
--skip-git指定時にGit操作を行わずパイプラインが完了することを確認。 - LLM: 呼び出さない(
--provider mock固定) - 手順(ユーザー行動/コマンド):
takt --pipeline --task 'Create a file called noop.txt' --piece e2e/fixtures/pieces/mock-single-step.yaml --skip-git --provider mockを実行する。TAKT_MOCK_SCENARIO=e2e/fixtures/scenarios/execute-done.jsonを設定する。- 出力に
completedが含まれることを確認する。
- 目的:
- Report + Judge phases(
e2e/specs/report-judge.e2e.ts)- 目的: reportフェーズとjudgeフェーズを通ることを確認(mockシナリオ)。
- LLM: 呼び出さない(
--provider mock固定) - 手順(ユーザー行動/コマンド):
takt --task 'Create a short report and finish' --piece e2e/fixtures/pieces/report-judge.yaml --create-worktree no --provider mockを実行する。TAKT_MOCK_SCENARIO=e2e/fixtures/scenarios/report-judge.jsonを設定する。- 出力に
Piece completedが含まれることを確認する。
- Add task(
e2e/specs/add.e2e.ts)- 目的:
takt addがIssue参照からタスクファイルを生成できることを確認。 - LLM: 呼び出さない(
provider: mock+TAKT_MOCK_SCENARIO固定) - 手順(ユーザー行動/コマンド):
gh issue create ...でIssueを作成する。TAKT_MOCK_SCENARIO=e2e/fixtures/scenarios/add-task.jsonを設定する。takt add '#<issue>'を実行し、Create worktree?にnで回答する。.takt/tasks.yamlにtask_dirが保存され、.takt/tasks/{slug}/order.mdが生成されることを確認する。
- 目的:
- Watch tasks(
e2e/specs/watch.e2e.ts)- 目的:
takt watchが監視中に追加されたタスクを実行できることを確認。 - LLM: 呼び出さない(
--provider mock固定) - 手順(ユーザー行動/コマンド):
takt watch --provider mockを起動する。.takt/tasks.yamlに pending タスクを追加する(pieceにe2e/fixtures/pieces/mock-single-step.yamlを指定)。- 出力に
Task "watch-task" completedが含まれることを確認する。 Ctrl+Cで終了する。
- 目的:
- Run tasks graceful shutdown on SIGINT(
e2e/specs/run-sigint-graceful.e2e.ts)- 目的:
takt runを並列実行中にCtrl+Cした際、新規クローン投入を止めてグレースフルに終了することを確認。 - LLM: 呼び出さない(
--provider mock固定) - 手順(ユーザー行動/コマンド):
.takt/tasks.yamlにworktree: trueの pending タスクを3件投入する(concurrency: 2)。- 各タスクの
pieceにe2e/fixtures/pieces/mock-slow-multi-step.yamlを指定する。 TAKT_MOCK_SCENARIO=e2e/fixtures/scenarios/run-sigint-parallel.jsonを設定する。takt run --provider mockを起動し、=== Running Piece:が出たらCtrl+Cを送る。- 3件目タスク(
sigint-c)が開始されないことを確認する。 === Tasks Summary ===以降に新規タスク開始やクローン作成ログが出ないことを確認する。
- 目的:
- List tasks non-interactive(
e2e/specs/list-non-interactive.e2e.ts)- 目的:
takt listの非対話モードでブランチ操作ができることを確認。 - LLM: 呼び出さない(LLM不使用の操作のみ)
- 手順(ユーザー行動/コマンド):
takt list --non-interactive --action delete --branch <branch> --yesを実行する。- 対象ブランチが削除されることを確認する。
takt list --non-interactive --action diff --branch <branch>で差分統計が出力されることを確認する。takt list --non-interactive --action try --branch <branch>で変更がステージされることを確認する。takt list --non-interactive --action merge --branch <branch>でブランチがマージされ削除されることを確認する。
- 目的: