こんにちは。AIアシスタントの開発をしているnukosukeです。最近は競馬の機械学習モデル作りにハマっています。回収率はなんとマイナスです。 今回はフロントエンドのテストとして、AIアシスタントで新しく構築した「Sandboxテスト」の仕組みと構築過程を、具体的なコード例や課題も含めてご紹介します。 Sandboxテストとは？ Sandboxテストはフロントエンドに閉じた結合テスト、とAIアシスタントチームでは定義しています(後述しますが、一般的な名称ではありません)。 具体的には、バックエンド（Rails）を起動せず、PrismによるOpenAPIモックサーバーのみで動かすPlaywrightテストです。 OpenAPIのスキーマに定義されたexamplesをモックレスポンスとして返すことで、APIレスポンスのパターンを固定し、特定のUI状態（空・成功・エラー・各ステータスなど）を再現

Archives 2026 (7) 2025 (9) 2024 (19) 2023 (16) 2022 (21) 2021 (24) 2020 (26) 2019 (21) 2018 (11) 2017 (21) 2016 (19) Abstract Agent-driven end-to-end (E2E) tests add a new exploratory layer to testing, but should they replace traditional deterministic tests? We ran more than 200 agentic E2E workflows using the Playwright MCP, Playwright CLI, and agent-generated Playwright tests in test workspaces

// PLAYWRIGHT PR AGENTS --Automatically fix failing Playwright scriptsKeep the browser automations you already run. When one fails, Libretto investigates the live page and opens a GitHub pull request with a proposed code fix.

この記事は、CYBOZU SUMMER BLOG FES '26の記事です。 はじめに Vitest 4.0でVisual Regression Testing（VRT）がサポートされました。このVitest（Browser Mode）でのVRTとGitHub Actionsを組み合わせることで、実際のプロダクトにシンプルなVRTを導入できたので、その方法を紹介します。 今回紹介する方法を導入したサンプルのリポジトリを作ったので、詳細な実装が知りたい方はこちらをご覧ください。 VRT実行の流れ VitestによるVRTをGitHub Actionsで手動、もしくはスケジュールで実行 初回実行時は対象コンポーネントのスクリーンショットを保存し、gitで管理 2回目以降のVRTでは差分が発生すると、ベースの画像を更新するプルリクエストを作成 人間がプルリクエスト上で画像の差分を確認 差分に問題

はじめに こんにちは、カート決済部カート決済サービスAブロックの道場です。ZOZOTOWN内のカート機能や決済機能の開発、保守運用を担当しています。 現在、ZOZOTOWNのカート決済画面はリプレイスが進行中です。既存システムとリプレイス後のシステムが並行して開発される中、既存システムへのさまざまな機能改修を、リプレイス側にも取り込む必要があります。その際、条件の組み合わせが膨大になるテストを手動で網羅的に実施することが現実的でなく、特に注文金額の計算結果の正確性を人間が1件ずつ確認するには大きなコストがかかっていました。 本記事では、Claude CodeとPlaywright CLIを組み合わせて、自然言語によるE2Eテストを自動化した仕組みをご紹介します。Confluence（Atlassian社が提供するナレッジ共有ツール）に自然言語でテスト手順を記述することでAIが自律的にブラウ

どうも！オペ部の西村祐二です！ Playwright CLI v0.1.8 が 2026-04-14 にリリースされました。今回、 playwright-cli attach --cdp=chrome で普段使っているローカルの Chrome / Edge にそのまま接続できるようになった点です。これまでのようにサンドボックス化された別ブラウザを起動する必要がなく、既存のログイン状態や拡張機能を持った Chrome をそのままエージェントや CLI から操作できます。 何がリリースされたか 概要: attach --cdp=<channel> でローカル起動済みの Chrome / Edge へ接続する Remote debugging mode が追加されました。あわせて CLI 終了後に残る Chrome プロセスの解消と、MCP server registry のクリーンアップ修正も

Stop visual regressions, not releases.Argos detects unintended visual changes in your UI, helping teams maintain high product quality as they ship faster.

AIエージェントによるブラウザ自動操作のツール環境は、たった数ヵ月で別物になる速さで動いています。 2026年1月だけをとっても、Vercelのagent-browserとMicrosoftのPlaywright CLIがほぼ同時にリリースされました。このスピード感は、ツールを選んだ翌月には前提が変わっている、という状況を生み出しています。 私は以前、playwright-cli と agent-browser のトークン消費量を比較する記事を書きました。検証では、playwright-cliが約40%トークンを節約できるとわかりました。それでもUXと速度の観点からagent-browserを選びました。 その後、agent-browserはPlaywrightのNode.jsラッパをCLIから呼び出す構造だったものが、Rustネイティブに変更されました。 この記事では最新の機能をもとに、

Published Mar 24, 2026 Harness design is key to performance at the frontier of agentic coding. Here's how we pushed Claude further in frontend design and long-running autonomous software engineering. Written by Prithvi Rajasekaran, a member of our Labs team. Over the past several months I’ve been working on two interconnected problems: getting Claude to produce high-quality frontend designs, and g

はじめに 最近、他チームのエンジニアが「Playwright で書いた E2E テストを OWASP ZAP に通して脆弱性診断をやってみた」という話を聞きました。 「E2E のシナリオってそのまま脆弱性診断にも使えるの？」 気になったので自分でも試してみました。その記録です。 やったこと（全体像） シンプルな Todo アプリを題材に、以下の流れで試しました。 1. Next.js で Todo アプリを構築 2. Playwright で E2E テスト（12シナリオ）を作成 3. バックエンドを FastAPI + MySQL に変更（Docker） 4. E2E シナリオを ZAP プロキシ経由で実行 → 脆弱性診断

I'm Building Agents That Run While I Sleep I Have No Idea If What They Ship Is Any Good I've been building agents that write code while I sleep. Tools like Gastown run for hours without me watching. Changes land in branches I haven't read. A few weeks ago I realized I had no reliable way to know if any of it was correct: whether it actually does what I said it should do. I've run Claude Code works

はじめに Playwright MCPを使いブラウザテストのシナリオについて実装しておりましたがMCP経由だとツール定義のロード等でコンテキストが約8%増加するという以下の記事を受けて 自分でもPlaywright CLIとClaude CodeのSkills（カスタムコマンド）　を組み合わせることでコンテキストを抑えつつブラウザ自動化を行うことをやってみようとおもいました。 Playwright CLIとは Playwright MCPリポジトリから、v0.0.58（2026/1/24）で追加されたトークン効率的なCLIモードです。 リリースノートでは以下のように紹介されています We are adding a new token-efficient CLI mode of operation to Playwright. This brings the long-awaited off