DuckDB has gone from a research project at CWI Amsterdam in 2019 to one of the most widely adopted databases of the past decade. The list of places it shows up is long: notebooks, ETL pipelines, dashboards, CI test runners, embedded analytics inside SaaS products, even an iPhone running TPC-H at scale factor 100. iPhone in a box of dry ice, running TPC-H. (source)Companies have started building re

こんにちは。AI・機械学習チームの高田です。 他部署からスプレッドシートでデータを受け取って、社内のDWHにあるデータと突き合わせながら探索的に分析したい。こういう場面で毎回環境構築するのは手間なので、さっと始められるEDA環境がほしいと思っていました。DuckDB + Taskfileの組み合わせがちょうどよかったので紹介したいと思います。 DuckDBが解決すること BQ + GSSを1つのSQLで横断する なぜBQ側からGSSを直接読まないのか ローカルキャッシュで高速化 & BQ課金ゼロ 出力の柔軟性 Taskfileで組む軽量ワークフロー なぜTaskfileか サンプルプロジェクトを作ってみた BQからデータを取得してParquetに保存する GSSの作品リストとBQの単語データをJOINして集計する Taskfile.ymlの構成 キャッシュ戦略をTaskfileで実装する

TL;DR: We are releasing DuckDB version 1.5.0, codenamed “Variegata”. This release comes with a friendly CLI (a new, more ergonomic command line client), support for the VARIANT type, a built-in GEOMETRY type, along with many other features and optimizations. The v1.4.0 LTS line (“Andium”) will keep receiving updates until its end-of-life in September 2026. We are proud to release DuckDB v1.5.0, co

1. はじめに こんにちは。PKSHA Technology で SWE をしている須藤です。 私の所属する PKSHA Speech Insight（PSI）チームでは、分析基盤として DuckDB + Lambda + S3 Parquet という構成を検討しました。ローカルでの検証では問題なく動いていたのですが、S3 に繋いだら想定より遅く、原因調査と改善をしました。本記事では、その過程で得た知見を共有します。 なぜ DuckDB なのか 分析基盤を構築するにあたり、Athena や Redshift Serverless も検討しました。 スケーラビリティや運用面ではこれらが優れていますが、我々のユースケースではテナントあたりのデータ量が小さく、リアルタイム性も不要でした。 DuckDB を選んだ最大の理由はコスト構造です。Athena はスキャンしたデータ量、Redshift S

この記事は「ファインディエンジニア #1 Advent Calendar 2025」の24日目の記事です。 沢山のアドベントカレンダー記事が執筆されていますので、年末のお供に是非読んでみてください。 adventar.org はじめに ソフトウェアエンジニアの土屋(@shunsock)です。私の所属するデータソリューションチームでは、ファインディ全体のデータ活用を推進するためのデータ基盤を構築しています。 今回、我々はデータ基盤のRDSとBigQueryのテーブル同期システム (EL Pipeline) のリプレースを行い、DuckDBを本番導入しました。本稿では、活用に至った経緯と実際に組みこむにあたる課題、および成果を紹介します。 はじめに ファインディにおけるテーブル同期システムの立ち位置 リプレイスの背景 補足 技術選定 Datastream DuckDB Datastream,

この記事は Ubie Advent Calendar 2025 17日目の記事です。 最近Googleが File Search API を公開しました。使い方はとても簡単で、ファイルをアップロードするだけでGeminiから参照してRAGを実現できるようになります。これまでRAGは避けては通れないけど考えることが多くて面倒だったところが、一気に解消しそうです。ただ、自分としてはRAGにあまり手を出してこなかったのでRAGの構築がどれくらい泥臭いのかを知らないなと思いました。そこで、これを機にローカルで動くRAG環境を基礎的な部分から構築してみたので、そこで得た気づきなどを共有しようと思います。 作ってみたもの 実装した主な機能は以下の通りです。RAGというと何らかの vector store や全文検索エンジンを利用するのが正攻法だと思いますが、今回は分析への利用のしやすさやその拡張性、お

TL;DR: The DuckDB team and MotherDuck are excited to announce the release of a local UI for DuckDB shipped as part of the ui extension. The DuckDB project was built to make it simple to leverage modern database technology. DuckDB can be used from many popular languages and runs on a wide variety of platforms. The included Command Line Interface (CLI) provides a convenient way to interactively run

I recently tried to light the tinder for what I hoped would be a revolt — the Single Node Rebellion — but, of course, it sputtered out immediately. Truth be told, it was one of the most popular articles I’ve written about in some time, purely based on the stats. The fact that I even sold t-shirts, tells me I have born a few acolytes into this troubled Lake House world. Without rehashing the entire

『DuckDB実践入門』が出版されます 2025-08-19 私が翻訳した『DuckDB in Action』の訳書『DuckDB実践入門 PCで使える高速で快適なデータ分析用DB―基本からエコシステム活用まで』が出版される運びとなりました。 レビューに参加してくださった皆様 @snoozer05 @kei_s @ktou @hmsk @tmaeda 、編集を担当いただきました石橋克隆様、お力添えくださいましたすべての皆様に感謝します。 DuckDB実践入門　PCで使える高速で快適なデータ分析用DB―基本からエコシステム活用まで (impress top gear) | Mark Needham, Michael Hunger, Michael Simons |本 | 通販 | Amazon DuckDB実践入門　PCで使える高速で快適なデータ分析用DB―基本からエコシステム活用まで -

2025 年 9 月 24 日 (水) に行われる Akamai Cloud Day 2025 Japan というイベントに登壇します。話す内容は Akamai Cloud へ以降してコストを削減した話を中心に現時点での Akamai Cloud の不満などを忖度せずに話をするので興味がある方は参加してみてください。忖度せずに話します。 なんとなくの目次Akamai Cloud への移行移行して 1 年経過可視化外形監視で Fluent bit と VictoriaMetrics と Tailscale と Grafana を使っている話商用提供している自社 Erlang/OTP で書かれた分散システムの運用Raft と Plumtree の話Placement Groups とか VLAN とか VPC とかの話オブジェクトストレージと DuckDB / DuckDB-Wasm でコスト

リアルタイム配信の世界は、リアルタイムかつ 1 秒単位で沢山の種類、そして大量の統計情報が欲しい。ということで、ブラウザで軽量で大量のグラフを表示したいし、リアルタイムに描画したい。さらにすぐに何万という数値になる。 という課題を色々実現したかったので、Claude Code の力を借りて uPlot を利用して、リアルタイムな統計情報をグラフにする仕組みを作った。 uPlot は Grafana に採用されている超軽量なグラフ作成ツールで、かなり細かいカスタマイズができ、React にもサクサクっと組み込める。 上のグラフは chrome://webrtc-internals で利用されているグラフを意識した。 chrome://webrtc-internals で取得できるグラフ、1 映像でこれ。React コンポーネント化したので、好き放題にグラフが作れるようになった。グラフを作の本

ドーモ、読者のミナ=サン、LayerX Fintech事業部（三井物産デジタル・アセットマネジメント（MDM）に出向）で、@ken5scalです。 久しぶりのAmazon SecurityLakeとログ系のブログです。セキュリティにおいても、紀元前よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、インシデントの早期発見や対応が可能になることはよく知られています。その代表的なソリューションが、そう、皆様よくご存じのSIEMです。 当社では、従来のSIEM（DataDog SIEM）に加え、データエンジニアリング的なアプローチにチャレンジ、より強力なデータ基盤を用いた検知エンジンを目指しデータレイクハウスであるAWS SecurityLakeを採用しました。 こういった従来のSIEMにおける課題や経緯については、下記のブログをご参照

3行まとめ はじめに Claude Codeのログ保存機能とその特徴 ログ分析の活用例 音声入力の課題と英語プロンプトの活用 DuckDBを用いた分析アプローチ スキーマ情報の重要性とログ分析の活用 ログの長期保存設定 まとめ 3行まとめ Claude Codeの会話ログはJSONL形式で保存されており、DuckDBを使って日次の利用状況や音声入力の課題などを分析できる 英語プロンプトの学習効率化やエラーパターンの特定など、自分の仕事の仕方を改善するための実践的な活用方法がある JSONLファイルのスキーマ情報を整理することで、Claude Codeがクエリを書く際の精度が向上する はじめに Claude Codeは非常に強力なツールで、これ自体は別のブログで書く予定ですが、もはやこれなしでコードを書けないほど便利に使っています。今回は、そのClaude Codeとの会話ログを分析すること