この要素は PEPC（Page Embedded Permission Control） として提案されていた <permission type="camera"> の後継にあたります。汎用の <permission> を能力ごとの要素に分割する方針に変わり、先に <geolocation> が、続いて <usermedia> が実装されました。 ユーザーのインタラクションの前に .setConstraints() を呼び出すことで、解像度やフレームレートなど、getUserMedia() と同様の制約を指定できます。 capture.setConstraints({ video: { width: { ideal: 1280 }, height: { ideal: 720 } }, audio: { echoCancellation: true }, }); ただし、getUserMed

5月4日、OpenAIが「How OpenAI delivers low-latency voice AI at scale」と題した記事を公開した。この記事では、ChatGPTの音声機能やRealtime APIを9億人以上の週間アクティブユーザーに低遅延で配信するために、OpenAIがWebRTCの根本的な制約を乗り越えた技術的挑戦について詳しく紹介されている。 音声AI時代が露呈したWebRTCの限界 ChatGPTの音声機能やAdvanced Voice Modeの登場により、リアルタイム音声AI体験への需要が爆発的に増加している。しかし、従来のビデオ会議システム向けに設計されたWebRTC（Web Real-Time Communication）は、大規模な音声AI配信において致命的な制約を抱えていた。 WebRTCの標準実装では「1セッション1UDPポート」というモデルが採用さ

時雨堂では libwebrtc に C API を生やして、Rust から利用できるようにした shiguredo/webrtc-rs というライブラリを公開している。 これとは別に、Pure Rust で WebRTC ライブラリを実装している。目的はシンプルに組み込みで利用できるようにすること。 組み込み向けの WebRTC ライブラリでは libpeer というのがあるのだが、残念ながらメンテナンスがあまりされていないのと、libsrtp や usrsctp に依存しているので、ビルドが少しめんどくさくなる。 なので、そもそも商用レベルの WebRTC ライブラリの実装経験を生かして no_std なピュア Rust な WebRTC ライブラリを作る事にした。 方針no_std としては core と alloc ​​ を利用暗号ライブラリは no_std な Rust Crypt

これはアピール記事です。 時雨堂では 2024 年に libwebrtc への貢献を始めました。これはもともと時雨堂が GitHub で公開している libwebrtc のパッチを見た Google の方が「是非メインラインにマージしないか？」と声をかけてくれたのがきっかけです。 現時点での libwebrtc への貢献以下は全てマージ済みです。 https://webrtc-review.googlesource.com/c/src/+/361240https://webrtc-review.googlesource.com/c/src/+/362880https://webrtc-review.googlesource.com/c/src/+/364440https://webrtc-review.googlesource.com/c/src/+/364760https://webrt

時雨堂では WebRTC を CLI で利用できる WebRTC ネイティブクライアント Momo というのを OSS (Apache-2.0) で公開しています。 今回 Momo で Intel VPL (ハードウェアアクセラレーター) と YUY2 (無圧縮形式) で 720p @ 120fps を実現できる Elgato Facecam MK.2 という約 2 万の Web カメラを利用して、WebRTC で AV1 で 720p @ 120 fps を実現しました。 これは時雨堂の WebRTC SFU Sora 経由でブラウザに配信した画像です。 仕組み自体は至ってシンプルで Momo に YUY2 で受け取った映像を NV12 に変換して Intel VPL で AV1 形式に変換する仕組みを追加するだけです。 実は元々は Intel VPL は H.265 であれば、 YUY

はじめに 今回はP2P通信を使用してサーバーいらずの対戦型ブロック崩しを作ったので、その紹介と解説をします。 記事を書いた時点でのソース 概要 Bevyで制作したゲームです。 ホストになり表示されたIDを相手に送り、入力してもらうと対戦が開始します。 特徴としてシグナリングサーバーが不要で、 さらにGitHub Pagesにデプロイすればpeer間で通信しているだけなので完全無料でサービスを提供することができます。 https://yadokani389.github.io/online-breakout/ このリンクから遊ぶことができます！ 技術スタック それぞれ軽く説明します。 Bevy Rust製のゲームエンジンです。 特徴はECSシステムと、ソースコードで完結していることです。 個人的にマウスとGUIアプリはあまり好きではないので好きなポイントです。 Bevy自体にはオンラインゲー