ブラウザで映像のライト調整機能を実現するためのライブラリです。
光量が不足している画像のコントラストを改善したり、逆光で暗くなっている人物を明るくすることができます。
なお、画像内の人物部分の切り出し部分には@mediapipe/selfie_segmentationを利用しています。
まずは script タグで JavaScript ファイルを読み込みます:
<script src="https://cdn.jsdelivr.net/npm/@shiguredo/light-adjustment@latest/dist/light_adjustment.js"></script>
デフォルト設定でライト調整を行うコードは以下のようになります:
<video id="outputVideo" autoplay></video>
<script>
const processor = new Shiguredo.LightAdjustmentProcessor();
navigator.mediaDevices.getUserMedia({video: true}).then((stream) => {
const track = stream.getVideoTracks()[0];
// 処理を開始
processor.startProcessing(track).then((processed_track) => {
const videoElement = document.getElementById("outputVideo"); // 映像の出力先を取得
videoElement.srcObject = new MediaStream([processed_track]);
});
});
...
// 処理を終了
processor.stopProcessing();
</script>
startProcessing()
の第二引数にはオプションを指定することができます:
const assetsPath = "https://cdn.jsdelivr.net/npm/@shiguredo/light-adjustment@latest/dist";
const options = {
// 画像内の人物部分にフォーカスしてライト調整を行うようにする
"focusMask": new Shiguredo.SelfieSegmentationFocusMask(assetsPath)
};
processor.startProcessing(track, options).then((processed_track) => {
...
});
以下のコマンドでパッケージがインストールできます:
$ npm install --save @shiguredo/light-adjustment
TypeScript での使用方法は次のようになります:
import { LightAdjustmentProcessor } from "@shiguredo/light-adjustment";
const processor = new LightAdjustmentProcessor();
const processed_video_track = await processor.startProcessing(original_video_track);
...
processor.stopProcessing();
本ライブラリは Chrome や Edge 等の Chromium ベースのブラウザか Safari (15.4 以降)で動作します。 それぞれのブラウザでは、映像処理を効率的に行うために以下の機能を利用しています:
- Chromium ベースブラウザ: MediaStreamTrack Insertable Streams (aka Breakout Box)
- Safari: HTMLVideoElement.requestVideoFrameCallback メソッド
Copyright 2023-2023, Takeru Ohta (Original Author)
Copyright 2023-2023, Shiguredo Inc.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
npm パッケージに同梱されている以下のファイルのライセンスについては @mediapipe/selfie_segmentation を参照してください:
- selfie_segmentation.binarypb
- selfie_segmentation_landscape.tflite
- selfie_segmentation_solution_simd_wasm_bin.wasm
- selfie_segmentation_solution_wasm_bin.wasm
- selfie_segmentation.tflite
- selfie_segmentation_solution_simd_wasm_bin.js
- selfie_segmentation_solution_wasm_bin.js