今作ってるギターの名称を仮で、「GENERATIVE VISUAL GUITAR」にして、そのアルファ版の開発がほぼ終わりに近づいているんだけれども、次のバージョンは、ギターのリフを弾いた時の「ズンッ！！」って感じを拾って、映像にもそのタイミングで「ズンッ！！」ってさせたいから、ピックアップから直接音の信号を受け取って、ADコンバーターでデジタルに変換し、SPIでラズパイで受け取れるんじゃ無いか、妄想をさっきまで色々なサイトをみて調べてた。多分行けそう。

「リズム」「音に対するエフェクトのかかり具合」が映像をリアルタイムで変換させるパラメーターになれば、アーティストがPVをライブの際にリアルタイムで作ってしまう、というような演出・パフォーマンスができると思う。

僕の中では、アニメが大好きすぎて髪型とか服とか真似してから、「コスプレ」というそこだけそぎ取った文化ができた、と同じように、ライブももっとアニメっぽい、非現実的な表現、PVで作っている世界をライブそのものに持ってこれる時代が来る、と考えている。

僕が作っているギターは、そのいわば超プロトタイプ。

それと、AIネタ。先日先輩のライブをみに行ってその対バンが同期をしてたんだけども、同期って、あらかじめ打ち込んでおいたテンポでしか再生できないんだけど、これをライブの最中にドラマーのバス、スネアを検知して、そのBPMに自動でフィットして、再生してくれる、という分野で活躍しそうかなぁと。

まぁ、とりあえずはギターに集中してコツコツ作り上げよう。

写真は、最近使っているADコンバータ。
８チャネルあるから、ピックアップ、ボリュームとか含めると結構あれこれできる。

おやすみなさい。明日の夜は羽田から上海です。

で、次に、中国バージョンです。

中国のダンスアイドルグループのゲームプロモーション用の曲として、僕のバンドの曲が採用されました。で、これが原曲です。

Raspberry Pi + Fuzz + Touchdesigner

https://www.youtube.com/watch?v=4FshiziJeys&feature=youtu.be

Raspberry Pi + Fuzz + Touchdesigner

https://www.youtube.com/watch?v=4FshiziJeys&feature=youtu.be

BandCampで、アルバムをアップして見ましたw

https://undernil.bandcamp.com/album/re-nil

あけおめことよろ

IOTギターの進捗状況を久々にアップしようかなと。

とりあえずFuzzをラズパイに合わせて５Vバージョンで作成、歪みぐあいの可変抵抗の値をラズパイで取得して、OSCでMac book Proに送る、TouchDesigner ,Processingで受け取って映像のパラメーターに使う、というところまで、な感じです。

音と映像の感覚のずれがあるので、そこを詰めていく感じ。

まだ先は長いかなぁ。

ギターVJ開発状況。

Cで、OSCしつつGPIO制御してギターの入力を加工する部分でつまづき、pythonのラッパーがあったので、これで再度挑戦。これでできない場合、元のCのライブラリがよくない可能性があり、その場合は、GPIOの制御の部分を読み取って他のライブラリの表現に書き換えないといけない。１１月中にプロトタイプ完成を目指してるんだけど、ギリギリだなぁ。ウムゥ。

日本での作業第1ステップ。ヨーロッパから取り寄せたRaspberry Piで作られたギターエフェクトの動作確認。GPIOのライブラリを入れてサンプルのコードで音がでることを確認。無事通過。次は、iPhone でOSCの送り側と、このエフェクターのほうでOSCの受け取り側を読み込んで、うまく信号のやりとりかできるかのステップ。二カ月前あたりから、プログラム言語のリミッター解除したからCでもC++でも怖くない。世界広がるわぁ。同じような事を考えてる人が調べたところ、まぁ100人ぐらいはいて、ただ僕みたいにサポジョブ無双しているのはほとんどいないから余裕で勝てる。ドキドキ

We started to customize guitar again , this time include Raspberry Pi + PHat + iPhone SE, then make OSC app, can control guitar sound like DJ, and receive data to touch designer , relate to some parameters of GLSL graphic

約二カ月半振りの上海ザパタス。今日も相変わらず300人オーバーの集客。

超有名なトロンの映画で、CGを担当した人が考えたノイズ、パーリンノイズ。ギターの歪みって、頭の長では、こんな感じの線がグチャっとした感じの延長上にあるかなと。touchdesigner が、abelton liveから、OSCで、キューやいろいろな情報を取得できることがわかりテンションが上がる。ただ、そこからただ単に静的にプログラムと音と映像を繋げても、気持ち良いとかカッコ良いとかにはまだならない。ってさっき考えてなんでなんだろうと、気づいたのは、映像にはフレームレートがあるように人間の脳にも同じような処理速度があって、耳から得た情報と視覚から得た情報が、脳内でどう順番に処理されるのかと関係があって、またカッコ良いとか美しいとかも、脳内にあるアーカイブから参照して、これイケてる！？とかの戻しをするとなると、そこのタイムラグに合わせて、脳内の処理しやすい順番に音と映像のタイミングを合わせると上手く処理できて、伝わりやすくなるんだなと。ってつきつめると、子供の頃見てた風景はきっと256色ぐらいな景色で、8ビットな世界で、大人になって苦い飲み物を美味しい感じる脳になって、フルカラーな64ビットな大人になったんだろう。その先、これからどちらかというと、また退化して8ビットに近づいて行くかもしれないけど、サイボーグになって、戸籍上死んでるけど、生きてる128ビットなモノになりたいなと。最近ずっとこっちばかりしてるから曲書きたいモードが強くなってきてて、また面白いのができそうだから温めてるフェーズ。

ここ一ヶ月でガツガツと今時と自分の今時を改めて集約し、モンモンした結果の落ち着きそうな新しいジョブに向けての環境。これにPytorchを足して、ナニカを学習させ、それをフィードバックしたい。純粋にユーザーの反応を分析するのもよし、本当にその場でフィードバックして、歌詞やコード進行に影響するとかも面白いのかなと。ってことを考えて行くと、何度でも失敗して納品できる仕事と、ほぼ一回で成功しなければならないライブな仕事って、すごいなぁと。会社を始めた当時は、社長になって、社員ができて、社員に仕事任せて、だんだん経営の方に時間を多く使って、ゴルフ接待してみたいな漠然とイメージしてたけど、全くそんなことなくて、社長自らコード書く、サーバー立てる、HTMLも書く！！みたいな一人無双をこのまま死ぬまでやるんだろうなと、というか楽しいなと決意というかそれが良いなと気づいた４０代半ばであり、このまま５０代も６０代も７０代も突き進んで行って、モノを作り続けていこうと。最後の作品は、マンガ的に、美少女ロボットとかにしたいけど、ハードウェアよりな部分、下手ではんだつけとかまだクソ下手だから、時間ができたら、そっち周りも頑張りたいが、回路図が全然頭に入ってこない。そのうちなれるんだろうか。中国語も最初はぼやけて見えてたけど、今は普通に読めるし、脳が受け入れ態勢できるまでの辛抱何だろうなと。というわけでもう少し勉強してから寝ます。おやすみなさい。

音と映像の完全同期一人プロジェクトを着々と夜な夜な進行中。で、その中で体験をアウトプット。DAWの中でOSCの送信に対応している、ableton live を使ってMIDIのNote情報を送信、受けてのtouchdesignerで、OSC INのオペレーターを作りポートを合わせて、メッセージをうける。とりあえずは、Note番号で、キックとかスネアとかを判別し分岐、映像と紐付ける。違う音色の場合は、ポートを別にして、別の送信、受信を用意して紐付ける。OSCは、まだ早熟なのか、アプリ側の環境が整っていない感じ。MIDIは確かに、他との連動は今時では無いのかなと。ちょっとMovabletypeの独自タグに近いような存在になってしまってる感もある。音と映像との連動を考えると、やっぱり、DAW側のインターフェースに、そのまま映像を紐づけて、ディレイをかけたら、映像がそのままディレイがかかるとか、歪みかけたら、映像のノイズがかかるとか。とりあえずベタな表現を音と映像で紐付けるアプリがあったらそれが正解な気がする。今の環境は、離れすぎてて、映像よりなモノは、表現が結果数学から書いた絵でしかなくて、そこに感動があるかというと、そうでも無い感じがして、かといって音のほうは、自分で波形のタイプいじって、細かい音作りできたりと、するけれども、その音が心地良かったり、踊れるような音にはならなくて、何だろう、物理と化学なのか、数学と国語なのか、ある二つの学科があって、相対しすぎているというか、その連動したところに、新しいかっこよさが眠ってると思う。ダンサー、バンドもそうかな。ダンスのカテゴライズって、それほど正確じゃなくて、結果教える先生の聞いた音楽とか好きなフリによってたり、リズムの取り方と、曲の気持ちいいポイントが違ってたり、曲を作る側からすると、そこじゃ無いみたいな、でもあったら、すげぇかっこいいという、音と映像もそんな感覚のところがある。有名なアーティストのPV見ても、これ音消して見たら、何のこっちゃっかわからん、PVが多い。それって、中の演者が有名だから成り立っている訳で、動画が素材を引き立てる役割をしていないということ。うむ。

脳内の解釈だと、音と完全に連動した映像は、心地よいはずなのだが、実際にやってみると、音を数値化した際の値の変化が激しすぎて、それを映像のパラメーターにすると、かなりぎこちなさが出ることが判明。また単音を映像と同期してイメージ化するパターンと、コード弾いた時は大きい拍でその進行にあった映像を流すのが良さそう。実際にやって見てわかることはやっぱり大きい。このあたりの調整が必要。ベロシティの変化とかとちゃんと合わせるテストとしては、フォンから入力したオーディオソースよりも、ableton liveとかからMIDIかOSCで受け取ったデータを映像のパラメータにした方が、良いのかもしれない。こういうのを一緒にやってくれるボーカルの彼女がいたらやる気効率がおそろしいぐらいに上がるんだろうなぁ。TouchDesignerとは少し仲良く慣れた。

今日は、TOUCHDESIGNERを勉強中。このあたりをひたすら漁ってるんだけど、いやぁ、２０年前にバンド友達とイベントでVHSのデッキごと持って行ってやっていたようなことが今やネットとあれと、あれとか連結して色々できちゃうんだなと。とそこから妄想して、OSCとかMIDIの新企画的なモノがあるけど、MP4の次に出るか知らんが、MP５的なモノがあれば、曲の中にどこまで再生したかをパケットで送るような仕組みを用意して、それが自動集計されて、今のyoutuberのように、再生回数が多いアーティストには、その曲の前後に広告を挟めてその費用が作った本人にビットキャッシュで振り込まれるとか、できるんじゃね？みたいな。JASRACとか、ライセンス系での利益を出している企業はそういうことをして、モノ作りの人にお金が入り、その人たちの生活が豊かになるようにして欲しいなぁ。ビットキャッシュのマイニングする理論とかって、曲に何かハッシュ的な何かを紐づけたりとかって余裕でできるんじゃないかな。それに対応したプレイヤーが必要だけど。もうあれだ、石油王女の逆玉になって開発費用という名の僕の生活費用だしてもらって、どこかの国でひたすらコーディングすれば良いのかな。