Noesis @ MUTEK.JP version(2017)

In 2013, Syinichi Yamamoto was engaged in the project of "The Movements" which focused on visualization of big data.
"The Movements" was created for the spherical display "Geo-Cosmos" installed at the National Museum of Emerging Science and Innovation as part of the permanent exhibition:-
https://www.omnibusjp.com/supersymmetry/research/project_3.html

In 2015, 2 years after the completion of "The Movements", he started the production of a 3D fulldome film entitled "The Man from the 9 Dimensions" which was released in 2016 and is been screened at the Dome Theater Gaia at the National Museum of Emerging Science and Innovation ever since. He was in charge of the visualization of scientific concepts about superstring theory in theoretical physics and was also in charge of thevisual direction of the film:-
https://www.omnibusjp.com/supersymmetry/research/project_7.html

Science and art have been getting closer in media art scene. Visualization of data and visualization of wave shapes has been actively pursued. As an extension of the above-mentioned 2 projects which focused on data visualization and visualization of scientific concepts, the project of "Noesis" represents philosophical concept visualization which visualizes the concept and thoughts of the origins of Nature, the Universe and all things from the perspective of art.

The whole duration of the work is 30mins with each track having its own theme such as: Each track with total length of 30-min has its own theme such as "view point reversal", "position invalidation", "elemental particle", "time", etc., but on track 04 "Emerging Design", the concept of "trajectory of moments" is featured as the main theme of the project as a whole which follows the trajectory of time.

Dimitris Kontopoulos, a science curator with whom Synichi has been collaborating since 2016 participated in making the concept of this project. Tetsuji Ohno (Intercity-Express) who has continued to collaborate with Synichi helped him to create the sound design of the 8 tracks.

For 3D visualization in high resolution, Seiichi Sega (superSymmetry) also participated in this project and provided not only drawings of computer generated images by physics calculations, but interactive performances using TouchDesigner.

- Premiere screening at MUTEK.JP:
Because the main venue of MUTEK.JP held in 2017 was the National Museum of Emerging Science and Innovation, we decided to create a version of "Noesis" which would be highly optimized to the 3D fulldome system of the Museum’s Dome Theater Gaia, so that viewers can enjoy an audio visual performance of the project under the specifications of the 3D dome system to the fullest extent.

山本信一は2013年に科学データに基づいたデータビジュアライゼーション作品「軌跡~The Movements」を手掛けました。
この作品は、日本科学未来館の球体ディスプレイ「ジオ・コスモス」の常設コンテンツで、球体映像作品です。
https://www.omnibusjp.com/supersymmetry/research/project_3.html

そして、ビッグデータの可視化に取り組んだ「軌跡~The Movements」の2年後の2015年から制作を開始し、2016年に日本科学未来館のドームシアターガイアで公開された3Dフルドーム作品「9次元からきた男」に参加し、理論物理学の超ひも理論をテーマにした科学概念の可視化やビジュアルディレクションを担当しました。
https://www.omnibusjp.com/supersymmetry/research/project_7.html

メディアアートシーンではサイエンスとアートが近づき、データや音の波形などのビジュアライゼーションが積極的にされてきましたが、本作はデータビジュアライゼーションや科学の概念を可視化した先の2つの作品の延長上で、今度はアート的視点から自然や宇宙、万物の根源を考えた時の概念、思想を視覚化したフィロソフィ ビジュアライゼーション(philosophical concept visualization)作品(※)です。

トータル30分を構成する各トラックでは、それぞれ“視点の逆転”“位置の無効化”“素粒子”“時間”などをテーマにしながら、全体では、トラック04の「Emerging Design」でフューチャーしたコンセプトである”瞬間の堆積”が描き出す、時間が描く軌跡の形状をこの作品トータルの大きなメインテーマにしています。

2016年からサイエンスキュレーター・デミトリス コドプロス氏(Mr. Dimitris Kontopoulos)とコンセプトでコラボレーションしながら、サウンドデザインでは継続的にコラボレーションをしているIntercity-Express(大野哲二氏)と8つのトラックで構成しました。

また、高解像度の3Dビジュアライズでは瀬賀誠一(superSymmetry)も参加し、物理演算によるCGイメージの描画だけでなくTouchDesignerのインタラクティブパフォーマンスを行ないました。
※フィロソフィ ビジュアライゼーション・・・この場合の「フィロソフィ」は、万物の根源のあり方や原理を追究して得られた知識や経験、人生観を指す。

-MUTEK.JPでのプレミア公開。
2017年に開催されたMUTEK.JPのメイン会場が日本科学未来館であったため、同館の有するドームシアターガイアの3Dドームシステムに最適化されたバージョンで、ドームのスペックを最良に体感できるオーディビジュアルパフォーマンスを計画し、公開しました。

01 Inner Earth

"Inside-out perspective of the Earth" We live in the world existing on the surface of a globe named Earth. In this track, we can conceptually experience the "reversal of view point" by watching the landscape of the entire world from the view point of "inside-out" contained within the globe (=the Dome).

Each and every pixel making up the landscape of the entire world seen from the view point of "inside-out" means that the location / address on the earth will be identified by latitude and longitude. Then, such pixel / location starts to melt gradually and changes to something like visual noises.
This will portray images of locations on the earth to be released and disrupted.

『地球の内側からの視点』

地球という球体の表面にある世界に存在している私たちが、表と裏を裏返して内側に閉じた球(ドーム)のなかから内包され、自分を中心に世界に抱かれた視点で世界全体の風景を眺める“視点の逆転”を体感するコンセプト。

そして、内側から見た地球の画像を構成しているひとつひとつのピクセルは、地球では緯度経度の絶対的なポイント(アドレス)ということになりますが、そのピクセル=”位置”は次第にメルトし、そしてノイズのように崩壊していく映像に移り変わります。
地球上の”位置”が解放され、崩壊していくイメージです。

02 Wrapping Noise

"Wrapped by nothingness"
The feeling of being within a space filled with static noise on TV. Then, it changes to the feeling of being wrapped by air devoid of substance, while there is no audio noise.

『無に包まれる』

TVのサンドストームノイズに満たされているような空間にいる感覚。 ノイズや実体のない気配だけに包まれる感覚。

03 Shifting Border

"Remix of geography"
All the "locations" have collapsed and become noise.
As a result of their reconfiguration, there emerge graphics depicting something like ridge lines of continents.
Such graphics continue to change by shuffle and remix.
It resembles images of continents and border lines changing and remixing on a non-linear basis.
Since shape of continents on the earth is decided by the level of the sea which fills the surface of the earth, human beings have been trying to precisely define borderlines and territorial water lines on such shape which is always affected by the contingency of nature as well as dynamic crustal activity. On the borderlines, there occur various kinds of delicate stories for the human history andpolitics.
In other words, our aim was to create graphics with no borders by shuffle and remix of ridge lines on the earth.

『ジオグラフィのリミックス』

崩壊してノイズになった”位置”が再構成され、大陸の稜線のようなグラフィックが現れる。大陸の稜線のようなグラフィックは、シャッフルされ、リミックスされ変化してゆく。大陸や国境がノンリニアに変化して、リミックスされていくイメージ。地球上の大陸の形状を決めているのは、地球に満たされた海の水位であり、そういった自然の偶然性やダイナミックな地殻活動でできた形状の上から人間が国境や領海のラインを緻密に定義して、そのボーダーライン上で歴史や政治、国境のデリケートなドラマが展開しています。
そんな地球上にある”稜線”をシャッフルしてリミックスして無効化(No Border)するようなグラフィックのコンセプトです。

04 Emerging Design

"Trajectory of moments"
When we look at several patterns in nature such as "the shape of trees", "the large-scale structure in the universe", "the nervous system", etc. in a straightforward manner, we see some similarity of the patterns. It is said that when Alfred Wegener discovered the continental drift, he had a simple and instinctive feel that ridge lines of the continents seem to fit like puzzles.

Inspired by some "common ground" which can be felt from several patterns in nature such as "trees", "large-scale structure in the universe", "lightning", "shape of rivers" and "nervous system", we opted to set "regularity found in the shape to be formed in the lapse of time" and "contingency" as the visual concept of this project.

For example, if there might be a fixed overall blueprint for the growth of trees and the trees should grow efficiently in accordance with such blueprint, it is likely that the shape of trees will look more linear in a mathematical manner, but the shape of the actual tree branches is twisted minutely. This is because various factors such as the daily temperature variation and the duration of sunshine will affect the growth of trees. When a tree branch grows, its targeted coordinates will slightly change by swaying, but as a whole, it looks like completing the shape of such tree in a balanced manner.

Without realizing the final design as a whole, the shape of the tree branches is drawn as a result of a collection of decisions for each moment and from a broader perspective, the entire tree looks like the one which has been intentionally designed by nature.
Given this, various factors for each moment including ephemeral decisions, confusion, happenings as well as collection of these will enable trees to draw lines of tree branches which sometimes change their positions along a serpentine course and are extended by division. Keeping in mind the design of nature in balanced shape and dynamic form as well as lines which have generated in the lapse of time, a graphic system has been used for depicting trees as a whole.

Our approach to this project was to enhance small flickers and dynamics of overall comprehensive music as well as formation of audio visual by depicting lines based on uncertain factors such as rhythm and interactive, which are similar to decisions made in nature.

『瞬間の軌跡』

自然の中にみられるパターン ―「樹木の形状」「宇宙大規模構造」「神経のネットワーク」など。これらを素朴な眼差しで眺めたときに、パターンの類似性や共通の法則性を感じます。
ウェゲナーが大陸移動を発見したのも、大陸の稜線がパズルのように合致しそうだという素朴で直感的な感覚がきっかけだったと聞きます。
「樹木」「宇宙大規模構造」「雷」「河川の形状」「神経のネットワーク」のような自然のパターン同士から感覚的に感じる「共通性」からインスパイアされて、形状が形成されていく時間変化のプロセスにある法則性と偶然性をビジュアルのコンセプトにしました。

たとえば、もし樹木に最終的な全体の設計図があって効率的に形状が成長していくとしたら、それらはもっと直線的で見るからに数式的になるように思いますが、実際の樹木の枝の形状や、その線は細かく蛇行しています。それは、木々が生長していく過程で、日々の温度や日照などのファクターが関与して、枝が伸びていく方向の目標の座標を微妙に変えながら細かく揺れ動き、しかし全体的に見てみると、調和した樹の形状を完成させていっているように見えます。
全体の完成デザインを意識しないまま、瞬間、瞬間の決定を堆積していくことで描かれたライン(枝)の形状を、樹木という大きな視点で見るとデザインされたものになっているといった自然の形状から考察して、一瞬、一瞬の刹那の決定・迷い・偶然などその時々のファクター、瞬間、瞬間の決定の集積が、このような枝のようなラインを描き、ラインは微振動で蛇行しながら時々ポジションを変え、分岐して伸びています。樹木全体では、調和した形状やダイナミックなフォームを描くというような自然のデザインと時間経過の中で生成されたライン(時間のデザイン)を意識したグラフィックシステムで描画しました。

小さな揺らぎと、全体の大局的な音楽の強弱、リズム、インタラクティブなどで不確定なファクターで線を描画しながらオーディオビジュアルで自然の決定と同様のフォーメーションを持った作品アプローチをしています

05 Noesis

Non-linear trajectories of randomly appearing things such as the orbit of electrons.
This is a graphic animation inspired by the fundamental theory of everything which is based on the vibration of energy.

When we worked on the above-mentioned "The Man from the 9 Dimensions", we developed an application which generates different forms of the Calabi-Yau Manifold as a CGI object. This application was also used in this project. Our aim was to depict vibration, resonance and interference by a graphical approach.

電子の軌道のように、ランダムに出現するものが描くノンリニアな軌道。万物の根本は振動、素粒子、振動するエネルギーという理論にインスパイアされたグラフィックアニメーション作品。
前記の「9次元からきた男」で開発した、カラビヤウ多様体の形状をCGオブジェクトでジェネレートするアプリケーションを使用しながら振動、共鳴、干渉などをグラフィック的なアプローチで表現した作品。

06 Double Cosmos

The feeling of micro = macro.
Like the documentary film "Powers of Ten" directed by Charles and Ray Eames, this track’s theme of depicting the feeling that there appear similar patterns in the course of micro-zooming and macro-zooming.
We have been continuously working on this track since its first audio visual presentation in 2013:-
https://www.omnibusjp.com/supersymmetry/works/2013_1.html
This is the edition screened on the Dome during MUTEK.JP.

ミクロ=マクロの感覚。
イームズの映画「Powers of Ten」のように、ミクロ方向とマクロ方向にどんどん視点がズームしていっても相似のパターンがあらわれるような感覚をテーマにした作品で、2013年のオーディオビジュアルパフォーマンスから継続して取り組んでいるトラック。
https://www.omnibusjp.com/supersymmetry/works/2013_1.html
MUTEK.JPにおいて、ドームで展開したエディション。

07 Universal Architecture
08 End World

The Dome Theater Gaia at the National Museum of Emerging Science and Innovation is also equipped with an optical planetarium system called "Megastar".

Following tracks 01 - 06 with themes of "random expressions", "wavering expressions", "noise", etc., the space of the Dome is evenly filled with particles over these tracks in order to create an impression of the starry sky, like the one created by an optical planetarium device.
In the course of discussing the concept of this project with the science curator Dimitris Kontopoulos, we were told that "The end of the universe will not be dramatic. The energy of all things will become equal at the end and there will be no difference among them". Inspired by his speech about thermodynamics, we made some changes in the final track of the MUTEK.JP version, i.e. instead of fade-out to black or being filled with bright light in thelast frame of the track, we elected to use 50% grey color which will gradually cover the entire dome at the end of the audio visual performance.

日本科学未来館のドームシアターガイアは、「メガスター」(MEGASTAR)というプラネタリウムを有している上映施設でもありました。

ここまでは、「ランダムな表現」「揺れ動く表現」「ノイズ」などをテーマに描いてきた01~06トラックの次に、均等なパーティクルをドーム空間に満たしました。

プラネタリウムで上映されるような星空が、ドームの中で均等に整列しているようなビジュアルイメージ。

サイエンスキュレーター・デミトリス コドプロス氏(Mr. Dimitris Kontopoulos)とコンセプトのディスカッションをしていくなかで、「宇宙の終わりは劇的なものではなく、すべてのエネルギー(熱)が均等になってものの差がなくなって終わる」という、熱力学の終わりの話にインスパイアされ、MUTEK.JPのラストトラックで展開しました。
ラストフレームでは、ブラックにフェードアウトしたり、明るい光に包まれたりするのではなく、ドーム全体が次第に50%のグレーになる計画でオーディオビジュアルパフォーマンスのエンドにしました。

Immersive

While pursuing the concept of "visualization of abstract ideas" under this project of "Noesis", we are trying to explore new forms of output which will be beyond standard visual packages.
On this project, we conducted visual experiments like `being wrapped by noises" and "view point from inside the earth".
A lot of visual projects have been created in the format of HD, 4K and fulldome 360°, but this piece is a completed package of visual project which has its depth with axes of xyz and can be screened depending on its output such as dome, VR, mini-dome and 3D screen.

Unlike our previous project of "The Man from the 9 Dimensions", other 3D dome programs and existing VR pieces which are set to express a virtual space using VFX, we are pursuing the possibility of diving into a completely abstract world with no signs of presence, which has been made possible thanks to motion graphics and generative art.

作品の「概念の視覚化」というコンセプトとあわせて、Noesisのシリーズで、通常の映像のパッケージを超えたアウトプットを模索しています。

今作では「ノイズに包まれる」「地球を中からの視点」など視覚的な実験と開発に取り組んでいます。
多くの映像作品が、HD、4K、全周360°という形式で完成されているのに対して、本作は奥行き方向を持ったXYZの軸による完成パッケージ映像作品というイメージでドーム、VR、ミニドーム、3Dスクリーンなどアウトプットに応じて、その都度そこから切り出されるというイメージです。
前作「9次元からきた男」やその他の3Dドームコンテンツや既存のVRなどのように、VFXを駆使してどこかにある仮想の空間を表現するのではなく、モーショングラフィックスやジェネレイティブアートで表現されているような、完全な抽象的な世界や実態のない気配などへの没入の可能性を追求しています。

Technical In order to secure 4K high-resolution images into which viewers can dive and a highly interactive audio visual performance which has been made possible by collaborating with Intercity-Express (Tetsuji Ohno) both, we created a system configuration specifically for MUTEK.JP. First, high-resolution visual materials pre-rendered in 3D are projected from the 8 projectors of the Virtuarium system installed at Miraikan. At the same time, real-time graphics which are triggered by music using TouchDesigner are output from a 2D projector. This means that 3D and 2D materials are overlapped, which is an unprecedented event of an experimental audio visual live performance through combined projection of 3D and 2D materials. As a result of trial and error, we came to the conclusion that visual materials pre-rendered in 3D and Ohno's sound system can be in synch using SMPTE timecode and audio signals transmitted via TouchDesigner can be textured onto this interactive piece. For creating visual materials to be pre-rendered, we adopted a rendering method of a quick response such as "GPU rendering" to draw sketches in high resolution, so that we may smoothly establish an atmosphere of learning to create visual materials by trial and error.

MUTEK.JPでは、4Kの高解像な3D没入映像と、Intercity-Express(大野哲二氏)とのインタラクティブ性の高いオーディオビジュアルパフォーマンス。
その両方を担保するため、オリジナルなシステム構成を構築しました。
まず3Dでプリレンダーされた高解像度の映像素材を、未来館のバーチャリウムシステムの8台のプロジェクターから出力しながら、音楽をトリガーにしたTouchiDesignerからのリアルタイムのグラフィックは、2Dプロジェクターに出力し、おそらく前例のない、3D+2Dの重ね合わせ上映の実験的なオーディオビジュアルパフォーマンスライブを実現しました。

3Dプリレンダー映像と大野氏のサウンドシステムは、試行錯誤を重ねた結果、SMPTEで同期し、さらにオーディオ信号をTouchDesignerで受けてインタラクティブピースを重ねています。

またプリレンダーで用意する映像素材は、GPUレンダリングなど高解像度の描画をレスポンスの早いレンダリング方法をとり、よりアートワークの試行錯誤がしやすい環境を構築しています。

Audio Visual performance
  • Intercity-Express & Synichi Yamamoto
Concept and Visual creation
  • Synichi Yamamoto
Concept - Collaboration
  • Dimitris Kontopoulos
Music
  • Tetsuji Ohno(Intercity-Express)
Digital Artist / Live Performance
  • Seiichi Sega
Digital Artist
  • Yumiko Kasahara
  • Takuya Aoki
Sound System Technical
  • Ryouta Wada
Thanks to
  • Shuichiro Iwanami /MUTEK.JP