Categoria: Creativitat Musicogràfica

  • DubART: Música Visual Interactiva

    DubART: Música Visual Interactiva

    Amb aquest post vull presentar un antic invent que per fí he estat desenvolupant i ja comença a funcionar en versió web a:

    https://dubart.integral.tools/ca

    Es tracta d’un nou format audiovisual entre videoclip i videojoc, on l’espectador es pot tornar artista del dub o remix. Les pistes d’audio (instruments o músics) de cada peça musical encara estan separades i el usuari pot fer la seva pròpia remescla (o versió dub) d’una forma visual com si fos un joc, o bé visitar altres remescles (i afegir variacions en viu). Es tracta de fomentar l’Art de Remesclar per tothom, sense necessitat de ser músic ni tècnic.

    Cada instrument està representat per un agent o personatge animat, que es belluga en sincronia amb les notes que fa (animació de tipus IVM), i qualsevol usuari pot manipular aquests agents visuals fàcilment, apagant/encenent pistes, disparant-lis efectes, variant volums i panoràmic estèreo, tant en directe com també gravar la seva versió (i editar-la) per després compartir-la i guanyar visites i likes.

    Per ara és una versió Web en 2D que funciona en molts navegadors i dispositius moderns, però que es pot tunejar per a dispositius amb poca capacitat de processador (desactivant efectes disponibles, reduint qualitat dels gràfics, etc). En un futur la intenció és fer-ho també com a App, plataformes de Videojocs, en 3D, realitat virtual, etc.

    El invent no està lligat a cap estil musical ni gràfic concret, les possibilitats son moltes. D’entrada penso que els primers usuaris potencials son els que ja coneixen i estimen el Dub o l’art de remesclar, però també és interessant com a eina didàctica/lúdica per a escoles de música, i te potencial en altres sectors:

    Els pot interessar als músics i segells musicals com a nou format interactiu amb el que publicar. Caldria implicar els estudis de gravació, doncs és on tenen les pistes d’audio encara per separat, i artistes gràfics que facin les animacions sincronitzades (jo puc oferir aquest servei), els fons i les icones, etc.

    També pot interessar als DJ’s i VJ’s que ho poden fer anar en directe (dub visual en viu). Ara mateix la forma més fàcil de jugar-hi és en un ordenador, amb una mà al teclat numèric controlant els «mutes» (apaga/encén) de cada pista i amb l’altra mà al ratolí agafant efectes i disparant-lis als agents animats, o arrossegant els agents per l’escena.

    El fet de que cada usuari pot gravar la seva pròpia versió i compartir-la (comptant visites i likes) pot generar una interessant xarxa de ‘remixers’ online, on tothom hi és convidat a participar. Al gravar un remix en viu, en acabar et deixa editar cada keyframe per ajustar imperfeccions, anar veient els resultats i desar el teu remix.

    El desenvolupament de la versió web és de codi obert, es busquen col·laboradors! Qualsevol bug que trobeu o millora que vulgueu la podeu reportar per gitlab o bé per telegram.

  • Interpretació Visual de la Música

    Interpretació Visual de la Música

    (text escrit el 1996)

    La Interpretació Visual de la Música (IVM) és un nou sistema de generar imatges (o altres estímuls) basat en la música. Aquest sistema parteix d’una obra musical (ja creada) i té com a finalitat oferir una visualització gràfica de la mateixa obra musical. El criteri principal de la Interpretació Visual de la Música és:

    L’obra ja està feta abans de començar (la peça musical escollida), i el més important és transmetre visualment, de la forma més fidel i aproximada possible, la mateixa riquesa i varietat d’estímuls sonors (les sensacions, les impressions, les emocions, els sentiments, els missatges) que el compositor i els músics van expressar el dia de la gravació de la peça musical.

    Al tractar-se d’una interpretació, cada persona ho imagina de diferent manera, i per tant els estils gràfics possibles son infinits. El meu anàlisi personal sobre el llenguatge musical i sonor (amb la intenció de traduir-lo a un llenguatge visual) és la següent:

    Els paràmetres gràfics que podem utilitzar son les formes, les textures, els colors o les llums, i el que és més important (segons el meu punt de vista): els moviments. La imatge en moviment és la més propera a la música, donat que està també dins la dimensió del temps.

    Les atmòsferes o ambients generals que sugereix la peça musical, els tradueixo en un escenari o decorat (amb una iluminació i unes textures concretes) el qual va variant si la música passa per diverses parts “ambientals”.

    El tipus de sò o timbre de cada instrument, l’interpreto amb una forma, objecte, personatge o grup de formes (amb textura) que representen l’instrument com a identitat sonora diferent dins la peça musical.

    Per expressar visualment les notes concretes d’una melodia o un patró rítmic, faig servir els moviments i els colors dels objectes-personatges que interpretin als instruments:

    • Per mitjà dels moviments podem descriure una trajectòria o coreografia per a un objecte, que interpreti visualment el “dibuix” que fa una melodia en el temps i en l’escala de freqüencies (o tons). També amb el moviment podem descriure la sensació percusiva d’una nota amb atac o d’un sò de percussió, mitjançant un moviment més o menys brusc o colisionant. Les notes suaus les descriurem amb moviments suaus.

      Les possibilitats que ens dona el moviment ens permet, en una melodia, descriure diferents passos (un per cada nota) dins d’una coreografia, trajectòria o dibuix melòdic (per mitjà de girs, plecs, cops, etc…). Per aquesta raó, la forma dels objectes-instruments està condicionada al moviment que volguem donar-li, per tal de que s’entenguin visualment.

      Si volem fer ús dels moviments de rotació o girs (p.ex.), la forma de l’objecte ha de ser prou simple i asimetrica perque s’entengui el moviment de gir visualment.

    • Per mitjà de les variacions en el color de l’objecte podem descriure les variacions en la freqüencia o tò de cada nota.

      El color (o colors) de l’objecte-personatge, donat que podem variar-lo sense afectar al moviment de l’objecte, ens permet aprofundir en l’analisi musical i descriure diferents colors per representar les diferents parts de cada nota: l’atac, la duració i el final. Normalment, la velocitat a la que passen aquests tres factors dins de cada nota, fà que els estímuls cromàtics sincronitzats que representem passin, alguns d’ells, a velocitat subliminal.

    Com més complexe és la melodia o patró interpretat, més simplicitat ens caldrà en la forma de l’objecte per tal de poder-nos valdre dels moviments i dels colors com a principals paràmetres interpretatius.

    Mitjançant aquesta traducció visual tan detallista del sò, ens acostem una mica més a la riquesa d’estímuls d’una música. La velocitat amb la que, de vegades, sonen les notes musicals dels instruments, significa que els estímuls visuals a definir o animar són molt minuciosos i detallats (sobretot els moviments i colors), i per tant, moltes vegades els hem de treballar fotograma a fotograma.

    Per agilitzar la producció d’interpretacions visuals de la música, hem d’aprofitar els últims avenços tecnològics com les noves eines (plugins) d’animació 3d, l’aplicació automatitzada de color, etc. Aquestes eines ens han de permetre fer servir les pistes audio com a fonts d’informació, segons els diferents paràmetres del sò: el volum, la freqüència i el timbre.

    La manera ideal de generar interpretacions visuals de la música seria mitjançant un programa o software específicament dissenyat per aquesta tasca, format amb eines de diferents programes existents i tal vegada alguna eina nova de fàcil elaboració.

    Exemples d’Interpretació Visual de la Música:

    (actualitzat en 2025)

    TssTak (2024)
    VisualDub, demo (1997)
    Ark de Kolors (TVE 1996) + GasGas (2025)

  • Web flash 1992-2006

    Web flash 1992-2006

    Clica AQUÍ per veure la web antiga (necesita Flash player).