Je ne sais pas jouer d'un instrument. J'ai pris des cours de piano a huit ans et j'ai arrete au bout de trois mois parce que je voulais jouer dehors. Je n'ai jamais repris. Je ne sais pas lire une partition. Je serais incapable de te dire dans quelle tonalite est un morceau.
Le week-end dernier, j'ai construit un truc qui me permet de faire de la musique en tapant des phrases dans une boite de dialogue.
ce que c'est
Schwifty est une appli web. Tu tapes ce que tu veux entendre. "Dark techno avec basse acid." "Drone ambient avec des textures evolutives." "Quelque chose qui ressemble a etre perdu dans une station spatiale." L'IA transforme ca en code live qui joue dans tes enceintes. Pas de DAW. Pas de plugins. Pas d'installation. Tu tapes, ca joue.
Le nom est une reference a Rick and Morty. Evidemment.
comment ca marche vraiment
L'ingredient secret, c'est Strudel, un portage JavaScript de TidalCycles. TidalCycles est un langage de livecoding pour la musique algorithmique qui existe depuis le debut des annees 2000. Des gens font des sets live avec, tapant du code sur scene pendant que le public regarde les patterns muter en temps reel. Ca tourne entierement dans le navigateur via la Web Audio API.
Le probleme avec Strudel est le meme qu'avec tous les langages de livecoding : il faut d'abord l'apprendre. La syntaxe est puissante mais pas intuitive quand on ne l'a jamais vue. Un truc du genre :
note("<[c2,g2] [d2,a2] [e2,b2] [f2,c3]>").s('triangle').superimpose(add(.03)).cutoff(sine.slow(12).range(200,1500)).room(.95)
C'est un drone ambient. Ca sonne magnifiquement. Mais tu ne trouverais jamais comment l'ecrire sans passer quelques week-ends a lire la doc.
Schwifty passe tout ca. GPT-4o a un gros prompt systeme qui couvre la syntaxe Strudel : notes, samples, effets, rythmes euclidiens, filtres, tout. Tu dis "drone ambient avec des textures evolutives" et il genere le bloc de code ci-dessus. Le code tourne dans une iframe sandboxee, Strudel l'evalue, Web Audio le joue. Tu entends de la musique.
la partie qui m'a surpris
Je m'attendais a ce que l'IA genere des boucles basiques. Des patterns kick-hat simples, peut-etre une note de basse par-ci par-la. Fonctionnel mais ennuyeux.
A la place, elle genere des trucs avec des polyrythmies superposees, des balayages de filtre, des queues de reverb qui debordent sur les mesures, des oscillateurs desaccordes en phase. J'ai tape "quelque chose qui ressemble a une nuit pluvieuse a Tokyo" et j'ai obtenu un morceau avec des cloches FM douces, un pattern de hi-hat shuffle a bas volume, et un sub-bass qui pulse comme un tonnerre lointain. Je ne savais meme pas que Strudel pouvait faire la moitie de tout ca.
La partie iterative, c'est la que ca devient interessant. Tu n'as pas qu'un seul essai. Tu dis "rends-le plus rapide." "Ajoute plus de basse." "Rends-le bizarre." "Coupe tout sauf les hi-hats pendant quatre mesures puis ramene tout." Chaque prompt modifie le code en cours d'execution. C'est moins du prompting que de la direction d'un musicien qui repond en millisecondes.
J'ai passe trois heures un soir a juste taper des prompts et ecouter. J'ai oublie que j'etais cense construire le truc.
les presets
Tout le monde ne veut pas taper. Donc il y a cinq presets en un clic qui montrent ce que Schwifty peut faire : Minimal Beat, Acid Bass, Space Vibes, Ambient Pad, Glitch Hop. Clique sur l'un d'eux, l'audio demarre, le code apparait a droite de l'ecran. Tu peux lire le code pendant qu'il joue et commencer a voir comment les patterns Strudel fonctionnent.
Accidentellement educatif. Pas prevu non plus.
ce que ca dit sur l'IA et la creativite
Je n'arrete pas de construire ces trucs ou l'IA me surprend. Avec Latent Press, elle a choisi sa propre premisse de roman. Avec Schwifty, elle genere de la musique que je ne saurais pas demander en termes techniques. Je dis "rends-le bizarre" et elle ajoute des rythmes euclidiens et des samples bitcrushed dont j'ignorais l'existence dans la bibliotheque de samples Strudel.
Il y a une version de cet argument ou l'IA ne fait que remixer des donnees d'entrainement. Des sequences de notes statistiquement probables. C'est probablement vrai. Mais quand j'ecoute ce qui sort d'un prompt comme "le sentiment de quitter une fete tot" et que ca genere quelque chose avec une melodie lentement descendante sur un four-on-the-floor assourdi qui perd progressivement ses aigus, le debat philosophique ne m'interesse plus vraiment. Ca sonne juste.
L'ecart entre "je veux entendre quelque chose" et "je l'entends" representait autrefois des annees de pratique. Maintenant c'est une phrase. Que ce soit de la democratisation ou de la devalorisation depend du cote de l'instrument ou tu te trouves.
essaie-le
Clique sur "Start Audio Engine" en bas. Tape quelque chose. Regarde ce qui se passe.
Le code est open source sur github.com/meeseeks-lab/schwifty. C'est une appli Next.js avec un appel a l'API OpenAI et une iframe Strudel. L'ensemble fait peut-etre 500 lignes de vrai code.
Parfois les choses les plus simples sont les plus amusantes a construire.
Stay Updated
Get notified about new posts on automation, productivity tips, indie hacking, and web3.
No spam, ever. Unsubscribe anytime.
