L'invention d'un monde imaginaire m'a fait avoir pas mal de notes dans tous les sens également !
Ce que j'ai fait, tout d'abord, c'est prendre le temps de laisser l'inspiration faire son travail: pendant de longs mois, je notais toutes les idées là où je pouvais (feuille, smartphone, document word sur le PC, sur une clef USB, sur mon Drive, cahier, carnet, post-it, etc.). J'ai réfléchi de manière complètement décousue à mon monde, à mon intrigue, et ça partait parfois tellement dans tous les sens que certains idées devenaient presque incohérentes avec d'autres, à moitié oubliées au fur et à mesure des réflexions. Cela était notamment du au fait que j'ai voyagé 4 mois en Océanie en road trip (sac de montagne sur le dos, à la ouaneuhguene

) donc j'avais une réflexion très décousue, ce qui m'a finalement aidé à envisager d'autre pistes...en oubliant certaines (j'ai la mémoire assez courte

) Cela fut très bénéfique pour ma créativité.
A mon retour en France, j'ai repris toutes mes notes éparpillées. Je les ai retranscrite sur un même support: un bloc de feuilles (writing pad en anglais, je ne sais pas comment ça se traduit vraiment), en très peu de temps (deux trois jours maximum) et
sans chercher à les organiser. Cela m'a permit d'avoir une vue d'ensemble de toutes mes idées et de sélectionner les plus pertinentes et cohérentes pour la suite du travail.
Le fait de tout réécrire permet de bien ré-imprégner le cerveau de toutes vos idées, favorisant leur mémorisation. De plus, l'écriture "au stylo" (si j'ose dire) permet une meilleure mémorisation que l'écriture au clavier, je vous conseille donc cette façon de faire.
Quelques réflexions plus tard (pour boucher les trous dans la structure), j'avais les grandes étapes de mon roman (à peu près un découpage en chapitres).
Maintenant je travaille sur la structure elle-même... Et ce n'est pas évident d'affiner tout ça en scènes !
En résumé, ce qui a marché pour moi:
1/ prendre le temps de réfléchir, parfois de manière décousue avec de longues pauses où vous oubliez complètement et volontairement votre roman (plusieurs mois avec parfois plusieurs semaines de pause dans mon cas). Noter les idées en vrac quand elles vous viennent.
2/ Quand vous voulez faire le point sur toutes vos idées, relisez et retranscrivez toutes vos notes au stylo en aussi peu de temps que possible, et quasiment sans interruption, sur un même support (évitez les feuilles volantes et autres trucs que vous pouvez perdre, privilégiez un cahier). Essayez de faire cela en pensant à comment structurer l'histoire. Vos idées vont s'agencer entre elles au fur et à mesure de la retranscription. N'hésitez surtout pas à rajouter celles qui vont certainement germer à ce moment.