En 1976, à l'initiative de Jean Maheu, alors Directeur de la Musique au Ministère de la Culture et de l'Environnement, une commission regroupant des personnalités institutionnelles et musicales se réunit dans le but de définir des actions pour promouvoir la musique contemporaine et aider les compositeurs et les éditeurs de ce répertoire vivant. Cette réflexion suscita la création de deux entités, qui furent par la suite pérennisées : le Centre de documentation de la musique contemporaine et la collection discographique Musique Française d'Aujourd'hui.
À la demande de la commission, le Cdmc devait être un lieu où toute personne pourrait accéder facilement aux œuvres des compositeurs de notre temps, en permettant l'écoute de l'œuvre simultanément à la lecture de la partition. Une documentation annexe renseignerait le musicien ou l'étudiant sur l'œuvre et son compositeur.
Le Ministère de la Culture et la Sacem acceptèrent de prendre en charge à parité le financement du projet. Radio France s'engagea à doter le Cdmc des copies des enregistrements effectués par ses soins. Ces rôles sont toujours assumés aujourd'hui par les trois partenaires institutionnels du Centre.
Jean Maheu, Jean-Loup Tournier et Pierre Vozlinsky furent ainsi les principaux artisans de la création du Cdmc. Quant aux éditeurs de musique, ils participèrent à la constitution du fonds en le dotant des partitions nécessaires à la consultation.
Le protocole d'accord fut signé en novembre 1977. Le Centre fut inauguré en février 1978 et ouvert au public quelques mois plus tard, avec un catalogue de 500 œuvres.
Le Cdmc a été dirigé depuis sa création jusqu’en janvier 2007 par Marianne Lyon.
Depuis juillet 1993, le Cdmc est installé près de la Cité de la musique, dans le parc de la Villette. Il compte aujourd'hui plus de 13000 œuvres contemporaines.
La numérisation des fonds du Cdmc est en cours de réalisation ; celle des fonds sonores est achevée. D'autre part le Cdmc met en place avec notamment l'IRCAM, la cité de la musique, le CNSMD de Paris et la médiathèque Gustav Mahler un portail commun de la musique contemporaine.