Suivant Columbi, le prieuré de Ganagobie aurait été fondé en 965. Selon le Livre vert des religieux, ce monastère serait plus ancien, puisqu'une bulle du pape Etienne VIII, datée de l'an 939, le mentionne expressément. Toujours est-il qu'à la fin du Xème siècle, le prieuré des bords de la Durance est en pleine prospérité. Vers ce temps, Jean III, évêque de Sisteron, donne aux moines de Cluny la montagne de Ganagobie, dont il est propriétaire. Ce prélat complète sa donation en y faisant construire deux églises, l'une en l'honneur de Notre-Dame, l'autre sous le vocable de son patron Saint Jean-Baptiste.