Some help from Guðvarður Már Gíslason:

"Ég hef nú ekki athugað þetta sérstaklega, en mig minnir að o (o+e)
hafi ekki verið notað fyrr en á 19. öld, ætli Rask hafi ekki verið sá
fyrsti sem vildi nota það þegar aðgreina átti fónemin æ og o í fornum
textum. Stafurinn er svo stundum notaður í hljóðkerfisgreiningu og
mjög algengur í útgáfum, t.d. Fornritafélagsins. ø með lengdarmerki
(broddi) er líka mikið notaður í hljóðkerfisumfjöllun. Í íslenskum
handritum eru ýmis tákn notuð fyrir þetta hljóð (langt ø-hljóð) en þar
sem það rann saman við æ (langt opið e-hljóð) á 13. öld höfum við ekki
svo miklar heimildir um það. Oft var það skrifað með ø. En Norðmenn
notuðu hins vegar mjög líkan staf, þ.e. o án lykkjunnar að neðan, þ.e.
o með litlum belg uppi til hægri."

"I haven't looked into this particularly, but I seem to recall that
'oe' wasn't used before the 19th c. Could it have been Rask who was
the first to use it when necessary to distinguish between the phonemes
'æ' and 'oe' in old texts? The letter is sometimes used thus when
analysing the vowel system and very common in editions, e.g. those of
the Fornritafélagið. 'ø' with an accute accent to mark length is also
much used in discussions of the vowel system. Various symbols are
used for this sound (long ø-sound) in Icelandic manuscrupts, but where
it fell together with 'æ' (long open e-sound) in the 13th c., we don't
have so many sources of evidence for that. It was often written with
'ø'. The Norwegians, on the other hand, used a very similar letter,
like the oe-ligature but without the lower part of the 'e', that is to
say: an 'o' with a little (closed) loop attached high up on the right
hand side."

(My own translation, so you can blame me for any mistakes in that!)