Diese ersten Tonzeichen des Mittelalters (Ende 9. Jh. Beginn 10. Jh.) nennt man Neumen. Das griechische Wort «νεῦμα» heisst Zeichen, Wink. Mög­licherweise stammen diese Zeichen von den Handzeichen des Dirigenten (Dirigierzeichen). Die ersten Neumenschriften verwenden keine Linien. Sie werden zur genaueren Fixierung der Tonhöhen von Guido von Arezzo (955–1050) eingeführt, wobei deren Zahl noch ziemlich frei ist. Die Fixierung der Tonhöhen ging auf Kosten der rhythmischen Genauigkeit, denn das Zusammenhängen oder Trennen (Neumentrennung) von Schriftzügen hatte eine gewichtige rhythmische Funktion. Wichtige Handschriftenfamilien sind: St. Galler-Neumen (im deutschen Sprachgebiet), Metzer-Neumen (am Hof Karls des Grossen), Aquitanische Neumen (Punktneumen), Beneventer-Schrift (Mittelitalien), Französische Schrift (Nordfrankreich, Belgien).