Tudom, miről van szó, nekem is volt ilyen régebben. Rossz helyen kezeled. :)
Ctrl + Shift + O a Library. Itt oldalt fogod látni az "Other Bookmarks" foldert a Bookmarks Toolbar-on belül (van egy kívül is, a lista alján, nem arról van szó). Húzd ki onnak máshová, vagy töröld le, és el fog tűnni a toolbar-ról.