Не уверена. Он ушёл ещё подростком - в 16 лет. А ругался ещё раньше - собственно, я думаю, началось всё с поступления на Гриффиндор. Чему там научили его до 11 лет? Да и не хотел он учиться, я думаю.
А вот библиотека - да. )
А вообще вы мне подали одну идею...