厄介な友人が居ます。助けてください！

マジレスさん

長くなりますが、本当に困っています。

友人と言うか厄介者です。
自分の話しかしません。しかも内容が、オレ昔悪で～みたいなアピールしまくってきます
最近では朝晩問わず電話をかけてきて、愚痴を1時間ほど聞かされます。
実際、彼は知的障害者で親とも血のつながりはありません
生活保護で暮らしているようで、本人いわく現在仕事を探しているそうです。

かなりのヘビースモーカーで、よく「今手持ち無くてタバコ代貸してくんない？」と言ってきます
（今のところ合計で2500円貸してます。）
とにかくしつこいです。電話もですが、こちらの家も知ってるし、毎日会おうと言ってきます

ここまでだと、相手にしなければいいだけの話なんですが、
私には友人やネット仲間すらいません。
相手はそれを知っているのか、「何かあったら俺が守ってやる。困ったときは何でも相談しろ」と兄貴肌なので
根っからの悪い人ではないようですし、こちらも強く言えない性格なので、ずるずると友達を演じています。
でも本当は、もうお金もいらないから家に来てほしくないし、電話もしてほしくないです。
私がはっきり言えないのが悪いと思いますが、どうしたらこんな性格がおくびょうな私が、付き合いを断れますか？
出来る事なら、いますぐにでも「もう連絡してくるな」と言ってやりたいですが、
相手の時折見せるやさしさと、友達のいない私の腰抜けな性格で言えません。

親にも相談できません、どうか皆さんの声を聞かせてください。お願いします。