Det var i en debattartikel i SvD i november som Lars Ohly medgav att han varit "alltför närgången" mot en kvinna, och skrev även att han polisanmälts för sitt beteende.
Han skyllde på det "patriarkala samhället", och menade att alla män bär ett visst ansvar för sexövergrepp.
Strax därefter meddelade Vänsterpartiet att Ohly portas från partiets alla framtida arrangemang. Den 9 januari lämnade han partiet, som han var partiledare för fram till 2012.
Nu får han även gå från paraplyorganisationen Funktionsrätt Sverige, där han blev ordförande i maj förra året.
Under fredagens extrakongress uttryckte en majoritet av Funktionsrätt Sveriges medlemsförbund att de inte har fortsatt förtroende för honom som ordförande för organisationen.
Detta med anledning av de anklagelser som riktats mot honom.
På mötet var 36 av 41 medlemsförbund representerade.
– Det är naturligtvis ledsamt att det inte längre finns ett förtroende för mig som ordförande i organisationen, säger Lars Ohly i ett uttalande.
– Det viktigaste för mig är nu att skapa så bra förutsättningar som möjligt för att Funktionsrätt Sverige ska kunna fortsätta vårt viktiga arbete. Jag kommer därför att finnas kvar som ordförande till det att en ny ordförande utsetts. Jag ska också göra allt jag kan för att en ny ordförande får de bästa förutsättningarna att göra ett bra jobb.
Vad Lars Ohly ska ha begått för handlingar i sak har inte blivit offentligt.