"Det är ett svårt jobb att kombinera med att vara en närvarande pappa till två små barn. Jag har lovat mig själv att aldrig offra mina barn för jobbet", säger han.
Att han, i egenskap av man, också har begränsat valmöjligheterna i jakten på en ny partiledare är ingen hemlighet. Partiet ska ledas av en kvinna och en man, säger han.
"Jag hoppas och tror att det här kan underlätta för valberedningen att hitta ett team som kan leda S efter kongressen."
TT: Kände du att du hade stöd i partiet för att fortsätta?
"När det handlar om det personliga stödet har det aldrig varit någon tvekan", säger Baylan.
Baylan är riksdagsledamot för Västerbottens län. Söndagens besked innebär inte att han lämnar politiken.
"Nej, jag är väldigt sugen på att ta revansch", säger han.
Statsvetaren Jenny Madestam är inte förvånad över Baylans beslut.
"Det här sänder en signal om att det är en allvarlig kris och att han som enskild person har del i den", säger hon.
"Han har säkert fått tydliga signaler om att han inte kan sitta kvar nu när kampen om partiledarposten verkar stå mellan olika män."
I helgen fortsatte arbetet med att få fram tänkbara namn på partiledarkandidater. Partidistrikten uppmanades i tisdags att komma med nya förslag.
Då hade redan tre personer - Ulrika Messing, Pär Nuder, och Tomas Eneroth - sagt nej till valberedningen. En ledande socialdemokrat sa i fredags till TT att valberedningen hade "kört in i väggen".
TT talade på söndagen med representanter för 16 av de 26 distrikten. Många vill inte svara på frågor kring nomineringsprocessen.
Flera distrikt - Blekinge, Gävleborg, Stockholms län, Kalmar, Kronoberg, Uppland - uppger att de står fast vid sina gamla kandidater.
Distriktsordförandena för Dalarna, Bohuslän och Jämtland säger till TT att de lämnar in nya namn, men de vill inte säga vilka.
Det är svårt att säga vad de nya namnen kommer att betyda, menar Marie Demker, professor i statsvetenskap.
"Valberedningen har förmodligen redan en tätgrupp och resonerar bland dem", säger hon.
Att allt drar ut på tiden är inte bra för partiet internt.
"Det dyker upp många motsättningar av olika slag. Då kan det bli svårt för den nya ledningen att ena partiet", säger hon.