Mira, yo no tengo un router en casa, pero uso mi pc de servidor para las demas.
1ro deberias tener todas las pcs bajo el mismo grupo de trabajo.
2do configurar una ip privada (192.168.0.x con mascara 255.255.255.0) para las pcs.
3ro en el router deberias tener una ip para la salida a internet, que va a ser el DNS y la Puerta de Enlace para tus pcs.
4to verificar firewall del router para la red interna, y entre las pcs por si tenes el firewall de windows activado. Te convendria correr el asistente de configuracion de redes domesticas para esto.
Fijate si podes asi.
Salu2!!!