te vas a propiedades de red, le pones ina IP fija a cada una y listo, por ej: 192.168.1.x, donde x puede ser un numero desde 1 hasta 255 ;)
si no... fijate en el manual de tu router debe decir la IP del mismo, ponele a las PC's las IP dentro de ese rango y la IP del router sería el Gateway y el DNS para cada PC, fijate y deci si anda o no