Las reglas principales de Rummikub se centran en agrupar las fichas coloreadas y numeradas en grupos de al menos tres. Para calificar como "conjunto" o grupo, las fichas pueden ser todas del mismo número y colores o pueden ser todos del mismo color y numéricamente seguidos.
Rummikub viene con soportes especiales en los que los jugadores pueden alinear sus fichas. Para comenzar el juego, todas las fichas deben estar boca abajo. Es mejor colocarlos a un lado para dejar un gran espacio vacío en el medio para jugar. Cada jugador selecciona catorce fichas y las coloca en su soporte de fichas. Para comenzar a jugar, un jugador debe poder establecer un total de treinta puntos, determinado simplemente agregando el valor de los números en las fichas jugadas. Cada conjunto o grupo debe tener un mínimo de 3 fichas, compartiendo el mismo número o color (con números en una fila) como se describe anteriormente. Después de dejar sus sets, los jugadores terminan cada turno recogiendo una nueva ficha de la pila boca abajo. Los puntos se pueden sumar a lo largo del juego, pero el ganador es la persona que se queda sin fichas primero. También hay dos "comodines" que se pueden jugar como cualquier número o color. Durante el juego, los jugadores pueden mover conjuntos, pedir prestado de un juego anterior o agregarlo. Sin embargo, cuando se mueven los mosaicos, cada grupo debe seguir teniendo un mínimo de 3 mosaicos.