Sharquery datamining costa Rica

La minería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. Dicha información era previamente desconocida y podrá resultar útil para algún proceso. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos.  Bajo el nombre de minería de datos se engloba todo un conjunto de técnicas encaminadas a la extracción de conocimiento procesable, implícito en las bases de datos. Está fuertemente ligado con la supervisión de procesos industriales ya que resulta muy útil para aprovechar los datos almacenados en las bases de datos.  Las bases de la minería de datos se encuentran en la inteligencia artificial y en el análisis estadístico. Mediante los modelos extraídos utilizando técnicas de minería de datos se aborda la solución a problemas de predicción, clasificación y segmentación.

shard-query

Es un motor de consulta distribuida de forma paralela para MySQL

Basicamente con SQ debemos crear shards, por ejemplo una red de 20 servidores fisicos, osea 20 shards, configuramos el .INI con la informacion de cada shard
[shard1]
host=xxx.vvvvv.com
db=cityt_B
user=
theroot
password=theroot
Luego simplemente se hace una consulta con el objeto de php  y tendremos los resultado en un array:
      $this->shard_query->query( $sql );

ShardQuery es una clase de PHP que se destina a facilitar el trabajo con un conjunto de datos con particiones más fácil. Ofrece una interfaz fácil de usar PHP clase para consultar el conjunto de datos.

ShardQuery a se puede utilizar de forma transparente, e incluye un script de LUA experimental para el proxy de MySQL.


¿Qué tipo de resultados puedo esperar?
 

En la prueba anterior, un servidor de núcleo 24 se utilizó, y todos los datos, índices, etc, podrían caber dentro del buffer de InnoDB (en memoria de prueba), por lo que no ve ninguna mejora a partir de 24 núcleos y 32 núcleos. Usted tendría que agregar núcleos (o usar más de un nodo de almacenamiento) para obtener un mayor rendimiento a 32 (o más) las discusiones.
 


Creador del framework
http://swanhart.livejournal.com/




0 pensamientos:

Post a Comment

feedback!