Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 6136 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Faltam programadores para Java, Groovy, Grails e PL-SQL

Publicado em: 28/11/2014 às 10:37 | leituras |

Faltam profissionais no mercado para atuar com as plataformas Java, Groovy, Grails, e PL-SQL. Só para os especialistas em Java, por exemplo, a média salarial pode variar entre R$ 2 mil (Júnior) a R$ 7 mil (Sênior) no regime de contratação CLT.

Governo corre para formar técnicos em IPv6

Publicado em: 28/11/2014 às 10:31 | leituras |

Um plano de emergência foi adotado pela Secretaria de Logística e Tecnologia da Informação, do Ministério do Planejamento, para reduzir o gap governamental., revelou Daniel de Sousa Araújo, da SLTI, durante evento do NIC.br, realizado nesta quarta-feira, 26/11, em São Paulo.

Funcionários da Cobra Tecnologia aderem á greve em vários estados

Publicado em: 27/11/2014 às 15:19 | leituras |

Os trabalhadores da Cobra Tecnologia no Amapá, Bahia, Ceará, Distrito Federal, Goiás, Maranhão, Pará, Paraná, Pernambuco, Piauí, Rio de Janeiro e São Paulo estão de braços cruzados a partir desta terça-feira, 25/11. Os trabalhadores dos demais estados estão se organizando para aderirem ao movimento nacional.

Anatel admite atraso no IPv6 e diz que não vai ceder à pressão do mercado

Publicado em: 27/11/2014 às 15:09 | leituras |

Objetivo da agência reguladora é fazer com que, até meados do ano que vem, todas as prestadoras de serviços ofertem endereços IPv6 públicos aos novos usuários ou usuários legados que solicitarem endereços nos principais centros por todo o Brasil.

Política das Portas Abertas: Jacob Rossi fala sobre a abertura de código

Publicado em: 26/11/2014 às 14:19 | leituras |

Jacob Rossi, gerente de desenvolvimento do Internet Explorer, quebrou as regras para conversar com a gente sobre a sua perspectiva sobre a abertura de códigos da Microsoft.

ERP livre: ADempiere na Supply Service

Publicado em: 19/11/2014 às 13:15 | leituras |

Confira a entrevista de Gabriela Oppermann e Antônio Pregnolato, respectivamente Diretora Comercial e Gerente de TI do Grupo Supply Service, sobre a escolha e o uso da solução integrada de gestão empresarial de código aberto ADempiere na empresa.

Google libera serviço de música para todos usuários no Brasil

Publicado em: 18/11/2014 às 14:45 | leituras |

Play Música tem 30 milhões de faixas e permite armazenar acervo pessoal. Até 7 de janeiro, serviço oferece 60 dias de graça e assinatura por R$ 13.

Brasil segue sem política de segurança para BYOD

Publicado em: 18/11/2014 às 11:30 | leituras |

Estudo da BT aponta que as brechas na segurança móvel afetaram 78% das organizações brasileiras nos últimos doze meses, e ainda assim, as empresas não tomaram as medidas de segurança adequadas em caso, por exemplo, de infecções causadas por malwares ou roubo de dispositivos.

Redes sociais têm vagas no Brasil

Publicado em: 14/11/2014 às 10:43 | leituras |

Facebook, Google e Apple tem vagas na área de redes sociais em várias cidades do Brasil.

Equipe brasileira conquista primeiro lugar na Copa Mundial de Testes de Software

Publicado em: 12/11/2014 às 15:53 | leituras |

Equipe pernambucana teve o melhor desempenho dos seis continentes participantes do evento, que acontece na Alemanha.

Computador da Apple vendido diretamente por Jobs vai a leilão

Publicado em: 03/11/2014 às 13:58 | leituras |

Co-fundador da empresa vendeu o Apple-1 na casa dos pais, em 1976. Modelo funciona perfeitamente, segundo a casa de leilões Christie's.

NIC.br adverte: provedores, preparem suas redes para o IPv.6

Publicado em: 29/10/2014 às 11:16 | leituras |

Agora que terminou o estoque de IPv4, passa a ser muito importante migrar”, disse ele, em entrevista durante a Futurecom 2014.

Microsoft disponibiliza código-fonte do MS-DOS e do Word para o público

Publicado em: 27/10/2014 às 13:48 | leituras |

No mês de março de 2014, a Microsoft anunciou que tirou o pó do código-fonte para das primeiras versões do MS-DOS e do Word para Windows e o abriu para o público. Com a ajuda do Computer History Museum, disponibilizamos esses códigos para o público pela primeira vez.

Apache CloudStack versão 4.4.1 acaba de ser lançado

Publicado em: 22/10/2014 às 15:29 | leituras |

Plataforma de software de computação em nuvem em código aberto oferece maior eficiência e performance.

CEO da Microsoft, Satya Nadella, diz que ama o Linux

Publicado em: 22/10/2014 às 13:05 | leituras |

Satya Nadella ainda declarou que 20% da estrutura do Azure, serviço de nuvem da Microsoft, já é baseado no Linux.

Bancos veem Apple e Google como ameaça crescente no mercado

Publicado em: 17/10/2014 às 14:56 | leituras |

Segundo pesquisa, cerca de um quarto dos banqueiros entrevistados enxergam empresas não tradicionais de tecnologia como seus maiores rivais no momento.

Hackers ameaçam vazar 7 milhões de senhas do Dropbox

Publicado em: 17/10/2014 às 11:21 | leituras |

Criminoso libera pacotes com dados de centenas de contas e pede bitcoins para publicar mais informações.

Aliança Microsoft-SUSE: interoperabilidade para mais de 1000 clientes

Publicado em: 16/10/2014 às 16:04 | leituras |

Alfonso Castro, Diretor de Parcerias Estratégicas do Open Solutions Group da Microsoft, fala sobre a aliança entre SUSE e Microsoft em busca de melhorias na interoperabilidade de sistemas Windows-Linux.

Impressora 3D em MG usada para reconstruir rosto encarregado de obras

Publicado em: 16/10/2014 às 14:20 | leituras |

Após ter perdido o nariz, os lábios e parte do queixo por conta de um câncer na boca, o rosto do encarregado de obras Marcio Palhares, 56, foi reconstituído a partir de um método que utiliza impressora 3D, na UFJF (Universidade Federal de Juiz de Fora), em Juiz de Fora (278 km de Belo Horizonte), Minas Gerais.

Dropbox enfrenta problemas e apaga arquivos de internautas

Publicado em: 15/10/2014 às 16:35 | leituras |

O Dropbox enfrentou problemas no último fim de semana e alguns arquivos de usuários foram apagados. A instabilidade afetou somente versões mais antigas do software do serviço para computadores.

Falha ameaça todas as versões do Windows desde o Vista

Publicado em: 15/10/2014 às 11:54 | leituras |

Vulnerabilidade foi usada por criminosos em ataques contra Otan, governos europeus e companhias de energia e telecomunicações.

Adolescentes veem futuro na programação

Publicado em: 15/10/2014 às 10:46 | leituras |

No dia 7, a Microsoft promoveu oficinas com 300 alunos de colégios públicos e privados de São Paulo para incentivar o estudo da programação. A iniciativa faz farte da campanha "Eu Posso Programar", que pretende ensinar noções básicas a mais de um milhão de jovens na América Latina.

Netflix chega ao Linux

Publicado em: 15/10/2014 às 8:52 | leituras |

A Netflix enfim está disponível para usuários do Linux que usem Ubuntu e o navegador Chrome a partir da versão 37.

Google implementa caixa de buscas para Pirate Bay

Publicado em: 14/10/2014 às 15:57 | leituras |

O Google acaba de tomar um passo que promete irritar organizações que defendem estúdios de Hollywood, como a RIAA e a MPAA.

InterCon 2014 já tem data marcada: 15 de novembro

Publicado em: 14/10/2014 às 11:21 | leituras |

As inscrições para o InterCon 2014 já estão abertas e são limitadas.


Mais notícias


lançamento!

LM 115 | Invasão




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 221855 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 126652 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 114523 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 107150 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 85234 leituras

  1. OpenStack celebra seu segundo aniversário com nuvens ARM

    Publicado em 19/07/2012 às 15:02 | 5398 leituras

  1. Microsoft deverá divulgar suporte total ao Linux no Windows Azure

    Publicado em 06/06/2012 às 19:40 | 6581 leituras

  1. IBM lança processador Power8 e agita o mercado de servidores

    Publicado em 28/08/2013 às 15:56 | 11835 leituras

  1. Microsoft derruba barreiras do Visual Studio Express

    Publicado em 12/06/2012 às 9:35 | 8372 leituras

  1. Felipe Podolano integra o time da Adobe Brasil

    Publicado em 19/05/2010 às 10:58 | 4130 leituras

whitepapers

mais whitepapers