Sqoop se torna um projeto de alta prioridade para a fundação Apache

Publicado em 05/04/2012 às 10:28 | 6286 leituras

Solução para transferência de dados para entre o Apache Hadoop e bases de dados SQL foi graduada para se tornar um projeto de alta prioridade.


Versão para impressão Enviar por email


SqoopA Apache Software Foundation anunciou oficialmente a graduação do Sqoop, a ferramenta de transferência de dados para o Apache Hadoop, para um projeto de alta prioridade (Top-Level Project). O Apache Sqoop foi desenvolvido para transferir de forma eficiente grandes volumes de dados entre a plataforma de "Big Data" Hadoop e outros dados de armazenamento.


Por exemplo, o Sqoop pode importar dados de uma base de dados dentro do Hadoop Distributed File System, Hive ou HBase, ou exportar dados dessas plataformas distribuídas, de volta para essas bases de dados e outros locais de armazenamentos, como uma data warehouse empresarial. O Sqoop é capaz de paralelizar a transferência de dados para melhorar o desempenho e fazer o melhor uso de recursos de sistemas e da rede; ele mesmo é instalada sobre uma infraestrutura Hadoop e utiliza suas capacidades para distribuir a transferência entre os nós Hadoop. Ele permite que empresas escrevam consultas SQL que serão executadas em suas bases de dados e ter esses resultados importados no Hadoop. O produto é complementado ainda por conectores MySQL, PostgreSQL, Oracle, SQL Server e DB2.


A fundação afirmou que o Sqoop foi considerado uma "solução ideal para a transferência de dados entre o SQL e Hadoop". O desenvolvimento da solução começou em maios de 2009 como um módulo para o Apache Hadoop, uma contribuição do desenvolvedor Aaron Kimball. Ao longo daquele ano, a ferramenta recebeu 56 correções e acréscimos em seu código, e foi eventualmente separada do projeto Hadoop em abril de 2010 e hospedada no GitHub pela empresa Cloudera. No ano seguinte, quatro diferentes versões e 191 correções e acréscimos depois, o Sqoop foi proposto para incubação na Apache Software Foundation para incentivar a formação de uma comunidade em torno do projeto. Com outras 116 correções na incubação e agora Sqoop e sua governança que segue o "estilo Apache" está pronto para os projetos de alta prioridade da Apache Software Foundation. O lançamento mais recente do Sqoop é a versão 1.4.1-incubating, disponível nos diversos espelhos do site de download da Apache.


O Sqoop é um dos quatro projetos que foram graduados para nível de alta prioridade no último mês; Rave, um motor para integração social, foi o primeiro. Lucy, um motor de busca de texto completo baseado em C, e o Accumulo, um storage distribuído para chave/valor que é construído sobre o Apache Hadoop, Zookeeper e Thrift serão anunciados nas semanas vindouras.


Fonte: h-online, em inglês.

Comentários


Outras notícias

Suspeita de direcionamento trava pregão Linux na Dataprev

Publicado em: 19/12/2014 às 13:54 | leituras |

A 2ª Vara Cível da Justiça Federal, em Brasília, mandou travar no último dia 15 de dezembro, os efeitos resultantes de um pregão eletrônico para aquisição de software Linux (adjudicação, homologação e contratação do vencedor), realizado pela Dataprev no dia 28 de novembro.

Alog abre vagas para contratação em TI

Publicado em: 18/12/2014 às 11:52 | leituras |

A Alog abriu vagas em São Paulo, Tamboré (Barueri) e Rio de Janeiro.Em São Paulo há oportunidades para estudantes de cursos relacionados a TI nas áreas de Processos (auditoria e qualidade) e Service Desk.

Programadores: é hora de formar no Brasil

Publicado em: 15/12/2014 às 9:49 | leituras |

A Microsoft lançou um site com recursos digitais para que estudantes possam aprender programação. O Microsoft Imagine, como foi batizado, é um novo pilar da iniciativa YouthSpark e foi lançado para celebrar a Semana das Ciências da Computação e da Hora do Código.

Faltam programadores para Java, Groovy, Grails e PL-SQL

Publicado em: 28/11/2014 às 10:37 | leituras |

Faltam profissionais no mercado para atuar com as plataformas Java, Groovy, Grails, e PL-SQL. Só para os especialistas em Java, por exemplo, a média salarial pode variar entre R$ 2 mil (Júnior) a R$ 7 mil (Sênior) no regime de contratação CLT.

Governo corre para formar técnicos em IPv6

Publicado em: 28/11/2014 às 10:31 | leituras |

Um plano de emergência foi adotado pela Secretaria de Logística e Tecnologia da Informação, do Ministério do Planejamento, para reduzir o gap governamental., revelou Daniel de Sousa Araújo, da SLTI, durante evento do NIC.br, realizado nesta quarta-feira, 26/11, em São Paulo.

Funcionários da Cobra Tecnologia aderem á greve em vários estados

Publicado em: 27/11/2014 às 15:19 | leituras |

Os trabalhadores da Cobra Tecnologia no Amapá, Bahia, Ceará, Distrito Federal, Goiás, Maranhão, Pará, Paraná, Pernambuco, Piauí, Rio de Janeiro e São Paulo estão de braços cruzados a partir desta terça-feira, 25/11. Os trabalhadores dos demais estados estão se organizando para aderirem ao movimento nacional.

Anatel admite atraso no IPv6 e diz que não vai ceder à pressão do mercado

Publicado em: 27/11/2014 às 15:09 | leituras |

Objetivo da agência reguladora é fazer com que, até meados do ano que vem, todas as prestadoras de serviços ofertem endereços IPv6 públicos aos novos usuários ou usuários legados que solicitarem endereços nos principais centros por todo o Brasil.

Política das Portas Abertas: Jacob Rossi fala sobre a abertura de código

Publicado em: 26/11/2014 às 14:19 | leituras |

Jacob Rossi, gerente de desenvolvimento do Internet Explorer, quebrou as regras para conversar com a gente sobre a sua perspectiva sobre a abertura de códigos da Microsoft.

ERP livre: ADempiere na Supply Service

Publicado em: 19/11/2014 às 13:15 | leituras |

Confira a entrevista de Gabriela Oppermann e Antônio Pregnolato, respectivamente Diretora Comercial e Gerente de TI do Grupo Supply Service, sobre a escolha e o uso da solução integrada de gestão empresarial de código aberto ADempiere na empresa.

Google libera serviço de música para todos usuários no Brasil

Publicado em: 18/11/2014 às 14:45 | leituras |

Play Música tem 30 milhões de faixas e permite armazenar acervo pessoal. Até 7 de janeiro, serviço oferece 60 dias de graça e assinatura por R$ 13.

Brasil segue sem política de segurança para BYOD

Publicado em: 18/11/2014 às 11:30 | leituras |

Estudo da BT aponta que as brechas na segurança móvel afetaram 78% das organizações brasileiras nos últimos doze meses, e ainda assim, as empresas não tomaram as medidas de segurança adequadas em caso, por exemplo, de infecções causadas por malwares ou roubo de dispositivos.

Redes sociais têm vagas no Brasil

Publicado em: 14/11/2014 às 10:43 | leituras |

Facebook, Google e Apple tem vagas na área de redes sociais em várias cidades do Brasil.

Equipe brasileira conquista primeiro lugar na Copa Mundial de Testes de Software

Publicado em: 12/11/2014 às 15:53 | leituras |

Equipe pernambucana teve o melhor desempenho dos seis continentes participantes do evento, que acontece na Alemanha.

Computador da Apple vendido diretamente por Jobs vai a leilão

Publicado em: 03/11/2014 às 13:58 | leituras |

Co-fundador da empresa vendeu o Apple-1 na casa dos pais, em 1976. Modelo funciona perfeitamente, segundo a casa de leilões Christie's.

NIC.br adverte: provedores, preparem suas redes para o IPv.6

Publicado em: 29/10/2014 às 11:16 | leituras |

Agora que terminou o estoque de IPv4, passa a ser muito importante migrar”, disse ele, em entrevista durante a Futurecom 2014.

Microsoft disponibiliza código-fonte do MS-DOS e do Word para o público

Publicado em: 27/10/2014 às 13:48 | leituras |

No mês de março de 2014, a Microsoft anunciou que tirou o pó do código-fonte para das primeiras versões do MS-DOS e do Word para Windows e o abriu para o público. Com a ajuda do Computer History Museum, disponibilizamos esses códigos para o público pela primeira vez.

Apache CloudStack versão 4.4.1 acaba de ser lançado

Publicado em: 22/10/2014 às 15:29 | leituras |

Plataforma de software de computação em nuvem em código aberto oferece maior eficiência e performance.

CEO da Microsoft, Satya Nadella, diz que ama o Linux

Publicado em: 22/10/2014 às 13:05 | leituras |

Satya Nadella ainda declarou que 20% da estrutura do Azure, serviço de nuvem da Microsoft, já é baseado no Linux.

Bancos veem Apple e Google como ameaça crescente no mercado

Publicado em: 17/10/2014 às 14:56 | leituras |

Segundo pesquisa, cerca de um quarto dos banqueiros entrevistados enxergam empresas não tradicionais de tecnologia como seus maiores rivais no momento.

Hackers ameaçam vazar 7 milhões de senhas do Dropbox

Publicado em: 17/10/2014 às 11:21 | leituras |

Criminoso libera pacotes com dados de centenas de contas e pede bitcoins para publicar mais informações.

Aliança Microsoft-SUSE: interoperabilidade para mais de 1000 clientes

Publicado em: 16/10/2014 às 16:04 | leituras |

Alfonso Castro, Diretor de Parcerias Estratégicas do Open Solutions Group da Microsoft, fala sobre a aliança entre SUSE e Microsoft em busca de melhorias na interoperabilidade de sistemas Windows-Linux.

Impressora 3D em MG usada para reconstruir rosto encarregado de obras

Publicado em: 16/10/2014 às 14:20 | leituras |

Após ter perdido o nariz, os lábios e parte do queixo por conta de um câncer na boca, o rosto do encarregado de obras Marcio Palhares, 56, foi reconstituído a partir de um método que utiliza impressora 3D, na UFJF (Universidade Federal de Juiz de Fora), em Juiz de Fora (278 km de Belo Horizonte), Minas Gerais.

Dropbox enfrenta problemas e apaga arquivos de internautas

Publicado em: 15/10/2014 às 16:35 | leituras |

O Dropbox enfrentou problemas no último fim de semana e alguns arquivos de usuários foram apagados. A instabilidade afetou somente versões mais antigas do software do serviço para computadores.

Falha ameaça todas as versões do Windows desde o Vista

Publicado em: 15/10/2014 às 11:54 | leituras |

Vulnerabilidade foi usada por criminosos em ataques contra Otan, governos europeus e companhias de energia e telecomunicações.

Adolescentes veem futuro na programação

Publicado em: 15/10/2014 às 10:46 | leituras |

No dia 7, a Microsoft promoveu oficinas com 300 alunos de colégios públicos e privados de São Paulo para incentivar o estudo da programação. A iniciativa faz farte da campanha "Eu Posso Programar", que pretende ensinar noções básicas a mais de um milhão de jovens na América Latina.


Mais notícias


lançamento!

LM 115 | Invasão




Impressa esgotada
Comprar Digital  R$ 10,90 Digital

  1. Baixe o curso de shell script do Julio Cezar Neves

    Publicado em 07/04/2008 às 19:41 | 224845 leituras

  1. Resultado do concurso "Por que eu mereço ganhar um netbook?"

    Publicado em 30/09/2009 às 3:00 | 128436 leituras

  1. Software público brasileiro na Linux Magazine Especial

    Publicado em 29/07/2011 às 15:07 | 115506 leituras

  1. Lançado o phpBB 3

    Publicado em 13/12/2007 às 18:42 | 108272 leituras

  1. TeamViewer disponível para Linux

    Publicado em 26/04/2010 às 1:27 | 86067 leituras

  1. [DIGEST] Aconteceu de 30/07 a 03/08 no mundo de TI

    Publicado em 06/08/2012 às 11:45 | 3669 leituras

  1. [ENTREVISTA] Linus Torvalds: “cansei de ler código” (Parte 1)

    Publicado em 16/11/2012 às 13:42 | 9098 leituras

  1. Wine 1.3.28 usa OpenGl para instruções do DirectDraw

    Publicado em 12/09/2011 às 19:46 | 6445 leituras

  1. Lançado o editor de vídeo OpenShot

    Publicado em 13/01/2010 às 22:24 | 4997 leituras

  1. Encontre vazamentos de memória no seu programa JavaScript

    Publicado em 10/08/2012 às 13:04 | 5588 leituras

whitepapers

mais whitepapers