Streamujte protokoly OCI pomocí OCI Streaming a Kafka Connect to Splunk

Jedním z řešení, které mnoho zákazníků hledá, je přesunout data protokolování Oracle Cloud Infrastructure (OCI) do nástrojů třetích stran pro získání užitečných přehledů. Pro různé provozní činnosti můžete mít nástroje třetích stran.  V tomto článku hovoříme o integraci OCI s Splunk, populární platformou pro sledování a zabezpečení pomocí OCI Streaming a Kafka Connect. Výhody tohoto řešení Pomocí Oracle Streaming, Kafka Connect a Splunk získáte následující výhody: Škálovatelnost: Celková architektura je vysoce škálovatelná a na základě růstu objemu dat můžete rychle škálovat. Použitelné statistiky protokolování: Získáte statistiky protokolů o problémech a trendech téměř v reálném čase, což pomáhá přijímat rychlá rozhodnutí. Vysoce konfigurovatelný: Vysoce konfigurovatelný, takže můžete tento kanál vyladit tak, aby vyhovoval potřebám vaší organizace. Není vyžadováno žádné kódování: Toto řešení nevyžaduje žádné změny kódu. Předpoklady Toto řešení vyžaduje následující závislosti: Protokolování OCI Rozbočovač servisního konektoru OCI streamování Splunk Connect pro Kafku Splunk Architektura OCI Streaming má vestavěnou podporu pro Kafka connect pomocí Connect Harness. Rámec Kafka Connect umožňuje přesun dat z různých systémů do témat Kafka nebo naopak. Kafka Connect používá sink a source konektory k přesunu dat z témat Kafka nebo odesílání dat do témat Kafka. Pro přesun dat z Oracle Streaming do Splunk používáme plugin Splunk Connect for Kafka. Tento sink konektor nám umožňuje připojit se k tématu Kafka (v tomto případě Oracle Streaming) a streamovat data do kolektoru událostí http společnosti Splunk. Tato architektura také používá OCI Service Connector Hub k přesunu protokolovacích dat z služby protokolování OCI< /span>.službu OCI Streaming na Nastavení OCI Service Connector Hub Pomocí Service Connector Hub můžeme přesunout data protokolování do Streamingu, kde je protokolování zdrojem a Oracle Streaming cílem. Další podrobnosti naleznete v části Vytvoření konektoru se zdrojem protokolování. Vytvoření konfigurace Kafka Connect Chcete-li vytvořit konfiguraci Kafka Connect, přečtěte si Správa konfigurací Kafka Connect. Po vytvoření použijete názvy témat konfigurace, stavu a úložiště. Uložte si je, protože je používáme při konfiguraci Splunk connect pro Kafka. Nastavení Splunk Connect pro Kafka Postupujte podle tohoto průvodce pro vývojáře a nainstalujte Splunk Connect for Kafka. Další informace naleznete v části Instalace a správa Splunk Connect pro Kafka. Aktualizujte o následující vlastnosti, aby fungovaly se streamováním OCI: <font><code>#OCI Settings for OCI Stream, for this example we are using phoneix region bootstrap.servers=cell-1.streaming.us-phoenix-1.oci.oraclecloud.com:9092 group.id=kafka-connect-splunk-hec-sink config.storage.topic=<connect_configuration_ocid>-config offset.storage.topic=<connect_configuration_ocid>-offset status.storage.topic=<connect_configuration_ocid>-status security.protocol=SASL_SSL sasl.mechanism=PLAIN sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>"; producer.buffer.memory=4096 producer.batch.size=2048 producer.sasl.mechanism=PLAIN producer.security.protocol=SASL_SSL producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>"; consumer.sasl.mechanism=PLAIN consumer.security.protocol=SASL_SSL consumer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="<tenancy>/<user>/<stream_pool_ocid>" password="<auth_code>"; access.control.allow.origin=* access.control.allow.methods=GET,OPTIONS,HEAD,POST,PUT,DELETE</code></font> Dále můžete spustit příkaz.$KAFKA_HOME/bin/connect-distributed.sh $KAFKA_HOME/config/connect-distributed.properties, spusťte Kafka Connect a vytvořte dřez Splunk konektor pomocí REST API. Název tématu je název proudu OCI. <font> <code>curl localhost:8083/connectors -X POST -H "Content-Type: application/json" -d '{ "name": "kafka-connect-splunk", "config": { "connector.class": "com.splunk.kafka.connect.SplunkSinkConnector", "tasks.max": "3", "splunk.indexes": "<SPLUNK_INDEXES>", "topics":"<YOUR_TOPIC>", "splunk.hec.uri": "<SPLUNK_HEC_URI:SPLUNK_HEC_PORT>", "splunk.hec.token": "<YOUR_TOKEN>" } }'</code></font> Po vytvoření konektoru můžete zkontrolovat data protokolu ve Splunk vyhledáním indexu (splunk.indexes v konfiguraci konektoru), který jste nakonfigurovali při vytváření konektoru. Tato data odpovídají protokolům OCI. Zkontrolujte následující snímek: Závěr Nastavení datového kanálu protokolů pomocí Oracle Streaming, Kafka Connect a Splunk je škálovatelné, konfigurovatelné a spolehlivé řešení pro přehledy protokolování téměř v reálném čase. Ekosystém Kafka Connect má mnoho konektorů, které můžete použít k budování datových kanálů. Pro aktivaci této funkce poskytuje Oracle Cloud Infrastructure Streaming platformu pro běh vašeho běhového prostředí Kafka Connect. Vyzkoušejte řešení sami! Zaregistrujte se do Oracle Cloud Free Tier nebo nás kontaktujte. Zdroj: Oracle The post Streamujte protokoly OCI pomocí OCI Streaming a Kafka Connect to Splunk appeared first on Solutia.

projít na článek

Něměček se zachoval velmi ohleduplně, jednání nebyla jednoduchá, říká prezident Tatranu Kafka

Zkompletoval největší přestup v rámci svého prezidentování Tatranu. Tomáš Kafka popisuje zákulisí přestupu kapitána týmu a českého národního týmu Ondřeje Němečka, který

projít na článek

Novinka: SP Connect

SP Connect nabízí jedinečný a promyšlený montážní systém pro váš chytrý telefon. Výrobce je divizí holdingu SP United – ten má bohaté zkušenosti v oblasti fixace od mobilních telefonů přes akční kamery až po snowboardové vázání. Za produkty stojí důkladný

projít na článek

Nominace na ceny Connect IQ Developer

Vlastníte chytré hodinky či přístroje Garmin, které jsou kompatibilní s aplikací Connect IQ? Pak vás možná bude zajímat, jaké nejlepší aplikace a vychytávky si můžete do svého zařízení stáhnout.

projít na článek

Systém inteligentního osvětlení EGLO Connect

Chcete večer zvýraznit útulnost domova teplým odstínem světla? Občas naopak potřebujete ostřejší a studenější odstín světla pro práci? A před spaním vyladit atmosféru ložnice decentním barevným odstínem? To vše vám umožní nový koncept inteligentního osvět

projít na článek

Aplikace Mapy.cz začala podporovat Garmin Connect Mobile

Víte, že Mapy.cz a Garmin Connect Mobile jsou nyní kompatibilní a můžete si přenést trasu (GPX soubor) nejen do hodinek Garmin? Pokud nevíte jak, máme pro Vás návod jak na to.

projít na článek