얼거스 개발 일지

참고 : https://inf.run/GHeRm

1. 실행 파일 설치

windows powershell을 이용해서 kafka connection 압축 파일을 다운 받는다.

# 다운 받을 위치로 이동
cd 'c:/kafka'

# mirror 서버에서 파일 다운로드
curl -O https://packages.confluent.io/archive/7.5/confluent-community-7.5.2.tar.gz

( 23.11.13 기준 최신 버전 : 7.5.2 )

# 압축 해제
tar xvf confluent-community-7.5.2.tar.gz

압축 해제를 완료하면 confluent-7.5.2 라는 이름으로 /bin , /config 등의 파일이 담긴 폴더가 생긴다.

2. kafka-run-class.bat 파일 수정

압축해제한 폴더 confluent-7.5.2 로 들어가서 ./bin/wondows 위치에 있는 kafka-run-class.bat 파일을 수정해준다.

1. kafka-run-class.bat 우클릭 후 원하는 문서 편집기로 실행

2. rem Classpath addition for core 문장을 찾아서 문장 위에 다음 코드를 입력해준다.

rem classpath addition for LSB style path
if exist %BASE_DIR%\share\java\kafka\* (
 call:concat %BASE_DIR%\share\java\kafka\*
)

저장 후 파일 종료

3. connect-distributed.bat 파일 수정

참고 : https://www.inflearn.com/questions/230919

connect-distributed.bat 파일 내용 중에 connect-log4j.properties 파일의 경로가 잘못 적혀있다고 한다.

confluent-7.5.2/bin/windows/connect-distributed.bat 파일을 편집기로 실행하고 confluent-7.5.2/config/connect-log4j.properties로 적혀 있는 것을 confluent-7.5.2/etc/kafka/connect-log4j.properties로 변경

🔻변경🔻

저장 후 파일 종료

4. jdbc connector plugin 다운로드

kafka 와 jdbc를 연동하기 위해 jdbc connector plgin를 다운받는다.

https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc

다운로드 후 적당한 위치에 압축 해제까지 진행!

5. jdbc connector plugin 정보 추가

kafka 와 jdbc를 연동하기 위해 jdbc connector plgin 정보를 추가한다.

1. connect-distributed.properties 파일에 plugin 정보 추가

압축 해제한 플러그인의 /lib 경로를 복사 한 후에

confluent-7.5.2\etc\kafka\connect-distributed.properties 파일을 열고 맨 아랫줄에 추가한다. 이때 plugin.path=/usr/share/java 문장은 주석 처리 후 진행

plugin.path=\C:\\kafka\\confluentinc-kafka-connect-jdbc-10.7.4\\lib

6. mariaDB 드라이버 복사

jdbcConnector에서 MyriaDB를 사용하기 위해 mariaDB 드라이버를 복사한다.

mariaDB 드라이버는 사용자 계정 디렉토리에 가면 .m2 라는 이름의 디렉토리가 있다.

아래와 같은 경로로 찾아가면 mariaDB 드라이버가 나타난다.

C:\Users\xh\.m2\repository\org\mariadb\jdbc\mariadb-java-client\3.0.7

jar 확장자를 갖는 파일을 복사한 후에

confluent-7.5.2\share\java\kafka 경로에 가서 붙여넣어 준다.

7. kafka connect 실행

cd ./confluent-7.5.2

.\bin\windows\connect-distributed.bat .\etc\kafka\connect-distributed.properties

8. kafka connect topic 생성 확인

kafka topic list를 조회하여 connect 관련 topic이 생성되었는지 확인한다.

cd 'C:/kafka/kafka_2.13-3.6.0'

.\bin\windows\kafka-topics.bat --bootstrap-server localhost:9092 --list