Dream Dev

1.TIBCO FTL 소개

What si FTL?

>Tibco사의 메시징 플랫폼

-차세대
- 고성능
-클라우드, 모바일
-엔터프라이즈 지원

featuresTIBCO Messaging Suite= 팁코 메세징 제품군 특징
•TIBOFTL®
>최고의 성능, 저전력 엔터프라이즈 및 클라우드 지원 메시징 솔루션 
•TIBCO eFTL™ 
> HTML5/Web Sockets를 사용하여 웹 및 모바일 기반 장치로 메시징 인프라 확장 
•TIBCO EMS(Enterprise Message Service) 
>스토어 및 전달 메시징 서비스를 위한 업계 최고의 JMS 기반 솔루션 
•TIBCO Rendezvous®
>20년 이상의 역사를 통해 모든 산업에 실시간 데이터 배포 기능을 제공했지만, 오늘날까지 Rendezvous는 업계 최고의 멀티캐스트 기반 데이터 배포 플랫폼입니다
•TIBCO ActiveSpaces®
>기록 기능의 데이터베이스 시스템과 미들웨어 관리 기능을 결합한 분산 메모리 내 데이터 그리드


2.Event Bus 구축고려사항

TIBCO FTL
•Fast Data Platform의 극한 성능 요구에 맞게 구축 
•서버 기반 아키텍처의 관리 유연성과 P2P(Peer-to-Peer) 기반 설계의 고성능 결합 
•특별한 인프라 요구사항이 없는 경량 구현 모델 
•전체 TIBCO 플랫폼 
>StreamBase, BW, BWCE, Flogo
•Enabled로 제공 보장, 엔드 투 엔드 보안, FT/DR 및 휴대성이 뛰어난 Docker 컨테이너 배치와 같은 엔터프라이즈 및 클라우드 기능 제공

가장 높은 수요에 맞게 설계
-세계에서 가장 빠른 성능
• 단일 소비자당 초당 6백만 개 이상의 메시지 전송
•공유 메모리를 사용하는 호스트 내 대기 시간 210나노초 미만
• 직접 공유 메모리를 사용하는 최대 30나노초 스레드 간 대기 시간
• 10Gb-E 이상의 RDMA를 사용하는 호스트 간 대기 시간 하위 1.7마이크로초
• 단일 소비자당 초당 250,000개 이상의 메시지 완전 동기화 지속성
• 
• 단일 소비자 비동기 지속성당 초당 100만 개 이상의 메시지 수

TIBCO FTL 구성 요소


메모리에 분산 되어있는 지속성 엔진

메시징 애플리케이션
•프로듀서
•컨슈머

Realm 서버 –FTL 구성
•메시지 구조(형식
)•애플리케이션 데이터 스트림(엔드포인트)
•물리적 통신 채널(운송)
•서버의 데이터 스트림 품질(지속성)

지속성 엔진 
•클러스터된 다중 엔진 
•메모리 기반 

클라이언트 API 
•C, Java, .NET



TIBCO FTL Realm Server UI

FTL 메인화면


지원Transport 유형 (Tranceport 탭)
•TIBCO FTL은용도에맞게사용할수있는다양한Transport를지원함•Shared Memory•TCP•Static•Dynamic•Secure•Reliable UDP•Multicast•RDMA•Process

Messaging Model
•Request & Reply •(1:1 , Client/Server)•Publish & Subscribe •(1:N)•Message Distribution •(1:N , butonly1)•Load balancing•기타Any model

Messaging Qos
•Reliable MessageDelivery•Guaranteed Message Delivery•Fault-tolerant group•AP들의그룹관리•Last Value Cache•마지막Message 캐시•활용예)AP간상태공유•Map Value Cache •마지막Map 형태Message 캐시

Messaging QoS > Guaranteed Message Delivery




•전송Path•Path-1:Pub/Sub간직접Path  1st전송경로
•Path-2:Store를경유한Path   2nd백업경로
•특장점
•고성능: 중간경유Hop 없이최단경로전송
•고효율: 전송보장Layer 추가로인한성능손실최소화: Memory based store, No disk i/o
•전송보장예시
•Subscriber S/W down
•Subscriber H/W down
•Subscriber N/W failure

•Sub 장애상황동작설명
①Pub메시지Store에저장됨
②Sub 복구시Store저장된메시지먼저수신catch-up
③Catch-up 완료후Direct-path를통한메시지수신

Messaging QoS > Last Value Cache

•메시지전송스트림의마지막메시지보관
•아래경우모두동작
•Subscriber 동작시
•Subscriber 장애시
•SubscriberAP는기동중이나, 명시적으로수신객체생성하지않은경우
•전송Path:Store 경유Path 만필요
•이미지보완설명
•Sub APP 별로서로다른Key값에관심
•Key별로Last-Value가보관됨
•Store에저장된Message는모두동일한Format임

TIBCO FTL: Rich Monitoring API (example: Grafana)



*Event Bus 구축고려사항*


•장애Case 별FTL의대응방안Event 수집Layer별장애대응

FTL(Faster Then Light) 정의
-낮은 대기 시간의 Message 처리 및 Cloud 환경을 제공하는 고성능 통신 Middleware
-여러 하드웨어와 소프트웨어 플랫폼을 지원함으로써 여러 환경에서 구동이 가능 ( ex) SB, BW )
-Realm Server를 기반으로 송수신 측의 정보를 관리하여 사용함에 있어 편리성을 제공

FTL 구성요소
Realm Server
①송수신 측의 정보 관리 및 통신에 필요한 사항 설정

②Message의 송수신이 이루어지는 Application을 편집하기 위한 인터페이스 제공

③Store를 통한 Message Monitoring

Data Store
①송신 측의 Message를 보관

②저장 된 Message를 연결 된 수신 측에 전송 ( DQ, FT )



Application
①Endpoint : Application의 송수신 측을 Group으로 묶어 개념화

②Transport : Transport를 통신매체로 하여 다양한 형태의 Message 송수신을 지원

③Format : Realm Server에 미리 정의된 Message의 형태

④Store : 송신 측이 전송한 Message를 저장하는 저장소

FTL - 통신 모델
Point-to-Point Message (1:1)



FTL의 Message는 Field의 집합으로 구성
FTL은 Publisher(송신자)와 Subscriber(수신자)로 역할을 구분하여 Message 통신
Publisher는 같은 Application의 Subscriber에 Message를 송신
Subscriber는 같은 Application의 publisher가 송신한 Message를 수신


One-to-Many (1:N)



FTL은 기본적으로 1:N형태의 Message 전송을 지원
Publisher는 같은 Application의 모든 Subscriber에 Message를 송신
모든 Subscriber는 같은 Application의 publisher가 송신한 Message를 수신


Transport



FTL은 Transport를 통신매체로 하여 다양한 형태의 Message 송수신을 지원
Transport의 Parameter
①Group : Transport를 용도에 맞도록 구분 (Default : null)

②Type : Message의 전송 방식을 결정 (Dynamic TCP, Static TCP 등)

③Address : 연결을 설정하기 위한 Host 이름 (Type에 따라 입력 할 필요 없음)

④Port : 연결을 설정하기 위한 Host 포트 (Type에 따라 입력 할 필요 없음)

⑤Mode : Mesh, listen, connect 중 선택할 수 있음 (Type에 따라 용도가 다름, 필요 없음)

각기 다른 Transport는 서로 간에 간섭하지 않음
Pub1에서 전송한 Message는 Sub1, Sub2만 수신
Transport Type




Transport Type 설정으로 다양한 전송방식 지원(Direct Shared Memory, Dynamic TCP, Multicast, RDMA...)
Multicast Transport T2를 추가하는 것으로 좀 더 복잡한 송수신 환경 구성
RV의 Transport와 비교했을 때 통신에 대한 설정이라는 점에서는 유사
Transport Type에 대한 정보는 아래 표 참조
Transport Types
    

Endpoint
                    

송신 측이 동일한 Message를 여러 개의 수신 측에 전송할 때 동일한 전송 설정에 대한 추상화 (ex : rv- Subject)
Server 관리자가 Endpoint의 세부 정보를 입력한다면 Programmer는 Endpoint 정보로 통신이 가능
소켓/플러그 개념과 유사
Content Matchers
    

FTL Message는 명시적인 대상 정보를 전송하지 않음 (RV : subject, JMS : topic, Queue)
Content Matcher는 특정 Field와 Value를 지정하여 Content Matcher를 포함하고 있는 Message를 수신
One-to-One Communication


Inbox를 사용하여 송수신 측의 1:1 Direct 통신
전체 수신 측 중 특정 수신 측 만을 사용한다는 점에서 Transport와 유사
Request-Reply


Inbox를 사용하여 송수신 측의 Request-Reply 구현
Rqst가 Serv에 Request Message를 전송 ( publish(1:N) )
Serv는 수신 후 Reply Message를 Rqst에 전송 (One-to-One(Inbox) )
FTL - 메시지 전송 보장 방식
Store


Store는 송수신 측의 중개자 역할로 Message의 저장을 담당
기본적으로 송신 측에서 전송 한 Message는 Server를 거치지 않고 Direct 전송되며 복구가 불가능
Store는 송신 측에서 보낸 Message를 수신 측과 같이 수신하며 수신 측이 정상적으로 Message를 정상적으로 수신하지 못했을 경우 추후 재전송
Durable을 Store에서 어떤 수신 측이 접근하여 수신 대기 상태인지를 명시
Store - standard


Standard는 Store가 Message Backup의 역할을 하는 옵션
송신 측에서 전송한 Message는 Store와 모든 수신 측에 전송됨
Store는 수신 측이 정상적으로 수신하지 못했을 시 저장된 Message 전송
Store - shared


Shared는 송신 측에서 전송 한 Message는 Store에서 보관하고 수신 측에 분배하는 옵션
송신 측에서 전송한 Message는 수신 측으로 가지 않고 모두 Store에 보관
Store에 보관된 Message는 순서 상관없이 수신 측에 전송되어 처리됨
Store - last-value


Last-value는 송신 측에서 전송 한 Message를 Store에서 지속적으로 보관하는 옵션
송신 측에서 key-value 형태의 Message를 전송하고 Store에서 보관
Store에 보관된 Message는 수신 측이 요청 할 경우 key 값에 해당하는 Message 송신
Store에서 송신된 Message는 사라지지 않고 Store가 종료 될 때 까지 유지
Formats
self-describing message는 metadata를 포함
metadata를 포함한 데이터 전송은 효율이 떨어짐
유사한 메시지 그룹에서 필요한 메타데이터를 추출하여 메시지 value만 전송, 전송효율 증가


송신 측에서 전송하는 Message는 Field의 집합이며 Field는 Field Name, Field Type, Value로 구성
Server에서 송신 측에서 전송하는 Message의 Meta 정보(Field Name, Field Type)를 포함
Format으로 미리 정의하고 사용하는 것으로 metadata를 제외한 value로 이루어진 Message 전송하는 것으로 효율을 증대
FTL - 메시지 처리 방식
Single Process(Default Communication)


Distributed Process(Load-Balancing)


Fault Tolerance (FT : Failover)

FTL 개요 및 참고자료

1.     FTL의 개요

2.     FTL 참고자료

FTL 설치/설정

1.     설치

2.     Realm 구성(단일구성)

3.     store 구성(단일구성)

4.     Realm 구성(2중화)

API 사용법(store/shared)

1.     Pub/Sub - 1 Group

2.     Pub/Sub - Multi Group

3.     멀티쓰레스 Sub

4.     match 사용법

5.     Request/Reply

6.     FT 사용법(Group Server)

7.     Direct Pub/Sub

참고.FTL windows

참고.ftl cmd 실행

참고.ftl service 등록

참고.FTL 성능 고려사항

-

(보류)참고.FTL 이슈

주의.message create

주의.dispatch

참고.eFTL 사용법

이번 게시글은 "SPOTFIRE" A TO Z  : 설치 및 설정 편입니다.

1. VM 세팅

제가 진행한 VM웨어의 세팅은 다음과 같습니다.

-cpu 4코어 2스레드

-60gb HDD

-4gb RAM

-network bridge

1-1. 사용자 계정(users) 세팅

default값은 관리자 계정이어서 구축에 제약이 있을 수 있으므로 일반계정을 이용합니다.

win+R 실행 또는 시작줄 검색창에

netplwiz 검색하면 사용자계정의 그룹을 추가 변경 할 수 있습니다.

보안문제가 뜨면 secpol.msc를 검색 하여 '사용안함' 으로 바꿔줍니다

로컬 계정에 '모든권한' 부여를 선택 합니다.  

c드라이브 속성- 보안 탭-  편집에서 가능합니다.

(권한 부여시에 보안에러가 떠서 안되는 듯 하지만 모든권한 적용이 되긴 합니다)

2. ORACLE DB 서버 생성

-사용한 버전 oracle ver.12c

3. metadatabase 수정

\TIB_sfire_server_10.6.1_win\scripts\oracle_install 하위의

create_databases 구성설정을 진행합니다. 

12c 에서는 oracle 계정 생성 시에 유저 명 앞에 C##을 붙여야, "ORA-65096: 공통 사용자 또는 롤 이름이 부적합합니다" 오류가 뜨지 않습니다.

또는 

alter session set "_ORACLE_SCRIPT"=true;

커맨드 입력으로 이전 11g처럼 사용 할 수있습니다. 

출처 :  https://coding-factory.tistory.com/413  //// https://meaownworld.tistory.com/6

+11g 부터는 대소문자 구분 때문에 ORA-1017: 사용자명/비밀번호가 부적합, 로그온할수 없습니다. 라는 에러가 납니다

>show parameter sec_case;

명령어로 대소문자 구별을 확인해보면 true로 되어있다고 하는데 

>alter system set sec_case_sensitive_logon=false;

명령어를 통해 false 로 수정하면 대소문자 구분을 하지 않게 바꿀 수 있습니다.

한번 확인 해봐야 겠습니다.

4. spotfire server 설치

라이선스 동의 후 디폴트값으로 설치 하면 됩니다.

*설치 과정 중에 서버 포트만 겹치지 않게 신경 써주시면 됩니다. 

4-1. spotfire server config 설정

 시작 → 모든 프로그램 →  TIBCO Spotfire Server 10.2 → Configure TIBCO Spotfire Server 클릭 →  Tibco Server Configuration 설정 → Create New bootstrap file... 클릭 → Bootstrap 탭 이동

* C:\tibco\tss\10.6.1\tomcat\spotfire-bin 하위파일 uiconfig.bat 을 싱행 시키셔도 됩니다.

2. Meta Database 접속 정보 입력 → Configuration 접속 비밀번호 입력 → Save Bootstrap 클릭

DataBase 접속 정보는 1.Meta Database 설치에서 입력한 Meta database 사용자 이름/ 비밀번호로 접속

Configuration tool password는 추후 Configuration을 접속할 때 사용하는 비밀번호

5. spotfire analyst 설치

6. Server & nodeManager 

----

 1) 접속방식  두가지
- Local 접속은 Spotfire Dxp 파일의 생성 및 Custom 기능 개발을 할때 주로 사용됨
- Web 접속은 Spotfire Server 상태 확인 및 다른 사용자에게 Spotfire Dxp 파일을 보여주는 용도로 많이 사용됨
a. web 접속


b. local 접속


3. spotfire 기능

C:\tibco\tss\10.6.1\tomcat\bin\tomcat9.exe //RS//Tss1061

Chapter 1 · Spotfire 개요

01 프로그램 설치 방법

02 프로그램 스타트/로그인

03 사용자 인터페이스

3-1 초기 화면구성

3-2 데이터 로딩 직후 화면 구성

3-3 시각화 작성 후 화면 구성

04 데이터 로드

4-1 -최초 데이터 로드방법

4-2 기존 데이터에 추가 로드하기

4-3 데이터 타입에 따른 로드 후 화면

05 결과물 저장 및 불러오기

06 태그

Chapter 2 · Spotfire 기본 사용법

01 필터링

1-1   여러 데이터 테이블에서의 필터링

1-2   필터링 적용 여부 확인

1-3   필터 패널의 종류

1-4   전체 필터 중에서 원하는 컬럼 쉽게 찾기

1-5   Spotfire 필터 내에서의 값의 검색

02 마킹

2-1 마킹의 색상

2-2 단일 항목의 마킹

2-3 여러 항목의 마킹

2-4 범례를 사용한 마킹

2-5 모든 마킹 해제

03 데이터 형식

3-1 변수

04 내보내기

4-1 이미지로 내보내기

4-2 데이터에서 파일로 내보내기

4-3 MS PowerPoint 로 내보내기

4-4 PDF로 내보내기

4-5 내보낼 대상 설정

05 필터링 스키마

5-1 필터링 스키마 이용방법

5-2 새로 만들어진 필터링 스키마의 확인방법

5-3 각 페이지마다 다른 필터링 스키마를 적용하는 방법

5-4 한 페이지 안에서 시각화마다 서로 다른 필터링 스키마를 적용하는 방법

06 분석의 데이터

6-1 분석의 데이터 시작하기

6-2 분석의 데이터 컬럼을 시각화에 이용하기

6-3 분석의 데이터에서 필터링 하기

6-4 분석의 데이터 내에서 섹션 이동하기

6-5 분석의 데이터의 필터링 상황창 활용하기

6-6 분석의 데이터 확장(추천 및 상세정보)

07 하위 집합

7-1 현재 필터링 값과 현재 필터링에 없음 값 비교

7-2 마킹 값과 마킹에 없음 값 비교

Chapter 3 · 시각화 차트

01 테이블

1-1 테이블 그리기
1-2 마킹

1-3  컬럼 타이틀을 통한 설정

1-4 이동

1-5 행 전체 값의 값 복사

1-6 특정한 셀의 값 복사

1-7 값 바꾸기

1-8 속성 설정

02 막대 그래프

2-1 막대그래프 그리지

2-2 막대그래프의 모양 설정

2-3 집계 컬럼과 형식을 변경하기

2-4 연속성 범주 축( )

2-5 막대 그래프의 폭 조절하기

2-6 값 축에서 컬럼을 여러 개 사용하기

2-7 막대 또는 막대 세그먼트 마킹 하기

2-8 막대 그래프에서 참조선 추가하기

2-9 상세 정보 시각화 만들기

2-10 Y축에 다중 척도 사용하기

2-11 속성 설정

03 선 그래프

3-1 선 그래프 그리기

3-2 마크하기

3-3 속성 설정

04 파이 그래프

4-1 파이 그래프 그리기

4-2 속성 설정

05 폭포 차트

5-1 폭포 차트 그리기

5-2 속성 설정

06 산점도

6-1 산점도 그리기

6-2 산점도의 해석

6-3 속성 설정

07 3D 산점도

7-1 3D 산점도 그리기

08 트리맵

8-1 트리맵 그리기

8-2 알고리즘

8-3 계층구조

8-4 속성 설정

09 크로스 테이블

9-1 크로스 테이블 그리기

9-2 축 레이블 이미지 설정

9-3 서식 지정

9-4 속성 설정

10 콤비네이션 차트

10-1 콤비네이션 차트 그리기

10-2 속성 설정

11 히트맵

11-1 히트맵 그리기

11-2 데이터 형석에 따른 표시방법

11-3 계통수

11-4 히트맵의 응용

12 그래픽 테이블

12-1 테이블 그,리기

12-2 속성 설정

13 요약 테이블

13-1 요약테이블 그리기

13-2 속성 설정

14 KPI 차트

14-1 KPI 차트 그리기

14-2 속성 설정

15 평행 좌표 그래프

15-1 평행좌표 그래프 그리기

15-2 속성 설정
 

16 맵 차트

16-1 맵 차트 그리기

16-2 배경지식

16-3 맵 차트 개념

16-4 맵 차트 기본메뉴 사용법

16-5 맵 차트 구현하기

Chapter 4 · 데이터 핸들링

01 데이터 기본

1-1   마킹 데이터 핸들링

1-2   계상된 컬럼 추가

1-3   함 컬럼 추가

1-4   계층 추가

1-5   데이터 다시 로드

1-6   데이터 테이블 속성

1-7   컬럼 속성

1-8   문서 속성

1-9   데이터 테이블 자동 일치

1-10         기본 데이터 테이블

02 데이터 캔버스

2-1 데이터 바꾸기

2-2 행 추가

2-3 열 추가

03 데이터 변환

3-1 데이터 변환 적용 시점

3-2 데이터 변환 방법

Chapter 5 · 기본 통계

01 라인 & 곡선

1-1   속성 설정

02 데이터 상관성 분석

2-1 선형 회귀

2-2 스피어만 상관계수

2-3 변량 분석

2-4 크러스컬 – 윌리스

2-5 카이 제곱

03 K-평균 군집분석

04 계층적 군집분석

4-1 도구에서 사용

4-2 히트맵에서 사용

4-3 계층적 군집분석 따라하기

05 라인 유사성

5-1 라인 유사성 계산 알고리즘

5-2 라인 유사성의 제약조건

5-3 라인 유사성의 사용용도

5-4 라인 유사성 따라하기

06 상자 그래프

6-1 상자 그래프 그리기

6-2 각 부분의 의미

6-3 통계 관련 용어 설명

6-4 Spotfire 상자 그래프의 표시 정보

6-5 Spotfire에서 제공하는 각종 집계 방법

6-6 상자 그래프의 해석

6-7 비교 원

6-8 속성 설정

부록: Spotfire 7.x버전 메뉴를 Spotfire 10.x버전에서 찾기

찾아보기

A. Spotfire 설치 및 설정
1. Meta Database 생성
2. Spotfire Server 설치
3. Spotfire Server Config 설정
4. Spotfire Node Manager 설치
5. Spotfire Analyst 설치
6. Server와 Node Manager 연결
1. Spotfire Server 시작 및 Web 접속
2. Spotfire Analyst를 사용한 Local 접속


B. Spotfire Server 접속
1. Dxp 파일 열기
2. 데이터 불러오기 및 Dxp 생성
3. Table
4. Cross Table
5. Graphical Table
6. Line Chart
7. Bar Chart
8. Combination Chart
9. Pie Chart
10. Summary Table
11. Scatter Plot
12. 3D Scatter Plot
13. Map Chart
14. Tree Map
15. Heat Map
16. Waterfall Chart
17. KPI Chart
18. Parallel Coordinate Plot
19. Box Plot
20. Filtering
21. Data Marking
22. Drill-Down
23. Text Area


C. Spotfire 기능
1. Relation
2. Join
3. Calculated Column
4. Binned Column
5. Hierarchy
6. Transformation
7. Aggregation
8. Custom Expression
9. Column Properties
10. Bookmarks

D. 기타
Oracle 설치 및 접속
DGB 생명 대응 사항

대략 이러한 순서대로 기술 예정이고, 부분부분 추가수정 하겠습니다