調整 Kafka 中 Topic 的 Partition 數量

調整 Kafka 中 Topic 的 Partition 數量 最近積極在針對 Kafka 做些設定調整與效能測試,其中也包含了 Topic 的 Partition 數量產生的影響,也就常常需要調整 Topic 中的 Partition 數量來檢視對效能的影響,

建立 Kafka 的 Topic

建立 Kafka 的 Topic 最近系統效能瓶頸主要落在在 Kafka 上,所以經常需要對 Kafka 做些設定調整與效能測試,而在那之前首先就是要建立 Topic,過去都是透過 kafka 預設值來

Kafka Producer 不同壓縮方式對發送速度的影響

Kafka Producer 不同壓縮方式對發送速度的影響 這兩天在測試 Kafka consumer 各項設定對於處理速度的影響 (詳細內容可以參考 Kafka Consumer 處理速度緩慢,設定調整紀實),經過一輪比較後

Kafka Consumer 處理速度緩慢,設定調整紀實

Kafka Consumer 處理速度緩慢,設定調整紀實 最近專案用了 Kafka 做為中介的 message queue,近期已經陸陸續續開始準備上線的前置作業,其中一項就是壓測數據,不過 Kafka 的 consumer

使用 GenericHost 來 Host gRPC Server

使用 GenericHost 來 Host gRPC Server 之前筆記 在 .NET Core console 上使用 Dependency Injection - DI 提到 ASP.NET Core 有兩種 host 方式: WebHost Generic Host 而在之前另一則筆記 使用 ASP.NET Core 2.2 來 Host gRPC Server 使用到 WebHost 來 host gRPC Server,經同

使用 ASP.NET Core 2.2 來 Host gRPC Server

使用 ASP.NET Core 2.2 來 Host gRPC Server 之前筆記 Protobuf 該如何處理不定型別, .NET Core 上使用 Jaeger 追蹤 gRPC 呼叫, Protobuf 時間屬性該如何表示? 在 host gRPC Server 時都是透過 console project 來進行,但 console 專案需要使用

將 .NET Core Console 專案轉換為 ASP.NET Core

將 .NET Core Console 專案轉換為 ASP.NET Core console 因為組成簡單、建立快速,常被用來確認語法或是 POC 特定功能需求,不過一旦 POC 沒問題就會遇到程式碼彙總的狀況,如果程式碼數量

Generated Columns - MariaDB 上的 Computed Columns

Generated Columns - MariaDB 上的 Computed Columns 之前有個需求會用到合併既有的兩個欄位來進行資料檢索,當下想起了 SQL Server 上的 Computed Columns (計算欄位),雖然後來採用了其他做法,不過既然都查

讓 ASP.NET Core MVC 自行停止運作

讓 ASP.NET Core MVC 自行停止運作 公司專案有個系統在啟動時執行 init script,接著就等待後台管理者下指令才會有後續動作,但開發階段暫時還不會有後台管理者的

TimeZoneInfo 在 Mac/Linux 找不到 time zone ID

TimeZoneInfo 在 Mac/Linux 找不到指定 time zone ID 同事提到 TimeZoneInfo 的操作在 Linux server 會出現錯誤,想說我怎麼沒遇到立馬試試,於是發現原來是 time zone ID 在 Windows 與 Linux 不同造成的 XD 雖說可以理解,但不

Fluentd 使用自定 Log 時間當做 Timestamp

Fluentd 使用自定 Log 時間當做 Timestamp 之前筆記 Fluentd 安裝 Elasticsearch Output Plugin 封裝成 Docker image 提到最近需要 debug EFK 起因就是發現 Kibana 顯示儲存在 Elasticsearch 中的時間與過濾條件都是 log 的處理時間並非 log 真正的

Fluentd 安裝 Elasticsearch Output Plugin 封裝成 Docker image

Fluentd 安裝 Elasticsearch Output Plugin 封裝成 Docker image 近期專案的 log 集中化採用 EFK - Elasticsearch + Fluentd + Kibana (log parser 改用 Fluentd 而非 Logstash 主要是因為 Logstash 有 memory 使用量大的問題),這幾天發現設定上有些問題導致資料

為 .NET Core Middleware 加上 Unit Test

為 .NET Core Middleware 加上 Unit Test .NET Core 的 Middleware 在 .NET Core 的 pipeline 中扮演了非常重要的角色,因此在實際應用上更需要確保功能與結果符合預期。第一次寫 middleware 的 unit test 順手紀錄過程,看看在